Den första meta-analysen
Den första meta-analysen av ganzfeld-experiment gjordes av skeptikern Hyman (1985) och bestod av 42 studier. Han fann att resultaten var statistiskt signifikanta, men påstod att det kunde bero på metodologiska svagheter.
En kritisk punkt för Hyman var den s.k. “file-drawer” problemet (Palmer, 2003), något meta-analytiker känner väl till. Idén innebär att studier som inte ger positivt resultat tenderar att inte publiceras. Detta skulle innebära att de som publiceras är en snedvriden bild av det som gjorts. Denna möjlighet att det har genomförts studier som inte lyckats men inte publicerats, bemöts av Palmer (2003) på tre sätt: 1) Susan Blackmore gjorde 1980 en översikt av ganzfeld-forskare och lyckades inte hitta bevis för att det inte skulle finnas opublicerade ganzfeld-studier. Palmer nämner också 2) den policy som den internationella organisationen Parapsychological Association har för ”sina” tidskrifter att inte diskriminera publiceringen av rapporter med dyklika negativa resultat. Det sista argumentet 3) och enligt Honorton det bästa argumentet mot Hyman är att använda en statistik teknik utvecklad av meta-analytikern Robert Rosenthal (1979) för att uppskatta hur många studier som skulle behövas i ”byrålådor” för att det totala resultatet där bara direkt-träffar räknas, skulle reduceras till icke-signifikant.
“The number he (Honorton/GB) came up with was 423, or more than 12.000 sessions. Although 12.000 is probably an overestimate because Hyman’s aborted studies would have low number of sessions, the idea that even half that number of sessions were conducted and not reported seems unlikely, particularly since a typical ganzfeld experiment takes about two hours to conduct and the number of parapsychologists is quite small” (Palmer, 2003, p. 56).
Ny meta-analys
Hymans rapport följdes av en meta-analys av Honorton 1985, som fann 28 studier där direkt-träffar var det viktigaste mätinstrumentet bland dessa 42 studier. Denna analys gav ett starkt signifikant resultat, där sannolikheten var 1 mot 10-11. Honorton noterade att vissa studier hade potentiella metodologiska svagheter, men sammanfattade att signifikansen inte berodde på dessa svagheter; även de med riktig metodologi gav signifikans.
Gemensam rapport
Sedan följde en gemensam rapport av Hyman och Honorton, 1986, där de var överens om metodologiskt klara och stringenta riktlinjer för framtida ganzfeld-studier. De betonande båda betydelsen av att standardisera proceduren (Hyman & Honorton, 1986), men var inte överens om hur resultaten av dittills gjorda studier skulle tolkas.
Ännu en
Åtta år senare publicerade Bem och Honorton (1994a) en meta-analys av 11 autoganzfeld-studier som hade gjorts utifrån riktlinjerna från Hyman och Honorton, och kom med ny analys i ansedda Psychological Bulletin (1994b) och med Bems svar på Hymans kritik, Bem (1994). Dessa experiment var delvis automatiserade (Bem & Honorton, 1994) och använde sig av videosnuttar som mål-stimuli, inte bara bilder. Resultat från denna studie gav signifikant stöd för att psi finns (med en genomsnittlig “hit rate” på 32 %, med 106 träffar på 329 sessioner, z=2.89, p=0.002, one-tailed, som motsvarar en effektstorlek på .59). Denna ”mean hit rate” kan jämföras med faktumet att man i genomsnitt får träff av ren slump på 25 % och är lite lägre än tidigare, men väl i överensstämmelse med de tidigare analyserna av Honorton (1985). Hyman kritiserade 1994 denna meta-analys på flera punkter, där en gällde att experimenten baserades på experiment från ett enda laboratorium.
Milton & Wiseman’s metaanalys
Några få år senare genomförde Milton och Wiseman, 1999 en ny meta-analys, denna gång med 30 ganzfeld-studier från sju olika laboratorier som hade publicerats utifrån riktlinjerna av Hyman och Honorton. Denna meta-analys visade inga signifikanta resultat. Genomsnittlig “mean hit rate” var 27 %. Bem, Palmer och Broughton lade i en ny analys 2001 till tio nya studier och nådde då exakt nivån för ett signifikant resultat (a signifikant Stouffer z of 2.59, p=0.0048, med en effektstorlek på 0.051) (Palmer, 2003) med en ”mean hit rate” på 30 %. Den stora skillnaden mellan de icke-signifikanta meta-analyserna av Milton och Wiseman (1999) och den signifikanta av Bem med flera (2001) var att Bem tog med en mycket lyckad studie av Kathy Dalton från 1997. Milton tog inte med denna studie eftersom den ansågs vara en “outlier”, med ett extremt resultat, som otillbörligt gjorde att resultaten fördelades mycket ojämnt. Palmer höll inte med om att utesluta en studie, även om detta görs och berättigas eller åtminstone tolereras av vissa meta-analytiker: “My primary reason for this is that removing outliers misrepresents the data, which is the cardinal sin in any data analysis”(Palmer, 2003, p 61). Säkert är det så som Palmer påstod, att Daltons studie verkligen bidrog till ett statistiskt resultat som är värt att tas på allvar, nämligen resultat om ”heterogeneity”. Man fann att alla tre grupperingar av studier (som genomförts av Honorton på 1980-talet vid Psychophysical Research Laboratory (PRL), de som gjordes dess för innan, pre-PRL och de efteråt, post-PRL, var signifikant heterogena (Palmer & Broughton, 2000). Till exempel, p-värdena för heterogenitet för båda dessa studier med direkta träffar i pre-PRL-data och de 28 med direkta träffar i post-PRL-data var 10-5 (Palmer, 2003). Det är dock en svaghet att signifikansen i de senare, väl kontrollerade autoganzfeld-studierna beror på en enda forskare, nämligen Kathy Dalton. Med hennes studie blir det signifikans, utan hennes studie blir det ingen.
Bems kontrollstudie av homogenitet
För att återgå till frågan om heterogenitet, så vidhåller Bem 2001 att vissa av de studier som Milton och Wiseman (1999) använde i sin metaanalys var alldeles för heterogena. Utformningen varierade för mycket, och i deras analys blandade de studier med musik som stimuli, men också bilder och filmsekvenser. De olika meta-analyserna blir ett bra exempel på svårigheterna att upprepa tidigare meta-analyser, eftersom man väljer på olika sätt ut de studier man låter ingå. Bem var intresserad att veta hur viktigt det var att följa riktlinjerna av Hyman och Honorton. Han lät tre ”postgraduate students” vid Cornell Universitetet att bedöma till vilken grad man följde dessa riktlinjer. Analysen och resultatet från denna jämförelse (graden av likhet till modellen var mellan 1 och 7, med 7 för maximal likhet) visade att studierna som avvek mycket från modellen påverkade Milton and Wiseman-resultaten på ett negativt sätt (Bem, Palmer & Broughton, 2001; Palmer, 2003; Palmer & Broughton, 2000).
Ny metaanalys 2010
En ny meta-analys kom 2010, av Storm, Tressoldi and Di Risio (STDR) i den ledande Psychological Bulletin (2010a). I denna rapport sammanfattas tre olika typer av telepatistudier av free-response-slaget, alltså där man fick gissa fritt i sitt svar. Telepatiförsök med ganzfeld-metoden var en av dessa tre typer. De andra var (typ 2) dröm-psi, meditation, avslappning eller hypnos, och (typ 3) standardmässiga icke-ganzfeld med fritt berättande, s.k. free-response, utan ljud-reduktion.
För perioden 1997-2008 fann man 29 ganzfeld studier, för typ 2 16 studier och för typ 3 14 studier.
Experiment där man reducerar ljudet (och därmed ökar möjligheten att uppfatta andra stimuli, t ex telepati) tycks, menar de, uppfattas vara samma sak som ganzfeld, men de finner ett stort antal studier från åren 1997-2008 där ljud reduceras där man använder dröm-ESP, hypnos, avslappning, och meditation, studier som inte ingått i någon metaanalys tidigare.
Så med tanke på hur viktigt det är att reducera ljudet i experiment med telepati, så tar de med dessa studier i separata metaanalyser. De gör också skillnad på när man valt ut försökspersoner och inte gjort något urval.
De vill också jämföra typ-2-studierna (drömmar, hypnos, avslappning och meditation) med ganzfeld-försöken för att man verkligen ska kunna bedöma fördelen med ganzfeld.
Kanske är denna metod inte det slutliga svaret på hur man verkligen bäst får fram en telepatisk kommunikation eller förstår dess natur, menar de.
Angående den omtalade byrålåds-effekten, att bara positiva rapporter publiceras, så fann man 16 studier av typ-2 (icke-ganzfeld med brusreducering), med en träff-grad på 30.9 %. Det skulle behöva finnas ca 49 opublicerade och icke-signifikanta rapporter för att reducera dessa signifikanta resultat till ett slumpresultat, påpekar STDR.
Rapporten ger ett signifikant stöd för ganzfeld-försöken, med sannolikheten att resultatet skulle bero på slumpen på p=2.13 * 10-8. För typ-2-studierna är denna sannolikhet p=2.08 * 10-4. Ganzfeld-studierna ger alltså ett starkare stöd, dvs effektstorlek (ES = 0.142) än icke-ganzfeld (ES= 0.110) med brudreducering, som i sin tur ger starkare stöd, effektstorlek än försök med fritt berättande, free-response studier, ES = -0.029. Dessa ES-värden visar tydligt att typ 1 var mera lyckade än typ 2, och dessa var mera lyckade än typ 3. Metaanalysens första hypotes kunde sålunda delvis stödjas.
För hypotes 2, att utvalda deltagare lyckas bättre än icke utvalda upptäckte man en signifikant interaktionseffekt, antydande att skillnaden enbart beror på deltagarna i ganzfeldstudierna. För ganzfeld-deltagarna fanns det en signifikant skillnad mellan utvalda och icke valda vad det gäller effektstorlek. Det fanns ingen signifikant skillnad i effektstorlek mellan olika laboratorier eller försöksledargrupper (med åtminstone två studier i varje grupp, Morris, Parker, Roe, Roney-Dougal, Tressoldi and Wezelman).
Den tidigare kritiserade Julie Milton kommenteras också av STDR för att ha en anomali i sin databas (Milton, 1997). Den innefattar studier som använder hypnos, avslappning, och också ganzfeld, även om databasen sägs bara innefatta “free-response ESP studier utan ’altered states of consciousness’. STDR förstår inte varför dessa studier ingår, när gruppen bara ska innefatta ‘free-response ESP studier utan ‘altered states of consciousness’. De betraktar hennes databas som “a mixed bag of studies”, ett faktum som lätt väcker frågor om den meta-analys hon var inblandad i med Wiseman (Milton & Wiseman, 1999). STDR sammanfattar att “Miltons databas kan säkerligen inte betraktas som ‘standard free response’ såsom vi kategoriserar dem. På denna basis påstår vi att man inte kan göra några fler jämförelser med någon databas, gammal eller ny, med Miltons databas”.
De analyserade också tendensen i de första ganzfeld-studierna om en deklinationseffekt, som skulle antyda att de lyckade resultaten i de första ganzfeld-försöken skulle bero på att det fanns felaktigheter där. De fann bevis på en svag deklination, nergång, genom de fem ganzfeld-databaserna (med totalt 108 ganzfeld-studier), men de tillägger att “det finns goda skäl, och bevis för att nergången ”börjar avta”, med effekter som visar en uppåtgående trend. Även om man tar bort fem studier som avviker mycket, sk ‘outlier-studies’, var nergången bara marginellt signifikant.”
Rapporten följs av en invändning från den ledande skeptikern Ray Hyman (2010), som sammanfattar “De tillverkar något som ser ut som homogenitet och konsistens genom att eliminera många ‘outliers’ och kombinerar databaser, vilkas kombinerade effektstorlekar inte skiljer sig signifikant åt – även om dessa kombinerade effektstorlekar består av godtyckliga och meningslösa ”blandningar”. Som bäst kan deras studie utgöra ett recept för att genomföra ett upprepningsbart experiment om utomsinnlig perception.” Han nämner en grupp forskare (Atmanspacher & Jahn, 2003; Bierman, 2001; Kennedy, 2001, 2003; Lucadou, 2001) som anser bevisen vara inkonsistent, medan Storm et al och andra anser dessa inkonsistenser är en ”inneboende egenskap” hos psi. I deras omedelbara svar (Storm, Tressoldi & Di Risio, 2010b) ”presenterar de ett fall för psi-forskning som underminerar Hymans argument”. De ger exempel från parapsykologer som inte utan vidare avfärdar psi, trots hur det ser ut, utan i själva verket stödjer det. De menar att Hyman inte berättar hela sanningen om resultaten av ganzfeld meta-analyser och sålunda presenterar en ensidig bild. De menar att deras meta-analys har följt standard-procedurer, inte har brutit mot några regler, men funnit en kommunikations- anomali, som man ofta refererar till som psi”. De håller med om att bevisen till stor del är statistisk, men bevisen visar att dolda målbilder verkligen tycks kunna identifieras, snarare än att man gissar rätt. I enlighet med detta, avslutar de, är mera forskning nödvändig.
Hyman nämner några få studier där man inte lyckats med upprepningar, men dessa ‘står inte upp mot’, menar STDR, de totala resultaten från de flera dussin studierna i meta-analyserna. Oberoende av meta-analyserna, har man funnit upprepningsbara psi-effekter i enstaka studier, något även skeptiker funnit, t ex Stanley Jeffers (Freedman, Jeffers, Saeger, Binns & Blake, 2003).