onsdag 23 juli 2008

Shermer om anekdotal bevisföring

I juliupplagan av Scientific American har Michael Shermer en kort men mycket informativ artikel om anekdotal bevisföring.

I mitt förra inlägg påpekade jag att en skribenten av en artikel i Dagen framhöll just anekdoter som ett slags bevis för att alternativmedicin fungerar.

Problemet är att denna form av övertygelseförsök med berättelser som en grund ligger mycket lågt i rang när det gäller bevisföring i vetenskaplig mening. Anekdoter kan ibland vara en startpunkt för rigorös vetenskaplig forskning, men berättelserna alena fungerar aldrig som övertygande bevisning.

Shermer påpekar i sin artikel att vår tendens att sätta så högt värde på anekdoter beror på att...

"we have evolved brains that pay attention to anecdotes because false positives (believing there is a connection between A and B when there is not) are usually harmless, whereas false negatives (believing there is no connection between A and B when there is) may take you out of the gene pool"
Han menar därmed att anekdotalt tänkande är väldigt naturligt för oss medan vetenskapligt tänkande inte är det.
"Superstition and belief in magic are millions of years old, whereas science, with its methods of controlling for intervening variables to circumvent false positives, is only a few hundred years old."
Är det förresten någon som har kollat in annonser för diverse naturläkemedel i tidningar, broschyrer och liknande? Till 99% handlar annonserna om positiva anekdoter. Ytterst sällan ser man hänvisningar till några studier. Övertygande? Ja, tyvärr.

Läs gärna hela artikeln!

För den intresserade finns det som vanligt mer kött på benen på Skepdic.

Andra bloggar om: ,

9 kommentarer:

Kraxpelax sa...

Vetenskapsteori är lite mitt ämne. Anekdotisk evidens avvisas alltför ogenomtänkt av många vetenskapsmän, som inte har de filosofiska grunderna klara för sig. Det är nämligen så att evidens för extremt osannolika företeelser per definition ej kan vara annat än att anekdotisk, men härav kan vi inte sluta oss till att dessa saknar empirisk korroboration, för det är ju logiskt ekvivalent med ståndpunkten att extremt osannolika händelser inte förekommer alls, vilket ju är ett grovt tankefel. Man får alltså göra en kvalitativ sannolikhetsanalys av den studerade händelsen själv, vilket är en komplicerad uppgift. Den anförda länkens psykologiska synpunkter är nog alldeles riktiga, vilket är en annan sida av det metodologiska problemet här.

Pekka S sa...

Jag håller med om att anekdotisk evidens inte ska avvisas utan vidare. Men det ska vara extremt övertygande evidens ifall den ska kunna ses som högst trovärdig. Det finns så många potentiella felkällor med så okontrollerad evidens att man i princip inte kan dra några avgörande slutsatser utifrån detta.

Jag undrar lite grann ifall du har exempel på några extremt osannolika företeelser där anekdotisk evidens bör undersökas extra noga? Och till vilken grad kan man fastställa autenticitet utifrån denna evidensform alena?

Hans Lundahl sa...

ursäkta, men öfversta länken fungerar ej

Pekka S sa...

Hans: Hmmm... Det gör den för mig.

Hans Lundahl sa...

"Firefox ne peut trouver le serveur à l'adresse www.sciam.com."

Pekka S sa...

Märkligt. Kör själv med Firefox. Testade i IE och det funkade där också. Testa med länken där det står "hela artikeln". Den ska vara identisk med den översta. Annars får du surfa dig till artikeln via SciAm eller genom att söka på "How Anecdotal Evidence Can Undermine Scientific Results".

Kraxpelax sa...

Svar på Pekkas fråga.

En disciplin som envist vägrar låta sig utvecklas med gängse metodologi är parapsykologin, vilket förlett en del att avfärda den alldeles. Men just här stöter vi på dessa extrema osannolikheter. Jag tar ett anekdotiskt exempel. Det var under olympiska spel. Trestegshoppstävlingen skulle avgöras påföljande dag. En man hade en dröm, där han såg ett trestegshopp, och hopplängden visades på en skylt. Dagen därpå var just denna siffra sgerresultatet i den aktuella tävlingen.

Nu skall man hålla tungan rätt i mun. En egenskap hos extremt osannolika händelser är ju att de faktiskt inträffar. De återfinns i normalfördelningskurvornas yttersta spetsar. De är dessutom till sin natur iögonenfallande, och blir på så sätt överskattade mot bakgrund av normalitetens omärkliga, i medvetandet bortfiltrerade brus. Den fällan skall man se upp med.

Ett exempel: en andligt sinnad kvinna såg ett kors som var logotyp och symbol för en obskyr esoterisk rörelse, vilket hon senare upptäckte, samt drog slutsatsen att här hade någonting övernaturligt skett. En kompetent psykolog gav dock en övertygande naturlig förklaring. Kvinnan såg korset i drömmen först, och trogen sitt allmänna intresse letade hon aktivt eller var åtminstone särskilt uppmärksam på verkliga företeelser som kunde stämma härmed. Men nu vimlar det av den här sortens symboler, och den naturliga sannolikheten att hon skulle få träff var därmed avsevärd, i synnerhet med tanke på hennes inställning.

Likafullt tror jag själv i grund och botten på paraapsykologin. Det rör sig i många fall om sammantråffanden klass 1 på googolplex, och dylika incidenter inträffar såpass ofta, att de svårligen låter sig inrymmas i en normalfördelning.

Vad som krävs är då 1. en ingående kvalitativ analys, dvs. man får på förnuftets icke-kvantifierande grundval göra en exaktast möjliga bedömning av händelsernas sannolikhet, vilket är en uppgift på i första hand filosofens bord, och 2. omfattande metastudider över hur omfattande själva klassen av anekdotiskt osannolika händelser kan vara, vilket öppnar för kvantifikation. Det är en naturligtvis en mycket svår och resurskrävande forskningsuppgift.

Det finns ett utmärkt engelskt slagord aktuellt här: "absence of evidence is not evidence of ansence".

Pekka S sa...

Men kan enstaka händelser, som du presenterar exempel på, någonsin fastställas som genuint paranormala? Det finns som sagt så många potentiella felkällor.

Låt oss börja med ditt trestegsexempel. OS är en enorm händelse, som hundratals miljoner människor följer. Många av dessa drömmer om just detta. Hur stor sannolikhet är det att en specifik individ har en dröm om trestegsfinalens slutresultat? Ganska liten. Men hur stor är sannolikheten för att någon bland alla dessa intresserade får in en fullträff? Ganska stor. Om vi sedan breddar på möjligheterna till att kunna innehålla fler grenar så ökar sannolikheten ännu mer. Någon kommer med största säkerhet ha en "sanndröm" om någon av grenarna.

Men detta är inte den enda invändningen. Hur vet man t ex att det inte handlar om ett falsk eller reviderat minne? Våra minnen är inte som fotonegativ. De förändras ständigt med vår egen utveckling, med nya kunskaper, vid påtryckningar, osv. Luckor i minnen fylls automatiskt och undermedvetet i av vår hjärna. Vi har troligtvis alla minnen på händelser som inte ens har hänt. Kan detta uteslutas som naturlig förklaring?

Kan lögn eller bedrägeri uteslutas?

Och så vidare.

I princip samma potentiella felkällor gäller för exemplet med den andliga kvinnan.

Hur kontrollerar man för sådant här i retrospekt när det t ex gäller overifierbara drömmar eller minnen av upplevelser och samband?

Hans Lundahl sa...

jag ser viss anekdotisk bevisföring för att wheatgrass intet smakar smaskens

t t f l

lol