Kan vi stole på forskningen?

Det går ikke en dag uten at det skrives om forskning i avisen. Ofte får vi høre om uventede ting, sensasjonelle funn og overraskende resultater. Mange driver med forskning og forskningsnyheter selger. Og mange liker å pynte sine standpunkter med «forskning viser». Om en politiker kan slå hånda i bordet med vitenskapen i ryggen oppleves det som bedre argumentasjon. Som klinikere liker vi også å lene oss til evidens og p-verdier. Hva er så problemet?

Signifikante forskjeller

Når vi forsker er vi opptatt av om det vi finner er statistisk signifikant. Vi gjør statistiske tester. Slike tester er jo ikke noe bevis, men snarere sannsynlighetsberegning. Hvor sannsynlig er det at de to verdiene er like, spør vi oss. Og så sier vi at om det er mindre enn 5 prosent sannsynlighet for at de er like, så sier vi at de er forskjellige. Statistisk signifikant forskjellige. Og hva skjer da om vi gjør 20 ulike prosjekter eller undersøker en ting 20 ganger? Jo, da vil det med stor sannsynlighet dukke opp en statistisk signifikant forskjell av ren tilfeldighet. Matematikken gjør det sånn. 

Tilfeldig

To ting gjør dette viktig. For det første er det slik at det gjøres en masse forskning i verden. Ikke bare 20 prosjekter, men hundretusenvis av prosjekter. Ja, hvert år regner man med at det blir publisert over 1,5 millioner vitenskapelige artikler. Og tallet er dramatisk økende med det økende tilfanget av nye «open access»-tidsskrifter, men det skal jeg ikke snekke om her. Poenget er at det publiseres veldig mye forskning. Og noe vil være tilfeldige positive resultater av ren – ja – tilfeldighet. For det andre. Det er veldig vanskelig å få publisert en artikkel med negative resultater. Av forståelige grunner. Når man har et negativt resultat, det vil si ingen forskjell mellom grupper, så kan det skyldes så mange ting. Det kan skyldes at du ikke har designet studien godt nok, at det ikke er noen forskjell, eller en masse andre grunner. Og (tror jeg) fordi et negativt resultat er kjedelig, blir det ofte vanskelig å få det på trykk. Et positivt resultat er annerledes. Det er lettere å tro på et positivt resultat.

Reproduserbarhet

Av dette kan dere forstå at selv når forskere bruke den beste metoden og gjør all statistikken riktig, så vil man av og til finne ting ved ren tilfeldighet. Ting som ikke er generelle, men som bare dukker opp som sanne den ene gangen. Og siden det er så mye forskning, og det er både lettere å morsommere å publisere et funn, får vi et problem. Det er her problemet med vitenskapelig reproduserbarhet kommer inn.
Reproduserbarhet er kjempeviktig innen forskning. Kan ikke et resultat reproduseres, er det stor sjanse for at det man har funnet i én undersøkelse, til tross for at metoden er god, bare skyldes en tilfeldighet. Reproduserbarhet er kanskje forskningens viktigste beskyttelse mot feil. Vi kan ikke stole på resultatet om det ikke lar seg reprodusere. Da er det alarmerende at kanskje så mye som 50 prosent av all forskning som publiseres i dag, ikke lar seg reprodusere. 50 prosent er et veldig høyt tall. Et bekymringsfullt høyt tall som er blitt omtalt som den «moderne forsknings skitne hemmelighet». Noen har faktisk gått så langt som å si at mesteparten av det som i dag produseres innen biomedisinsk forskning er støy. Det vil si ubrukelig forskning som i lengden ikke kommer til å stå seg.

Godt stoff

Men det blir verre enn det. For media er veldig interessert i å publisere forskning. Og det legges stadig større vekt på slik publisering. Både de som finansierer forskning, de som måler forskning, tidsskriftene og forskerne selv synes det er veldig viktig å være synlige i media. Og her er journalistene på banen. De synes også det er stas å trykke forskningsnyheter. Her er det med andre ord mange krefter som drar i samme retning. 
Og det er lett å få publisert forskningsnyheter. Dette er godt stoff. Det selger. Jeg blir ofte oppringt av reportere som gjerne vil snakke med meg om forskningsfunn.
Men jeg er redd at den fjerde statsmakt her av og til svikter sin rolle. De skal jo ofte være den kritiske røsten. Som stiller spørsmål og som går ting etter i sømmene. Men ofte ser jeg store svikt i utøvelsen av den rollen. Spektakulære og spekulative forsk-ningsnyheter gjengitt uten filter. Høyst tvilsomme og opplagt ikke reproduserbare forskningsfunn blir gjengitt som sannheter. Noen har undersøkt dette og estimert at mellom 60 og 80 prosent av det som står som forskningsnyheter i avisen ikke lar seg reprodusere, men bare er tilfeldige funn.

Ukritisk

Hvorfor er det slik? Mange journalister har dårlig tid og dårlig kunnskap. De skal fylle mange spaltemeter eller store sendeflater med lite ressurser. De får ikke satt seg inn i stoffet og har derfor ikke anledning til å stille de kritiske og nødvendige spørsmålene. Noen lar seg også bruke av forskere til å skaffe dem oppmerksomhet, til tross for tvilsomme (og ikke reproduserbare) funn.
I sum gir disse to tingene oss et problem. Mye forskning er ikke gyldig og mye forskning i avisene refereres unøyaktig og ukritisk. Er det rart folk rister på hode av forskere som den ene dagen sier det ene og neste dag motsier seg selv. Nei, la oss spise gulrøtter mens det er sunt! Og kanskje har de rett i sin metaforståelse: vi bør ikke stole på forskerne i ett og alt.