Å vurdere kunnskap

Skal vi utvikle sykepleiefaget, må vi stille gode spørsmål og på en effektiv måte lete etter informasjon som kan hjelpe oss å besvare spørsmålene. Hva som er gode spørsmål, og hvordan vi finner forskningsbasert informasjon, er emner i to andre artikler i Forskningens ABC (1, 2).

En tredje viktig forutsetning for en mer kunnskapsbasert praksis er å kunne vurdere den informasjonen vi finner, på en kritisk og konstruktiv måte. Dette er et omfattende emne, og vi skal her kun se på et grovt forenklet rammeverk eller verktøy. Hvis du vil lære mer om kritisk vurdering av forskningsbasert informasjon, finnes det mye litteratur, på både norsk og engelsk (3–6).

Hva slags informasjon?

Avhengig av spørsmålet vi stilte i utgangspunktet, vil vi lete etter ulike typer informasjon, ofte i form av artikler. Helst ønsker vi å finne en systematisk oversikt som oppsummerer all tilgjengelig forskning som kan belyse et bestemt spørsmål.

Retningslinjer for praksis er en annen form for oppsummert kunnskap. Disse behandler ofte flere spørsmål samtidig, for eksempel hvordan man kan forebygge, diagnostisere og behandle urinveisinfeksjoner. Retningslinjer bør helst være basert på systematiske oversikter, men ofte er de ikke det, og da kan det være vanskelig å vurdere kunnskapsgrunnlaget.

Hvis vi ikke finner systematiske oversikter eller retningslinjer basert på slike, kan det være aktuelt å lete etter ulike typer undersøkelser. Dersom spørsmålet handler om effekt av forebygging eller behandling, trenger du randomiserte, kontrollerte studier. Dersom du har spørsmål om pasienters opplevelser, vil du trenge kvalitative studier.

Starthjelp

Det er umulig å vurdere en artikkel der formålet er uklart. Studien må angi et formål som a) er klart formulert, b) du forstår, og c) er relevant og viktig for deg. Hvis ikke disse vilkårene er oppfylt, bærer det rett i papirkurven.

Hvis du forstår hva artikkelen handler om og du synes det er et viktig tema, kan du gå videre og lese med et kritisk blikk. Kritisk vurdering innebærer å avgjøre

• hva budskapet er
• om budskapet i artikkelen er sant
• om du vil la deg påvirke av det

Nedenfor vil vi gjennomgå enkelte typer av undersøkelser og gi deg noen redskaper som gjør det mulig å avgjøre troverdighet, effektstørrelse og nytteverdi. Vi har også laget en slags ABC for hvordan du enkelt kan bedømme en artikkel.

Systematiske oversikter

En systematisk oversikt er en studie hvor forfatterne har lett i «hele verden» for å finne alle studier som vurderer samme spørsmål. Ordet «systematisk» innebærer at forfatterne har gått ryddig og systematisk til verks, og at de viser måten de har gått frem på.

En «vanlig» oversiktsartikkel ( review) gjør ofte ikke rede for hvordan man har funnet frem til de undersøkelsene som er inkludert. Da er det vanskeligere å vite om de var grundige nok i sine søk etter relevant dokumentasjon.

En slik studie kan leses kritisk ved å stille følgende spørsmål:

1. Er det gitt et presist formål for oversikten? Og er det dette du trenger?
2. Har forfatterne lett grundig etter relevante studier? Kilder og søkestrategi må være oppgitt og la seg bedømme.
3. Samsvarer inklusjonskriteriene med formålet? Har forfatterne tatt med og utelatt studier i henhold til formålet med oversikten?
4. Har forfatterne vurdert studienes metodiske kvalitet? Og har de gjort det på en systematisk måte som er klart beskrevet?
5. Er resultatene konsistente fra studie til studie? Stor grad av variasjon betyr varsomhet i konklusjonen.

Randomiserte studier

En randomisert, kontrollert studie er den mest pålitelige måten å gå frem på for å avgjøre effekten av et tiltak. Det viktigste spørsmålet når du skal kritisk vurdere en slik studie, er om deltakerne ble fordelt tilfeldig til tiltak (intervensjon) eller kontrollgruppe.

Tilfeldig fordeling får vi (i prinsippet) ved å slå mynt og kron (i praksis ved hjelp av et dataprogram). Dette kalles randomisering. Randomisering er viktig av en eneste grunn: to grupper som skal sammenliknes, bør være så like som mulig med hensyn til alt som kan påvirke utfallet som måles i studien.

Randomisering er en veldig effektiv måte å få like grupper på. Hvis man studerer effekten av et smertestillende middel, er det uheldig om alle med sterke smerter kommer i den ene gruppen og alle med moderate smerter i den andre.

Vi ønsker en blanding av smertegrader i de to gruppene, og vi ønsker om lag like mange kvinner og menn, unge og gamle, om lag samme diagnosefordeling, og så videre. Det vil si at vi ønsker at gruppene skal være like med hensyn til det vi fra før vet kan påvirke utfallet (prognostiske faktorer eller forvekslingsfaktorer).

Det snedige med randomisering er at gruppene blir like også med hensyn til de faktorer vi må regne med kan påvirke utfallet, men som vi ikke kjenner til.

Skjult randomisering

Et annet viktig spørsmål er om randomiseringen var skjult. Det betyr at de som utførte forsøket, ikke visste hvilken behandling den neste pasienten skulle få. Hvis du vet at din neste pasient skal få aktiv behandling, er det lett, bevisst eller ubevisst, å sende dem som ser dårligst ut, av gårde til den gruppen.

Det er som regel lett å avgjøre om et forsøk var randomisert, fordi det fremgår av tittelen eller sammendraget. Det er ofte vanskeligere å avgjøre om randomiseringen var korrekt gjennomført. Det engelske utrykket «concealed random allocation» dekker det vi ønsker oss.

En hyppig brukt gjennomføringsmåte er at de som skal fordele pasientene til intervensjon eller kontroll, ringer opp en sentral randomiseringstelefon der et dataprogram gir beskjed om gruppetilhørigheten. Mindre gode metoder er fordeling etter prinsippet «annenhver», ved hjelp av fødselsdatoer eller via journalnummer (det kan være fristende å ikke helt holde seg til skjemaet). De siste metodene kalles ofte kvasirandomisering.

Frafall underveis

Et neste sjekkpunkt for et randomisert forsøk er å se etter om forfatterne har gjort rede for alle pasientene som ble med i forsøket, og om de er analysert i den gruppen de opprinnelig ble fordelt til.

Om personer som faller fra underveis, vet vi ingen ting. Deres utfall kan derfor potensielt forandre undersøkelsens konklusjon. Hvis frafallet er stort (en mulig grense for «stort» er mer enn 20 prosent frafall), er det grunn til å bli skeptisk.

Hvis du kan svare ja på alle spørsmålene nedenfor, har du fått tak i en virkelig god undersøkelse. Hva med studier der vi dels kan svare ja, men dels må svare nei? Det finnes ikke noe standardsvar, og du må bruke din egen vurderingsevne.

Vi kan se på konsekvensene: Hvis det er mye som står på spill (for eksempel liv og død), er det viktig at pasienter får del i en sannsynlig behandlingseffekt. Ofte vil det hjelpe å se resultatene i sammenheng med andre undersøkelser av samme tiltak (se ovenfor om systematiske oversikter).

Randomiserte studier kan leses kritisk ved å stille følgende spørsmål:

1. Er formålet med studien klart formulert? Er en randomisert studie et velegnet design for å svare på spørsmålet?
2. Ble utvalget fordelt til tiltaks- og kontrollgruppe ved hjelp av en tilfredsstillende randomiseringsprosedyre?
3. Ble gruppene behandlet likt bortsett fra tiltaket som skulle evalueres?
4. Ble deltakere, behandlere og utfallsmåler blindet med henhold til gruppetilhørighet? Det er ikke alltid mulig å blinde deltaker eller den som gir tiltaket, men det er nesten alltid mulig å blinde utfallsmåler.
5. Ble alle deltakerne gjort rede for ved slutten av studien?
6. Er tiltaket fornuftig? Er det sannsynlig at tiltaket kan påvirke utfallet (vurder dose, varighet)? Er tiltaket akseptabelt for brukerne?
7. Ble utfallet målt med pålitelige målemetoder?
8. Hva forteller resultatene? Hvor presise var de?
9. Er forfatternes konklusjoner i tråd med resultatene?
10. Kan resultatene overføres til praksis?

Kohort- og kasuskontrollstudier

Når vi ønsker kunnskap om sykdomsårsaker, mulig skade av en behandling eller prognose, må vi kunne vurdere det som gjerne kalles observasjonelle studier. Som regel dreier det seg om kohortstudier, kasuskontrollstudier og av og til beskrivelse av enkeltpasienter eller pasientserier.

En kohortstudie (kohort = gruppe) følger en gruppe mennesker over tid, for eksempel friske mennesker, og observerer eksempelvis hvem som blir syke. Forskeren forsøker å vurdere karakteristika ved dem som blir syke, det kan være om det er en overvekt av menn eller røykere.

Det er innlysende at de friske og syke godt kan være forskjellige på andre måter enn at det er en overvekt av røykere blant de syke. Forskerne må derfor prøve å tenke på andre faktorer og «kontrollere» for disse (forvekslingsfaktorer). Den norske mor-og-barn-undersøkelsen i regi av Folkehelseinstituttet eller den amerikanske The Nurses’ Health Study er eksempler på kohortstudier.

I kasuskontrollstudier undersøkes personer som allerede har fått en tilstand eller sykdom, og en gruppe personer som er friske. Forskerne sammenlikner ved å gå bakover i tid og se hvor mange syke og friske som har vært eksponert for en mulig sykdomsfremkallende faktor.

Det er viktig at «tilfellene» er lik «kontrollene» med hensyn til alle andre forhold som kan påvirke sykdomsutviklingen (for eksempel kjønn, alder og andre lidelser). Det er ofte vanskelig å vite om forskerne har vurdert alt «det andre» det er rimelig å ta høyde for.

Observasjonsstudier kan leses kritisk ved blant annet å stille følgende spørsmål:

1. Var gruppene som sammenliknes, like? I kohortstudier må det justeres i design eller analyse for all annen viktig eksponering enn den som er undersøkt. I kasuskontrollstudien må de syke og de friske være helt like med hensyn til andre viktige sykdomsårsaker.
2. Ble eksponering og utfallene målt på samme (pålitelige) måte?
3. Var oppfølgingen tilstrekkelig lang og komplett? Personer i en kohortstudie som faller fra, kan ha en helt annen risiko for sykdom enn dem som blir igjen i en studie.
4. Har forfatterne tatt hensyn til kjente mulige forvekslingsfaktorer i studiens design og analyse?
5. Sammenfaller resultatene fra denne studien med resultatene fra andre tilgjengelige studier?

Kvalitative studier

Kvalitative studier er blant annet nyttige for å dokumentere pasienters opplevelser av å være syke eller deres erfaringer med helsetjenesten. Det er en pågående debatt blant kvalitative forskere om nytten av sjekklister i kvalitativ forskning. Men det er enighet om at de må brukes med forsiktighet. Et argument er at kvalitativ forskning i stor grad er avhengig av forskerens skjønn og ikke av standardiserte metoder.

Journal of Advanced Nursing hadde en artikkel som diskuterer kritisk vurdering av en fenomenologisk studie (7). Sjekklister for kritisk vurdering av kvalitativ forskning er i stadig utvikling. De har ikke vært brukt så lenge som sjekklister for kvantitativ forskning. Det finnes mer og mer litteratur på området (5, 6, 8, 9).

Grovt sett kan vi anføre at en god kvalitativ studie kjennetegnes ved at den

• er basert på en klar og konsis protokoll som er testet i en pilotstudie
• er godkjent av etisk komité
• er basert på et tilfredsstillende rammeverk
• har brukt eksplisitte metoder for å identifisere feilkilder ved innhenting av informasjon

Når du vurderer en slik studie, må du først stille spørsmålet om det var hensiktsmessig å bruke kvalitativ metode for å besvare akkurat dette spørsmålet eller denne problemstillingen. Finner du at det har noe for seg, kan du gå videre og sjekke studien opp mot for eksempel disse kriteriene:

1. Er det tilfredsstillende beskrevet hvordan og hvorfor utvalget ble foretatt?
2. Var datainnsamlingen tilstrekkelig for å gi et helhetlig bilde av fenomenet?
3. Ble det gjort rede for bakgrunnsforhold som kan ha påvirket fortolkningen av data?
4. Går det klart frem hvordan analysen ble gjennomført? Er fortolkningen av dataene forståelig, tydelig og rimelig?
5. Er det gjort forsøk på å underbygge funnene?
6. Kommer det klart frem hva som var hovedfunnene i studien?

Oppsummering

På noen få sider har vi gitt et riss av masse metodekunnskap. Det er ikke meningen at du, etter å ha lest dette, på en enkel og pålitelig måte skal kunne vurdere gyldigheten av all forskningsbasert informasjon. Se heller på det som en introduksjon og en invitasjon til å lese mer eller til å gå på kurs.

Alle trenger tid til fordypning og trening – gjerne sammen med andre – før de blir rimelig gode til å kvalitetsvurdere forskning. Vi håper likevel at det står igjen et inntrykk av at det er mulig. Du trenger ikke å være forsker med doktorgrad for å bli mer kritisk til dokumentasjon og artikler du kommer over.

På internettressursen kunnskapsbasertpraksis.no vil du finne sjekklister og andre tips som kan brukes når du ønsker å vurdere artikler kritisk på en systematisk måte.

Denne artikkelen bygger blant annet på en tidligere publisert artikkel (10).

Referanser

1.     Reinar LM. Det starter med et spørsmål. Sykepleien Forskning. 2006;1(1):62–4.

2.     Reinar LM. Å lete etter svar. Sykepleien Forskning. 2007;2(1):58–61.

3.        Kunnskapsbasertpraksis.no. [internett]. Oslo: Folkehelseinstituttet; [sitert 23.05.2018]. Tilgjengelig fra: http://www.helsebiblioteket.no/kunnskapsbasert-praksis

4.     Nortvedt MW, Jamtvedt G, Graverholt B, Nordheim LV, Reinar LM. Jobb kunnskapsbasert! En arbeidsbok. 2. utg. Oslo: Akribe; 2012.  

5.     DiCenso A, Guaytt G, Ciliska D. Evidence-based nursing: a guide to clinical practice. St. Louis: Elsevier Mosby; 2005.

6.     Greenhalgh T. How to read a paper – the basics of evidence-based medicine. 4. utg. Oxford: Wiley & Blackwell Publishing, BMJ-books; 2010.

7.     de Witt L, Ploeg J. Critical appraisal of rigour in interpretive phenomenological nursing research. Journal of Advanced Nursing. 2006;55:215–29.

8.     Malterud K. Qualitative research: standards, challenges, and guidelines. Lancet. 2001 august;358(9280):483–8.

9.     Malterud K. The art and science of clinical knowledge: evidence beyond measures and numbers. Lancet. 2001 august;358(9279):397–400.

10.   Reinar LM, Bjørndal A. Å vurdere kunnskap. Tidsskrift for jordmødre. 1999;(4):15–8.