Forskning viser at intensivpasienter ofte lider av underbehandlet smerte (1–5). Underbehandling av smerte kan gi alvorlige fysiske og psykiske konsekvenser (6–8). Gullstandard for smertevurdering er pasientens egen beskrivelse av smerte (9, 10). Imidlertid innebærer intensivpasientens svekkete kommunikasjonsevne at pasienten kan oppleve smerte uten å være i stand til å uttrykke den på en måte som oppfattes av helsepersonellet (4, 7, 11). Pasienter som ikke er i stand til å selvrapportere smerte, er en stor hindring for effektiv smertelindring.

Systematisk smertevurdering med valide verktøyer viser seg å være avgjørende for god smertebehandling og kan fungere som en indikator for god klinisk praksis (12, 13). Det finnes flere verktøyer for å vurdere smerte hos voksne intensivpasienter, men ifølge internasjonale kliniske retningslinjer (14) er The Behavior Pain Scale (BPS) (15) og The Critical-Care Pain Observational Tool (CPOT) (16, 17) de mest gyldige og pålitelige. Rijkenberg og medarbeidere sammenliknet CPOT og BPS og konkluderte med at CPOT var å foretrekke grunnet bedre diskriminerende validitet, altså at verktøyet måler smerte bedre når intensivpasienten antas å ha smerte (19).

Barr og medarbeidere refererer i de internasjonale kliniske retningslinjene til testing av de to verktøyenes psykometriske egenskaper (måleegenskaper, brukervennlighet, verktøyets validitet og reliabilitet etc.). Også her kom CPOT noe bedre ut, men CPOT og BPS anbefales på lik linje (14). Retningslinjene anbefaler at CPOT og BPS blir oversatt og validert til flere språk (14). BPS er oversatt til norsk og reliabilitetstestet av Olsen og Rusten (18). Det er derfor en fordel at også CPOT oversettes til norsk og testes for validitet og reliabilitet. Hensikten med studien er derfor å oversette og undersøke validiteten og reliabiliteten til den norske versjonen av CPOT på en generell intensivavdeling.

Metode

Studien har et beskrivende kvantitativt design der smertevurderingsverktøyet CPOT er oversatt til norsk og deretter undersøkt for diskriminerende validitet og interrater-reliabilitet. Med diskriminerende validitet mener vi hvorvidt CPOT måler smerte når smerte er til stede, og ikke måler smerte når smerte ikke er til stede. Interrater-reliabilitet måler graden av samsvar mellom to intensivsykepleieres CPOT-skåringer.

Studiested og utvalg

Vi utførte studien på en generell intensivavdeling ved et norsk universitetssykehus i tidsrommet april til september 2014. De fleste av pasientene ved avdelingen respiratorbehandles, får kontinuerlig smertelindring og sedasjon (beroligende/sovemedisin) og har nedsatt evne til å kommunisere. Av totalt 100 sykepleiere på avdelingen har 95 videreutdanning i intensivsykepleie.

Bevissthetsnivået til alle pasientene på den aktuelle avdelingen vurderes daglig av sykepleierne med Richmond Agitation and Sedation Scale (RASS) (14, 20). RASS måler agitasjons- og sedasjonsnivå, skår angis fra +4 til –5, der skår 0 angir en våken og adekvat pasient. Skår –1 til –5 angir en gradvis dypere sedert pasient, og skår +1 til +4 angir en økende irritabel og agitert pasient.

Inklusjonskriteriene for pasientene i studien var at de hadde et intensivopphold på >24 timer, var ≥18 år og ble respiratorbehandlet. Pasienter som fikk muskelrelakserende medikamenter, ble ekskludert fra studien. Muskelrelakserende medikamenter hemmer all grimasering og perifere muskelbevegelser, og CPOT kan dermed ikke benyttes i smertevurderingen av pasienter der slike medikamenter blir gitt. En av forfatterne og en intensivsykepleier som ikke var i direkte pasientarbeid, inkluderte pasienter etter hvert som de ble innlagt på avdelingen. Totalt atten pasienter ble inkludert i studien: sju menn og elleve kvinner i alderen 31–84 år, med en median på 51 år. Pasientene ble delt inn i tre diagnosekategorier:

• torakskirurgiske og hjertemedisinske pasienter
• gastrokirurgiske og gastromedisinske pasienter
• nevrokirurgiske og nevrologiske pasienter

Inklusjonskriteriene for sykepleierne var at de var erfarne intensivsykepleiere med minimum fem års ansiennitet, at de hadde jobbet noen vakter sammen, og at de var interesserte i å delta i studien. De seks intensivsykepleierne som ga sitt samtykke til å delta, hadde mellom fem og 23 års erfaring som intensivsykepleiere, med en median på 16 år. Sykepleierne utførte parvis 91 CPOT-skåringer på de 18 inkluderte pasientene.

Oversettelse av CPOT

Den engelske originalversjonen av CPOT (16) og tilhørende instruksjon ble oversatt til norsk etter en internasjonalt anbefalt oversettelsesprosess, der både kulturell og språklig tilpasning vektlegges (22). Oversettelsesprosessen inneholder ti trinn: forberedelser, oversettelse, tilpasning, tilbakeoversettelse, gjennomgang, harmonisering, forståelse i forhold til bruk, gjennomgang av funn og sluttføring, korrekturlesning og sluttrapport.

Pasienter som ikke er i stand til å selvrapportere smerte, er en stor hindring for effektiv smertelindring.

I første trinn, forberedelse, ga opphavseier til CPOT, Céline Gélinas, sin skriftlige godkjenning til en norsk oversettelse av CPOT på visse betingelser. Oversettelsen skulle bygge på den engelske originalversjonen, og på samtlige CPOT-dokumenter skulle det fremgå kilde og referanser. To intensivsykepleiere med gode norsk- og engelskkunnskaper, samt en av forfatterne oversatte CPOT uavhengig av hverandre. Etter flere tilpasninger av oversettelsene ble de enige om en felles oversettelse. En profesjonell oversetter tilbakeoversatte den norske versjonen til engelsk. Denne versjonen av CPOT ble gjennomgått av de tre ovennevnte, deretter sendt til Gélinas, som godkjente versjonen uten bemerkninger.

Vi sammenliknet den engelske oversettelsen med den norske versjonen for å forsikre oss om at oversettelsen harmoniserte med originalteksten, det vil si hadde samme innhold som originalverktøyet. Fem erfarne intensivsykepleiere som ikke var kjent med CPOT, testet ut den norske versjonen. Tilbakemeldingene var at CPOT var forståelig å bruke og anvendbar i praksis. Etter gjennomgangen endret vi derfor ikke noe. Den endelige versjonen av CPOT ble korrekturlest gjentatte ganger av flere personer med gode norskkunnskaper. Vi beskrev så hvert trinn i prosessen i en tabell som utgjorde sluttrapporten for oversettelsesarbeidet.

The Critical-Care Pain Observation Tool (CPOT)

Smertevurderingsverktøyet CPOT er basert på fire domener som omfatter pasientens ansiktsuttrykk, kroppsbevegelser, samarbeid med respirator (eller stemmebruk for ikke-intuberte pasienter) og muskelspenning (16). For hvert av domenene kan det gis skår fra 0 til 2. Den totale skåren kan variere mellom 0 og 8, der 0 viser til ingen smerteatferd, og skår 8 viser til tydelige tegn på smerteatferd.

Intensivsykepleierne fikk en times undervisning i bruk av CPOT. Undervisningen inneholdt en utførlig presentasjon av verktøyet, hvordan atferdskomponentene i CPOT skåres, og hvordan registreringsskjemaet fylles ut. I opplæringen inngikk også en praktisk øvelse der sykepleierne skåret CPOT ut fra fire «pasientsituasjoner», som ble presentert i en instruksjonsvideo.

Datainnsamling

De seks intensivsykepleierne vurderte parvis og på samme tidspunkt smerteuttrykket til en pasient i forbindelse med en snuprosedyre. Vi valgte snuing fordi det er en smertefull prosedyre for intensivpasienter (2). Først ble pasienten observert ett minutt i hvile i henhold til den skriftlige instruksjonen. Deretter observerte de pasienten under snuing. Sykepleierne fylte ut hvert sitt CPOT-skjema uavhengig av hverandre, og de ga pasienten en skår for hvert av de fire atferdsdomenene både i hvile og under snuing (16).

Vi brukte sykepleiernes CPOT- skår for å se på forskjellen mellom skår i hvile og under snuing (diskriminerende validitet), og for å se på samsvar mellom sykepleierparenes skåringer (interrater-reliabilitet).

De seks intensivsykepleierne utførte totalt 182 CPOT-skåringer (91 parvise skåringer) hos de 18 inkluderte pasientene. Hver pasient ble skåret for CPOT mellom én og 17 ganger med en median på tre, avhengig av liggetid på intensivavdelingen. De seks sykepleierne skåret ulikt mange ganger, mellom åtte og 55 ganger med en median på 29. For å redusere muligheten for at sykepleierne ble kjent med pasientens smerteatferd, ble samme pasient aldri skåret mer enn fire ganger av samme sykepleiepar.

Sykepleierne dokumenterte pasientenes RASS-nivå ved hvert skåringstilfelle med CPOT for å vite hvilket sedasjonsnivå de inkluderte pasientene hadde ved de ulike smerteskåringstilfellene. Ved de fleste skåringstilfellene hadde pasientene en registrert RASS-skår som tilsa at de var moderat til dypt sedert, med en median RASS-skår på –3 (+1 til –5).

Analyse

Data ble analysert med statistikkprogrammene IBM Statistical Package for the Social Sciences (SPSS) versjon 18 og dataprogrammet VassarStats (23). Vi tok utgangspunkt i tidligere studiers valg av analysemetoder for å kunne sammenlikne resultater (16, 24, 25). CPOT kan anses å ha både kategoriske og kontinuerlige data, noe som har betydning for valg av analysemetode (26). På kategoriske data på ordinalnivå benyttet vi median, mens vi på kontinuerlige data beregnet gjennomsnittsverdier (27).

Vi målte diskriminerende validitet for CPOT ved å se på endring i CPOT-skår i hvile og under snuing innenfor samtlige domener: ansiktsuttrykk, kroppsbevegelse, samarbeid med respirator og muskelspenning. Disse kategoriske dataene ble analysert på ordinalnivå med Wilcoxon signed-rank test. For å beregne diskriminerende validitet av kontinuerlige data på intervallnivå sammenliknet vi gjennomsnittstotalskår i hvile med gjennomsnittstotalskår under snuing ved hjelp av analysen paired t-test. For begge analysene satte vi signifikansnivået til p >0,05.

Vi benyttet to ulike analysemetoder for å måle interrater-reliabilitet (IRR) for CPOT: vektet kappa på kategoriske data og intraklassekorrelasjonskoeffisient (ICC) på kontinuerlige data. Dersom sykepleierne som vurderte samme pasient med CPOT, kom frem til samme skår, ga det en god IRR. Vektet kappaverdier på 0,81–1,0 viser til utmerket samsvar, 0,61–0,80 til godt samsvar, 0,41–0,60 til moderat samsvar, 0,21–0,40 til tvilsomt samsvar og ≤0,20 til dårlig samsvar (28). ICC større enn 0,75 viser til bra samsvar, 0,50–0,75 til moderat og <0,5 til dårlig samsvar (29). Både for ICC og vektet kappa indikerer 1,0 totalt samsvar, mens 0 indikerer intet samsvar.

Etiske overveielser

Vi har fulgt Helsinkideklarasjonens etiske retningslinjer (30). Vi vurderte studien som meldepliktig til Regionale komiteer for medisinsk og helsefaglig forskningsetikk (REK) ettersom vi ønsket å registrere pasientdata og vurdere pasientene for smerte med et nytt smertevurderingsverktøy. Studien ble godkjent av REK (2014/464), og vi innhentet tillatelse fra avdelingsleder ved den aktuelle avdelingen for å få utføre studien. De fleste av de inkluderte intensivpasientene i studien manglet samtykkekompetanse som følge av sin sykdomstilstand. Derfor ble pasientens pårørende informert og forespurt om samtykke, muntlig og skriftlig. I ett tilfelle samtykket pasienten selv etter muntlig og skriftlig informasjon. De seks intensivsykepleierne ble også informert og forespurt om deltakelse, og samtykket skriftlig.

Resultat

Først presenterer vi resultatene for diskriminerende validitet og deretter resultatene for interrater-reliabiliteten til CPOT. Vi undersøkte diskriminerende validitet ved å sammenlikne sykepleiernes CPOT-skår i hvile med CPOT-skår under snuing. Tabell 1 viser gjennomsnitt, standardavvik og resultat av analysen Wilcoxon signed-rank test på domenenivå. Resultatet på domenenivå viste at det var statistisk signifikante forskjeller i skåringene mellom hvile og snuing innenfor ansiktsuttrykk, samarbeid med respiratoren og muskelspenning, men ikke innenfor domenet kroppsbevegelse.

Gjennomsnittlig verdi for CPOT-totalskår var 0,35 (SD 0,95) i hvile og 1,50 (SD 1,20) under snuing. På CPOT-totalskår var det en statistisk signifikant forskjell mellom hvile og under snuing (paired t-test = 7,945, df = 90 og p-verdi <0,001). Forskjellen indikerer at CPOT måler smerte når smerte er til stede.

Interrater-reliabilitet til CPOT ble undersøkt gjennom å se på samsvar i skår i hvile og under snuing til hvert sykepleiepar for hvert av domenene. Vi analyserte dataene med vektet kappa. Resultatene viser at vektet kappa hadde en spredning fra 0,41–0,82, det vil si fra moderat til utmerket samsvar (tabell 2).

Vi analyserte samsvar for gjennomsnittet av CPOT-totalskår med intraklassekorrelasjonskoeffisient (ICC). Resultatet viser til et godt samsvar i hvile med ICC på 0,80 med et konfidensintervall (KI) på 0,71–0,86, og et moderat samsvar under snuing med ICC på 0,68 med KI 0,54–0,77.

Diskusjon

Resultatet fra studien viser at det var en signifikant forskjell mellom gjennomsnittlig total CPOT-skår i hvile og under snuing. Denne forskjellen indikerer at CPOT måler smerte når smerte er til stede. Resultatet tyder på at den norske versjonen av CPOT har en god diskriminerende validitet, noe som stemmer overens med resultater fra tidligere studier (16, 24, 25, 31, 32). Resultatet for analysen av CPOT-skår innenfor hvert domene i hvile og under snuing viste signifikante forskjeller innenfor samtlige domener, med unntak av domenet kroppsbevegelse. Unntaket kan forklares med at pasientene i denne studien var relativt dypt sederte – de fikk både smertelindring og beroligende legemidler –, og at de dermed i liten grad beveget seg.

Det kan virke som om ansiktsuttrykk er det viktigste domenet for å identifisere smerte, samtidig som det er det domenet med lavest pålitelighet.

Analysen ICC, som ble benyttet for å måle interrater-reliabilitet, viste et utmerket samsvar mellom sykepleiernes totale CPOT-skår i hvile og et moderat samsvar under snuing. Resultatene stemmer overens med resultater fra liknende studier (31, 33). At samsvaret mellom sykepleiernes skåringer var bedre i hvile enn under snuing, kan i vår studie muligens forklares ved at pasientene var sederte. Den hyppigste CPOT-skåren i hvile var 0, mens det ved snuing var en større variasjon i pasientens smerteatferd, noe som medførte en større variasjon i CPOT-skår.

En annen forklaring på det moderate samsvaret kan være variasjonen som oppstår ved at så mange som seks ulike sykepleiere skåret pasientene. Samtidig kan dette reflektere virkeligheten bedre enn i studier som viser til et noe bedre samsvar, men der bare to sykepleiere utførte alle skåringer (16, 24). Stilma og medarbeidere viser i sin studie til et lavere samsvar enn i vår studie (34). Hun forklarer til dels resultatene med at mange forskjellige sykepleiere utførte skåringene, men peker samtidig på overførbarheten til en intensivpraksis som representerer virkeligheten.

Nyttig med øvelse i skåring

Polit og Beck hevder at den mest effektive måten å øke reliabiliteten i denne typen studier er å undervise deltakerne som utfører skåringene (21). Dette er i tråd med anbefalinger fra liknende studier som poengterer at opplæringen av sykepleierne er avgjørende for hvor pålitelig og gyldig verktøyet blir (25, 33). De seks sykepleierne i studien fikk lik opplæring i bruken av vurderingsverktøyet. I forbindelse med undervisningsvideoen fikk sykepleierne mulighet til å skåre pasientsituasjoner og diskutere seg frem til en felles forståelse av de ulike domenene. Det kan tenkes at mer øvelse i skåring og en bedre felles forståelse kunne resultert i bedre samsvar i skåringene også under snuing.  

Vi har ikke funnet noen tidligere sammenliknbare studier som har undersøkt samsvar (interrater-reliabilitet) mellom sykepleiernes CPOT-skår på hvert domene (16, 24, 25, 31, 32). Analysen vektet kappa på domenenivå viste moderat til utmerket samsvar. Ansiktsuttrykk var det domenet som skilte seg ut ved å ha det laveste målte samsvar mellom sykepleiernes skår i hvile, med vektet kappa på 0,41. En mulig forklaring kan være at de tre svaralternativene for ansiktsuttrykk kan være vanskelige å skille fra hverandre. I instruksjonen som følger CPOT-skalaen, etterfølges «anspent» (CPOT-skår 1) og «grimaserende» (CPOT-skår 2) av beskrivelser som det kan være utfordrende å få en felles forståelse av.

Ansiktsuttrykk viktigst for å registrere smerte

En annen studie som har undersøkt interrater-reliabilitet på domenenivå, er den norske oversettelsen og reliabilitetstestingen av Behavioral Pain Scale (BPS) (18). Det fremgikk også her at ansiktsuttrykk ga det laveste samsvaret sett i forhold til de andre atferdsområdene, både i ro og hvile. Alle kjente smerteskalaer basert på atferd har med ansiktsuttrykk som ett av domenene, og pasientens ansiktsuttrykk anses som den viktigste komponenten (35). Rahu og medarbeidere hevder at ansiktsuttrykk kan være et valid alternativ til egenrapportering av smerte hos intensivpasienter (36).

Det kan virke som om ansiktsuttrykk er det viktigste domenet for å identifisere smerte, samtidig som det er det domenet med lavest pålitelighet. Både Gélinas og Arbor og Keane har stilt spørsmålet om hvorvidt domenet ansiktsuttrykk i CPOT burde utvikles og gjøres mer sensitivt for å minimere risikoen for at pasienten blir undervurdert for smerte (25, 35). Spørsmålet om videreutvikling av domenet ansiktsuttrykk støttes av resultatene fra denne studien. Muskelspenning var det domenet som hadde utmerket samsvar med en vektet kappaverdi på 0,82. En forklaring på dette kan være at domenet muskelspenning i CPOT har en kortfattet beskrivelse, og at det ved snuing er relativt lett å kjenne pasientens muskelmotstand ved passive bevegelser.

Intensivsykepleieren bør ha som utgangspunkt at smerte ofte er til stede hos intensivpasienten.

I mange av skåringstilfellene ble pasientene i studien vurdert til å ligge i nedre del av CPOT-skalaen, og gjennomsnitt for total CPOT-skår i hvile var 0,35, og under snuing 1,5. De lave CPOT-skårene kan forklares med at pasientene jevnt over var sederte til det sedasjonsnivået som innebærer at pasientene responderer på tiltale med bevegelse, men uten å gi øyekontakt. (RASS = –3). Studien til Gélinas og Arbour viser til at sederte pasienter har en signifikant lavere CPOT-skår både i hvile og under prosedyrer sammenliknet med bevisste pasienter (35). I tidligere studier med mer våkne pasienter har CPOT vist seg å være i samsvar med pasientens egenrapporterte smerte ved total CPOT-skår på 2 til 3 (31, 32, 33).

Svakheter ved studien

En svakhet ved studien er at kriterievaliditet, altså en sammenlikning av sykepleierens CPOT-skåring og pasientens egen vurdering av smerte, ikke ble undersøkt. Kun et fåtall av pasientene på den aktuelle intensivavdelingen kan selv uttrykke smerte ved hjelp av Numeric Rating Scale (NRS). Derfor tok vi beslutningen om ikke å undersøke kriterievaliditeten i denne studien. I tillegg begrunner vi beslutningen med at kriterievaliditeten i studiene til Keane og Nürnberg Damström og medarbeidere, der få pasienter selv kunne kommunisere sin smerte, ikke lot seg evaluere tilstrekkelig nettopp som følge av ufullstendig datainnsamling (24, 25). I andre studier med mer våkne pasienter har CPOT vist seg ha en høy kriterievaliditet i forhold til pasientens egenrapportering av smerte (16, 37).

En annen svakhet i studien var at pasientene ble skåret gjentatte ganger som følge av det begrensete antall inkluderte pasienter. Samtidig kunne pasientens sedasjonsnivå variere ved de ulike skåringstilfellene og dermed ha skapt en naturlig variasjon i smerte og smerteatferd hos samme pasient. Valget om å skåre pasientene flere ganger kan også forsvares med at det er sykepleiernes skåringer som er analysegrunnlaget. Videre er det en begrensning at studien bare er gjort på én intensivavdeling, og at alle skåringene ble utført av intensivsykepleiere. Studiens generaliserbarhet kan begrenses ved at mange intensivavdelinger har andre pasientkategorier og sykepleiere uten videreutdannelse.

Konklusjon

Den norske versjonen av CPOT synes å være et valid og reliabelt smertevurderingsverktøy for respiratorbehandlete intensivpasienter. CPOT kan implementeres på intensivavdelinger for systematisk å kunne vurdere, dokumentere og evaluere intensivpasientens smerte. Gjennom flere studier viser CPOT seg å være et godt validert og reliabilitetstestet verktøy. Likevel er det behov for videre forskning på den norske versjonen av CPOT på andre grupper av intensivpasienter. Videre forskning bør også rettes mot å undersøke om de fire domenene i CPOT kan gjøres mer sensitive for smerte. Fremfor alt gjelder dette for domenet ansiktsuttrykk.

Intensivsykepleieren bør ha som utgangspunkt at smerte ofte er til stede hos intensivpasienten, spesielt i forbindelse med prosedyrer, og at lav skår på smerteatferd hos dypt sederte pasienter ikke nødvendigvis betyr at pasienten er smertefri (38, 39). Hvis CPOT kan gi en indikasjon på om en intensivpasient har smerter eller ikke, er verktøyet med på å øke kvaliteten på pasientbehandlingen til tross for sine begrensninger.

Takk til ledelsen og kollegaer ved Generell intensiv 1, Rikshospitalet, Oslo universitetssykehus (RH OUS), som gjorde det mulig å få utføre denne studien.

Takk også til Helene Berntzen, intensivsykepleier og doktorgradsstipendiat ved Postoperativ og intensivavdelingen, OUS og til Hilde Wøien, intensivsykepleier ph.d. ved Generell intensiv 1, RH OUS, for gjennomlesing og gode innspill.

Referanser

1.      Puntillo K. Pain experiences of intensive care unit patients. Heart & Lung: the journal of critical care 1990;19(5):526–33.

2.      Puntillo KA, White C, Morris AB, Perdue ST, Stanik-Hutt J, Thompson CL et al. Patients’ perceptions and responses to procedural pain: results from Thunder Project II. American Journal of Critical Care 2001;10(4):238–51.

3.      Sessler CN, Varney K. Patient-focused sedation and analgesia in the ICU. CHEST (Journal) 2008;133(2):552–65.

4.      Payen J-F, Bosson J-L, Chanques G, Mantz J, Labarere J. Pain assessment is associated with decreased duration of mechanical ventilation in the intensive care unit: a post Hoc analysis of the DOLOREA study. Anesthesiology 2009;111(6):1308–16.

5.      Puntillo KA, Max A, Timsit J-F, Vignoud L, Chanques G, Robleda G et al. Determinants of procedural pain intensity in the intensive care unit. The Europain® Study. American Journal of Respiratory and Critical Care Medicine 2014;189(1):39–47.

6.      Hamill-Ruth RJ, Marohn ML. Evaluation of pain in the critically ill patient. Critical Care Clinics 1999;15(1):35–54.

7.      Chanques G, Jaber S, Barbotte E, Violet S, Sebbane M, Perrigault P-F et al. Impact of systematic evaluation of pain and agitation in an intensive care unit. Critical Care Medicine 2006;34(6):1691–99.

8.      Barr J, Pandharipande PP. The pain, agitation, and delirium care bundle: synergistic benefits of implementing the 2013 pain, agitation, and delirium guidelines in an integrated and interdisciplinary fashion. Critical Care Medicine 2013;41(9 Suppl 1):99–115.

9.      Merskey H, Bogduk N. Classification of chronic pain: descriptions of chronic pain syndroms and definitions of pain terms. Seattle: IASP Press. 1994. XV:222

10.    Breivik H, Borchgrevink P, Allen S, Rosseland L, Romundstad L, Hals EB et al. Assessment of pain. British Journal of Anaesthesia 2008;101(1):17–24.

11.    Alderson S, McKechnie S. Unrecognised, undertreated, pain in ICU: Causes, effects, and how to do better. Open Journal of Nursing 2013;3(1).

12.    Skrobik Y, Ahern S, Leblanc M, Marquis F, Awissi DK, Kavanagh BP. Protocolized intensive care unit management of analgesia, sedation, and delirium improves analgesia and subsyndromal delirium rates. Anesthesia & Analgesia 2010;111(2):451–63.

13.    Wøien H, Bjørk IT. Intensive care pain treatment and sedation: Nurses’ experiences of the conflict between clinical judgement and standardised care: An explorative study. Intensive and Critical Care Nursing 2013;29(3):128–136.

14.    Barr J, Fraser GL, Puntillo K, Ely EW, Gélinas C, Dasta JF et al. Clinical practice guidelines for the management of pain, agitation, and delirium in adult patients in the intensive care unit. Critical Care Medicine, 2013;41(1):263–306.

15.    Payen J-F, Bru O, Bosson J-L, Lagrasta A, Novel E, Deschaux I et al. Assessing pain in critically ill sedated patients by using a behavioral pain scale. Critical Care Medicine 2001;29(12):2258–63.

16.    Gélinas C, Fillion L, Puntillo KA, Viens C, Fortier M. Validation of the critical-care pain observation tool in adult patients. American Journal of Critical Care 2006;15(4):420–27.

17.    Gélinas C, Tousignant-Laflamme Y, Tanguay A, Bourgault P. Exploring the validity of the bispectral index, the Critical-Care Pain Observation Tool and vital signs for the detection of pain in sedated and mechanically ventilated critically ill adults: a pilot study. Intensive and Critical Care Nursing 2011;27(1):46–52.

18.    Olsen BF, Rusten T. Er den norske versjonen av «Behavioral Pain Scale» pålitelig og brukervennlig? Oslo: Sykepleien Forskning. 2011;(3). Tilgjengelig fra: https://sykepleien.no/forskning/2011/10/er-den-norske-versjonen-av-behavioral-pain-scale-palitelig-og-brukervennlig. (Nedlastet 10.11.2016).

19.    Rijkenberg S, Stilma W, Endeman H, Bosman R, Oudemans-van Straaten H. Pain measurement in mechanically ventilated critically ill patients: Behavioral Pain Scale versus Critical-Care Pain Observation Tool. Journal of Critical Care 2015;30(1):167–72.

20.    Sessler CN, Gosnell MS, Grap MJ, Brophy GM, O'Neal PV, Keane KA et al. The Richmond Agitation–Sedation Scale: validity and reliability in adult intensive care unit patients. American journal of Respiratory and Critical Care Medicine 2002;166(10):1338–44.

21.    Polit DF, Beck CT. Nursing research: generating and assessing evidence for nursing practice. Philadelphia, Pa.: Wolters Kluwer Health. 2012. XIV.

22.    Wild D, Grove A, Martin M, Eremenco S, McElroy S, Verjee-Lorenz A et al. Principles of good practice for the translation and cultural adaptation process for patient-reported outcomes (PRO) measures: report of the ISPOR task force for translation and cultural adaptation. Value In Health 2005;8(2):94–104.

23.    VassarStats. Kappa as a Measure of Concordance in Categorical Sorting. Tilgjengelig fra: http://vassarstats.net/kappa.html. (Nedlastet 01.10.2014).

24.    Nürnberg Damström D, Saboonchi F, Sackey P, Björling G. A preliminary validation of the Swedish version of the critical‐care pain observation tool in adults. Acta Anaesthesiologica Scandinavica 2011;55(4):379–86.

25.    Keane KM. Validity and reliability of the Critical Care Pain Observation Tool: A replication study. Pain Management Nursing 2013;14(4):216–25.

26.    Røislien J, Frøslie KF. Tall forteller: hvordan bruke tall til å finne ut om verden er slik du tror den er. Oslo: Gyldendal Akademisk. 2013.

27.    Bjørndal A, Hofoss D. Statistikk for helse- og sosialfagene. Oslo: Gyldendal Akademisk. 2010.

28.    Viera AJ, Garrett JM. Understanding interobserver agreement: the kappa statistic. Fam Med 2005;37(5):360–3.

29.    Fleiss JL, Cohen J. The equivalence of weighted kappa and the intraclass correlation coefficient as measures of reliability. Educational and Psychological Measurement. 1973

30.    WMA Declaration of Helsinki. Tilgjengelig fra: http://www.wma.net/en/30publications/10policies/b3/index.html. (Nedlastet 09.11.2015).

31.    Echegaray-Benites C, Kapoustina O, Gélinas C. Validation of the use of the Critical-Care Pain Observation Tool (CPOT) with brain surgery patients in the neurosurgical intensive care unit. Intensive and Critical Care Nursing 2014;30(5):25765.

32.    Li Q, Wan X, Gu C, Yu Y, Huang W, Li S et al. Pain assessment using the Critical-Care Pain Observation Tool in Chinese critically ill ventilated adults. Journal of Pain and Symptom Management 2014;48(5):975–82.

33.    Gélinas C, Johnston C. Pain assessment in the critically ill ventilated adult: validation of the Critical-Care Pain Observation Tool and physiologic indicators. The Clinical Journal of Pain 2007;23(6):497–505.

34.    Stilma W, Rijkenberg S, Feijen M H, Maaskant M J, Endeman H. Validation of the Dutch version of the Critical-Care Pain Observation Tool. Nursing in Critical Care. 2015. Tilgjengelig fra: https://www.altmetric.com/details/4920826. (Nedlastet 01.02.2015).

35.    Gélinas C, Arbour C. Behavioral and physiologic indicators during a nociceptive procedure in conscious and unconscious mechanically ventilated adults: similar or different? Journal of Critical Care 2009;24(4):628-e7.

36.    Rahu MA, Grap MJ, Cohn JF, Munro CL, Lyon DE, Sessler CN. Facial expression as an indicator of pain in critically ill intubated adults during endotracheal suctioning. American Journal of Critical Care 2013;22(5):412–22.

37.    Gélinas C, Harel F, Fillion L, Puntillo KA, Johnston CC. Sensitivity and specificity of the critical-care pain observation tool for the detection of pain in intubated adults after cardiac surgery. Journal of Pain and Symptom Management 2009;37(1):58–67.

38.    Gélinas C, Puntillo KA, Joffe AM, Barr J (red.). A Validated approach to evaluating psychometric properties of pain assessment tools for use in nonverbal critically ill adults. Seminars in Respiratory and Critical Care Medicine 2013;34(2):153–68.

39.    Tietize K. Pain control in the critically ill adult patient. Uptodate 2013. Tilgjengelig fra: https://www.uptodate.com/contents/pain-control-in-the-critically-ill-adult-patient. (Nedlastet 10.10.2014).