Praktiske tips ved spørreskjemaundersøkelser

Når et spørreskjema utvikles, stilles ikke bare spørsmålene. Svarene til spørsmålene formuleres også av spørsmålsstilleren.

Det er tre hovedforhold som vil påvirke hvordan svaralternativene oppfattes. Det er det språklige (ordlyden) i svaralternativene, graderingen av svaralternativene («Ja/nei», «på en skala fra 1-10», «Ofte – av og til – sjeldent» og så videre) og den grafiske utformingen av spørreskjemaet.

Tre svakheter

1) Besvarer ikke spørsmålet

Haraldsen (1) lister opp tre svakheter i svaralternativene som man må være oppmerksom på. Jeg opplever at alle disse går på ordlyden i svaralternativene. Det første er svaralternativer som ikke stemmer overens med spørsmålet. Min erfaring er at dette ofte oppstår når det lages en matrise, for eksempel med tre svaralternativer på toppen: «i stor grad – i noen grad – i liten grad», med en rekke underspørsmål som alle skal passe til disse svaralternativer. Da kan det dukke opp spørsmål som «Hvor enig er du i utsagnet …?». I så fall burde svaralternativet være «enig – verken enig eller uenig – uenig». Alternativt kunne spørsmålet omformuleres til å passe svaralternativet: «I hvor stor grad mener du at utsagnet …. stemmer?». Haraldsen påpeker at det finnes flere tilfeller hvor man spør om «hvor mange ganger …?» og svaralternativer er «ofte – av og til – sjeldent». Her vil respondenten forvente å kunne konkret si hvor ofte.

2) Ikke gjensidig utelukkende

Den andre svakheten i svaralternativene man må være oppmerksom på, er svaralternativ som ikke er gjensidig utelukkende. Dette faller sammen med Wärneryds (2) tre elementære krav til svaralternativene om at de skal være «gjensidig utelukkende», «uttømmende» og «oversiktlige». At svaralternativene ikke er gjensidig utelukkende betyr at det er svaralternativer som overlapper hverandre, enten logisk (aldersgrupper 1–5 år, 5–10 år, 10–15 år, i stedet for 1–4 år, 5–9 år, 10–14 år) eller semantisk som «ofte – av og til – noen ganger – og sjelden» der det er vanskelig å si hva som er «av og til» og hva som er «noen ganger». At svaralternativene ikke er «uttømmende» betyr at det er mulige svaralternativer som ikke er tatt med, og dermed vil respondenten enten bli tvunget til å svare noe som ikke stemmer, eller la være å svare. Den enkle løsningen kan være å ha «vet ikke» eller «annet» som et svaralternativ, og dermed skulle alle alternativer være dekket. Det kan derfor være hensiktsmessig å bruke krefter på å finne så mange svaralternativer som mulig. Der et «0-alternativ» er en mulighet, må man lage et eget svaralternativ for det (1-3). «Hvor mye penger brukte du på aviser siste måned?». Her må «0 kr» være et alternativ. Eller: «Hvor mange nære venner har du?». Her må «ingen» være et alternativ. «Hvor ofte er du hos legen?». Her må «aldri» være et alternativ. En kombinasjon av kompliserte spørsmål, intrikate og mange svaralternativer og rotete utforming av skjemaet vil gjøre at respondenten mister oversikten over hva det blir spurt om og hvordan svaret skal være. Wärneryd understreker at mengden informasjon ikke må være større enn at alle alternativene får en noenlunde lik mulighet til å bli valgt (2).

3) Urealistiske svaralternativer

Den tredje svakheten i svaralternativene Haraldsen mener vi bør være på vakt mot er faren for å formulere urealistiske svaralternativer. Det bør være samsvar mellom detaljnivået i svaralternativene og hvordan folk tenker på saken. Det kan både være for grove og for detaljerte svaralternativ. «Var du fornøyd med behandlingene på poliklinikken? Ja/nei» vil mange syntes er for unyansert. Å svare på om man mener at antall innvandrere til Norge bør reduseres på en skala fra en til ti, vil for mange være en uvant måte å tenke på problemstillingen på. «Ja, nei» eller «vet ikke» vil kanskje være bedre i dette tilfellet.

Gradering

Den enkleste graderingen av svaralternativ er «ja/nei». For noen spørsmål er det opplagt kun ja eller nei som er alternativet. For eksempel: «Har du vært innlagt på sykehus i løpet av de siste 12 månedene?» Skal man her krysse av for flere alternativer som «hvilke husdyr er du regelmessig i kontakt med?» og det er mulig å krysse av for katt, hund, kanin, hamster, marsvin og så videre, selv om det bare er en kryssmulighet ved hvert dyr, så er det i praksis en rekke ja-/nei-spørsmål (avkryssing = ja, og tomt felt = nei). I mange tilfelle der ja-/nei-alternativet kan virke greit, kan det bli for kategorisk. Respondenten føler at det ikke er mulig å svare enten ja eller nei, og den som kartlegger mister verdifull informasjon. Dette gjelder spesielt når man spør om atferd, meninger eller holdninger hvor det som regel er umulig å svare ja eller nei. For eksempel «Er du fornøyd med behandlingen på poliklinikken? ja/nei». Dette gjør at graderte svarmuligheter både er lettere å svare på og gir mer informasjon. Alternativene for spørsmålet «I hvor stor grad er du fornøyd med behandlingen på poliklinikken?» blir da «meget fornøyd – fornøyd – verken fornøyd eller misfornøyd – misfornøyd – meget misfornøyd». Dette kalles en Likert-skala, og det er vanlig med fem alternativer, men det kan være alt fra tre opp til åtte–ni alternativer. Det er omdiskutert om det skal være et nøytralt midtpunkt (det vil si 3–5–7 svaralternativer) eller om respondenten bør tvinges over på positiv eller negativ side (4–6–8 svaralternativer). Bradburn m.fl. (3) konkluderer med at det bør være et nøytralt midtalternativ. Ved å ha et nøytralt alternativ får man et godt inntrykk av hvor mange som ikke har verken en sterk negativ eller positiv mening eller holdning, eller er likegyldige. Wärneryd understreker at å være likegyldig eller ikke vite, ikke nødvendigvis er å være bevisst nøytral, og mener at disse bør skilles ut, for eksempel som et eget spørsmål. En annen mulighet er å bruke visuell analog skala (VAS), som er en linje hvor kun ytterpunktene er gitt verbal verdi. På spørsmålet om hvor fornøyd man er med behandlingen på poliklinikken vil da alternativet bli: «Sett kryss på linjen for hvor fornøyd du er»:

Eller man kan bruke andre symboler for å øke forståelse, for eksempel for barn eller der språkforståelse kan være et problem:

Validitet og reliabilitet

Validitet er et mål på hvor godt spørsmålene svarer på det vi ønsker å måle, og reliabilitet er hvor pålitelige svar respondenten gir. Validiteten vil i stor grad være avhengig av hvor god jobb som er gjort for å finne de riktige spørsmålene. Har vi klart å formulere spørsmål som er relevante i forhold til det vi skal kartlegge? Reliabiliteten vil gå på hvor entydige spørsmålene og svaralternativene er. Vil to personer med lik atferd eller like holdninger svare likt på spørsmål om holdninger eller atferd? Vil samme person svare likt ved en annen anledning?

Det finnes flere metoder for å teste validitet og reliabilitet. Når det gjelder skalaer så kan det testes opp mot andre skaler eller opp mot tidkrevende observasjonsstudier og statistiske analyser som test av intern konsistens. Siden det her er snakk om spørreskjema, og ikke skalaer, så vil disse metodene ikke være aktuelle. Siden hvert spørsmål står for seg selv, så vil testing av reliabilitet og validitet være krevende. Ved større spørreundersøkelser vil det likevel være nødvendig å teste og vurdere disse forholdene. Ved mindre studier vil man til en viss grad kunne vurdere både reliabilitet og validitet ut fra erfaringer gjort i en pilotstudie.

Pilotstudie

Utvikling av spørreskjema skjer som beskrevet i flere faser. På et tidspunkt føler man at alle faser er gjennomgått og skjemaet ferdig. Da er det tid for en pilotstudie. I en riktig pilotstudie simuleres hovedstudien (5). Selv om pilotkartleggingen er en miniutgave av hovedkartleggingen, har den et annet formål (1). I piloten kan det være hensiktsmessig å registrere forhold som ikke er med i hovedstudien, som hvor lang tid det tar å besvare spørsmålene, om det var spørsmål eller svaralternativer som er vanskelige å forstå og om det er spørsmål som er provoserende eller mange ikke vil svare på. Etter pilottestingen av spørreskjemaet må det oftest gjøres justeringer før skjemaet er klart for endelig bruk.

Referanser

1. Haraldsen G. Spørreskjemametodikk: etter kokebokmetoden/elektronisk ressurs. Oslo: Ad Notam Gyldendal; 1999.
2. Wärneryd B. Att fråga – om frågekonstruktion vid intervjuundersökningar och postankäter. Örebro, Sverige: Statistiska Centralbyrån 1993.
3. Bradburn M, Sudman S, Wansink B. Asking Questions – The Definitive Guide to Question Design. Revised Edition ed. San Francisco, CA, USA: Jossey-Bass; 2004.
4. Boynton PM, Greenhalgh T. Selecting, designing, and developing your questionnaire. BMJ. 2004;328:1312–5.
5. Gillham B. Developing a questionnary. London: Continuum International Publishing Group; 2007.