Uten representative helsedata kan kunstig intelligens diskriminere

En programvareingeniør som nylig hadde mistet ektefellen sin på grunn av hudkreft, kontaktet hudlegen på sykehuset. Han forklarte legen at fordi programmet var utviklet og «trent» med databilder av lys hud, var det ikke mulig ved hjelp av kunstig intelligens (KI) å diagnostisere hudkreft i ektefellens mørke hudfarge.

KI er datateknologi programmert til å utføre oppgaver som vanligvis krever menneskelig intelligens. Ved hjelp av maskinlæring (ML), en stor undergruppe av KI, kan datamaskinen gjenkjenne tekst, bilder og tale, og den kan selv lære å lage instruksjoner. 

KI har vist stort potensial for bruk i helsetjenesten. Ved hjelp av KI er det mulig å gi presise prediksjoner av sykdomsforløp, behandling og behandlingsrespons i et stort antall kliniske situasjoner. Kostnadsreduksjonen ved økt bruk av KI kan bli betydelig.

Historien innledningsvis er imidlertid ett av flere eksempler på at KI-baserte programmer også kan føre til utilsiktet forskjellsbehandling av marginaliserte grupper i samfunnet.

Potensialet er lovende

Algoritmer, eller programmets instrukser, gjør datamaskinen i stand til å finne mønstre og sammenhenger i store mengder data, samt generere ny informasjon (prediksjoner). For at en ML-algoritme skal kunne gjennomføre analytiske prosesser, må den fores med informasjon, eller såkalte treningsdata. 

Algoritmen lærer å skille mellom mønstre og tilstander i treningsdata, og KI har vist seg å være like godt eller bedre egnet til å identifisere symptomer eller sykdom. Omfattende tester har for eksempel vist at KI både identifiserte flere tilfeller av føflekkreft og ga færre falske positive svar enn hudleger.

ML har potensial til å effektivisere og forbedre prosedyrer som billeddiagnostisering og analyser av patologiske prøver, og flere radiologiske deteksjonssystemer er under utvikling. Potensialet for å predikere persontilpasset behandling er også lovende.

Videre har KI medført økt effektivitet i administrative funksjoner. Gjennom gjenkjenning og tekstanalyse kan kritisk informasjon, som allergier, raskt hentes ut fra journalen. Praktisk arbeid, som planlegging av vaktlister og turnus, effektiviseres med KI, noe som frigjør ressurser til andre oppgaver.

Det er grunn til bekymring

Når KI produserer utilsiktede, negative skjevheter, kan det skyldes mangelfulle og lite representative treningsdata, eller at algoritmen ikke er tilstrekkelig tilpasset målgruppen. Upresise prediksjoner og diskriminering oppstår når sårbare grupper og minoriteter ikke er godt nok representert i treningsdataene. Skjevheter kan føre til diskriminering basert på etnisitet, kjønn, alder, sosioøkonomisk status og nedsatt funksjonsevne.

Algoritmen kan mistolke mangelfull informasjon som mangel på symptomer eller sykdom. I kliniske studier har det for eksempel vært en underrepresentasjon av kvinner og minoriteter. Dersom KI baserer seg på treningsdata om hjerteinfarkt som i hovedsak stammer fra menn, og utviklerne av KI-programmet ikke er klar over skjevheten, kan KI systematisk feildiagnostisere kvinners «atypiske» symptomer.

Et annet eksempel er en studie som viste at afroamerikanske pasienter i gjennomsnitt mottok mindre smertebehandling enn euroamerikanske pasienter. Programmet var trent på elektroniske journaler og lærte av historiske data å anbefale lavere doser smertestillende til afroamerikanere, uavhengig av deres faktiske behov for smertelindring.

Strukturelle ulikheter kan også reflekteres i målefeil. Data som oppfattes å være knyttet til økt sykelighet, som forekomst av sykdom målt i antall legebesøk, kan være misvisende. Det har vært vist at grupper med dårligere økonomi oppsøker leger sjeldnere og at dette skyldes sosioøkonomiske forhold – ikke forekomst av sykdom.

Misvisende informasjon blir forsterket når store datasett brukes i KI. Derfor er det grunn til bekymring for hvordan sosioøkonomiske forskjeller, kjønnsforskjeller og strukturell rasisme kan forsterkes gjennom KI-programmer.

Dataene må gi et mangfoldig bilde

For at KI skal kunne gi likeverdige prediksjoner av sykdommer og effektivisering av helsetjenestene, kreves det gode data som representerer et oppdatert og mangfoldig bilde av problemene. 

For å forebygge diskriminering, må treningsdata være representative for hele populasjonen algoritmen benyttes på. Analysene må ta hensyn til kjønn, alder, etnisitet, språk, funksjonsnivå og sosiale rammer. 

Etiske veivalg og antidiskriminering må tas i betraktning i utviklingen av KI. Det må være åpenhet om hvilke algoritmer og treningsdata som er brukt, og det må opplyses om svakheter ved programmene. I tillegg må utviklere og produsenter sørge for at underrepresenterte grupper medvirker i utviklingen av programmene og i prospektiv gransking av prediksjonene.