– Pasientene må være oppmerksomme på at det å spørre en stor språkmodell om symptomene de har, kan være farlig og føre til feil diagnose og til at det ikke blir oppdaget når det er nødvendig med akutt hjelp, sier Rebecca Payne fra Oxford University.

Hun sier KI ikke er klar til å ta over legens rolle.

Testet hvordan folk bruker helse-chatboter

Den britiskledede forskergruppen ønsket å finne ut hvor godt mennesker lykkes når de bruker chatteroboter til å identifisere helseproblemer og avgjøre om de trenger å oppsøke lege eller sykehus.

Rundt 1300 deltakere i Storbritannia ble forelagt ti ulike scenarioer, som hodepine etter en kveld med drikking på byen, en ny mor som er utslitt eller følelsen av å ha gallestein.

Tre chatboter, én kontrollgruppe

Deretter ble deltakene tildelt en av tre chatboter: GPT-4o fra OpenAI, Llama 3 fra Meta eller Command R+. En kontrollgruppe brukte vanlige søkemotorer på nettet.

De som brukte chatbotene, klarte bare å identifisere helseproblemet i rundt en tredel av tilfellene, og snaut halvparten – 45 prosent – fant frem til riktig fremgangsmetode videre. Dette var ikke bedre enn tallene for kontrollgruppen, ifølge studien, som er publisert i Nature Medicine.

Mener gapet skyldes kommunikasjonssvikt

Forskerne pekte på den store forskjellen mellom det skuffende resultatet i studien og det at KI-chatboter gjør det bra på tester og eksamener for helsepersonell. De mener gapet skyldes kommunikasjonssvikt.

Til forskjell fra simulerte pasientmøter som ofte brukes til å teste KI, var det ofte de ekte menneskene ikke ga chatbotene all relevant informasjon. Og noen ganger slet menneskene med å tolke alternativene chatbotene foreslo, eller de misforsto eller ignorerte rådene de fikk.