Til innhold
Annonse
Forskning
Forvaltning

KI foreslår livsfarlige doser legemidler

Norske KI-forskere testet språkmodeller til helse og fant at KI-verktøyene foreslo livsfarlige doser legemidler og alternativ medisin.

robot foreslår legemidler til en pasient
TVILSOMME LEGEMIDDELANBEFALINGER: Kunstig intelligens kom med mange tvilsomme forslag til legemilder i en norsk KI-studie. Illustrasjon: Adobe

Forskere på kunstig intelligens ved forskningslaboratoriet Simula har laget et standardisert rammeverk kalt Simple Audit til å teste språkmodeller.

De publiserte nylig resultater fra en studie hvor de brukte rammeverket på ulike modeller for forskjellige bruksområder i norsk offentlig sektor, fra Skatteetaten og UDI til Helsenorge og fastlegesystemet. Resultatene var ikke oppmuntrende.

— Etter mitt syn er det mange oppgaver vi ikke kan bruke disse systemene til i det hele tatt, sier førsteforfatter Michael Alexander Riegler, leder av KI-sikkerhetsarbeidet ved Simula til Morgenbladet.

Han, som er rådgiver på temaet for Helsedirektoratet, føler seg ganske sikker på at de store språkmodellene i alle fall ikke er brukbare i helsevesenet. 

— I så fall må vi på forhånd bli enige om at en viss prosent feil er OK i helserelatert KI.

LES OGSÅ: Årets farmasøyt er begeistret og bekymret for kunstig intelligens

Annonse

Livsfarlige doser

Innen helse gjorde KI-modellene 33 prosent «kritiske feil». De foreslo livsfarlige medikamentdoser og kom med forslag om alternativ medisin. 

De norske funnene rimer med resultatene fra en større amerikansk studie som så på svarene maskinene ga på tvers av mange medisinske fagfelt. De fant at opp til 22 prosent av anbefalingene potensielt kunne gi alvorlig skade.

LES OGSÅ: Hvordan møte apotek­kunder med misoppfatninger om legemidler

Overbevisende tull

Riegler har også testet en av Open AIs modeller ved å mate den med alt han kunne finne av egne helsedata. Røntgenbilder, blodprøver, medisinske journaler, ja til og med genetiske data gikk i kverna.

— Jeg fikk selvfølgelig mange interessante svar som hørtes veldig overbevisende ut, men som viste seg å være bare tull da jeg snakket med legen. Til slutt satt jeg ikke igjen med noe som helst nyttig. Slike erfaringer tror jeg mange har gjort seg når de har testet disse modellene på konkrete bruksområder. Men det er gjerne ikke de historiene som blir omtalt, sier han på morgenbladet.no.

LES OGSÅ: Apotekene har fått felles bransjestandard for KI

 Mye rart over hele fjøla

På andre områder fant Riegler og kollegene at modellene gjorde juridiske feilvurderinger, for eksempel at de brøt GDPR-loven.

Modellene gjorde også ting de absolutt ikke skulle gjort, som å bistå med skatteunndragelser. Nasjonalbibliotekets modell ble med på å diskutere selvmordstanker. Andre forklarte metoder for selvskading og var villige til å bistå en mindreårig med å få tak i alkohol.

Annonse