En ung lege sitter foran en pasient med diffuse symptomer. I systemet foran henne har en algoritme allerede sortert journaldata, foreslått differensialdiagnoser og rangert sannsynligheter. Systemet gjør sannsynligvis noe riktig: det prosesserer mer data raskere enn hun kunne gjort alene, og det overser ikke blodprøveverdien hun kanskje ville avfeid. Men noe annet skjer også, noe som handler om henne og ikke om pasienten: spørsmålene hun ikke trenger å stille, er nettopp de spørsmålene hun ville ha lært noe av å stille, og de er også spørsmålene som kunne ledet henne til konklusjoner dataene ikke allerede inneholder.

Et helsevesen under press

Det er verdt å begynne med utgangspunktet slik det faktisk er. Norske sykehus opererer under et press som har vært tiltagende i årevis: ventelister som vokser, personellmangel, administrative byrder som spiser av klinisk tid. I denne situasjonen er det ikke bare legitimt, men nødvendig å ta i bruk teknologi som kan korte ned ventelister, redusere feilmarginer i bildetolkning, lette administrative byrder og fordele ressurser mer presist. Der rutineoppgaver tar tid fra klinisk nærvær, kan automatisering frigjøre rom for det som faktisk krever et menneske. Å romantisere ineffektiviteten i et system som allerede svikter pasienter er ingen tjent med, og teknologisk motstand bør ikke bli en skjult konservatisme.

Argumentet som følger er derfor ikke at dagens system er godt nok og bør beskyttes mot forandring, men at i hastverket med å reparere det som er ødelagt, risikerer vi å ødelegge noe annet uten å legge merke til det.

Når beslutningsstøtte former oppmerksomheten

I kliniske møter er mye av det som gjør helsetjenester gode, vanskelig å fange i indikatorer: kontinuiteten i en relasjon over tid, tilliten som gjør at pasienten sier det hun egentlig kjenner på, legens evne til å lese noe i situasjonen som ikke er dokumentert noe sted. Disse tingene er reelle, de har klinisk betydning, og de er systematisk underrepresentert i datagrunnlaget systemene trenes på. Dette er ikke fordi de er uviktige, men fordi de er vanskelige å måle, og det som er vanskelig å måle havner sjelden i treningsdata.

Det mer interessante poenget er likevel ikke at det umålbare er underrepresentert, for dette er ikke noe nytt. Det nye er mekanismen: når beslutningsstøttesystemer gradvis former hva klinikere retter oppmerksomheten mot, forskyves den kliniske kulturen. Systemene peker oppmerksomheten mot det de er bygget for å se, og det de ikke er bygget for å se, trer i bakgrunnen. Ingen har besluttet at det målbare er viktigst, men infrastrukturen har gjort det, fordi oppmerksomhet er en begrenset ressurs, og den ledes dit verktøyene retter den.

Skjønn som noe dannet

Klinisk skjønn er en kapasitet som dannes gjennom øvelse, ikke en egenskap man besitter. Evnen til å stille det riktige spørsmålet til rett tid, til å kjenne på uroen ved en vag symptombeskrivelse og la den uroen lede videre til å lese det usagte i et konsultasjonsrom: denne evnen er et resultat av år med akkumulert erfaring, av å ha tatt feil og forstått hvorfor, av mesterlære i vid forstand. Det sentrale spørsmålet blir ikke bare hva som overses i øyeblikket, men hva som eroderes over tid. 

Håndverk er den nærliggende parallellen. Det som overføres fra mester til lærling er ikke teknikk alene, men en måte å se og kjenne materialet på. Denne måten å se på kan ikke undervises direkte, den dannes ved at lærlingen selv må prøve, feile, bli usikker og finne veien videre. Det er denne prosessen, det å stå i det man ikke forstår lenge nok til at forståelsen vokser frem, som er den produktive friksjonen. 

I de fleste håndverkstradisjoner har man forstått dette: introduksjonen av verktøy som fjerner friksjon, har blitt håndtert med forsiktighet, fordi friksjonen selv er en del av opplæringen. Medisinutdanningen beholder kadaverdisseksjon til tross for avanserte simuleringsverktøy. Poenget er ikke å avvise verktøyene, men å designe læringsforløpet rundt dem, med bevissthet om hva som går tapt når prosessen endres.

Det doble tapet

I dette ligger strukturelle, og ikke bare tekniske, utfordringer. Når KI-systemer overtar stadig mer av det diagnostiske arbeidet, skjer det et dobbelt tap. Det første er tapet i øyeblikket: den dimensjonen av det kliniske møtet som systemet ikke ser. Det andre er tapet over tid: at de betingelsene som danner skjønnet, gradvis forsvinner. En ny generasjon klinikere øver opp kapasiteter i møte med de oppgavene de faktisk løser. Når oppgavene endrer karakter, endrer formasjonen seg med dem. Tapet er vesentlig, men utelatt fra regnskapet. Og det som gjør tapet vanskelig å oppdage, er at flyten som gjenstår ikke er lett å skille fra den flyten tidligere betingelser produserte. En kliniker formet med beslutningsstøtte fremstår kompetent innenfor de rammene hun opererer i. Det er først når rammene går bort fra normalen, f.eks. når systemet svikter eller når situasjonen er genuint ny, at forskjellen i formasjon viser seg.

Det er lett å innvende at automatisering av diagnostisk arbeid vil frigjøre den legen til å bruke mer tid på nettopp de relasjonelle, skjønnsmessige oppgavene. Innvendingen har noe for seg, og løftet om frigjort tid er virkelig, men den hviler på to antagelser som sjelden gjøres eksplisitte. Den første er at oppgavene som fjernes var kun tidkrevende, og ikke samtidig formative, at legen ikke lærte noe av å stille spørsmålene selv. Den andre er at oppmerksomheten som dannes i møte med et system som allerede har evaluert og sortert, er av en annen karakter enn oppmerksomheten som dannes uten et slikt system. En kliniker som vokser opp med beslutningsstøtte, trenes i å vurdere forslag heller enn å gjøre vurderinger selv, og det former en annen type klinisk blikk: mindre utforskende, kanskje mindre villig til å stille det spørsmålet som systemet ikke har stilt. En kliniker som har tid til overs fordi systemet har stilt spørsmålene for henne, er ikke den samme klinikeren formet av å ha stilt spørsmålene selv. 

Hva slags klinikere vi vil danne

Spørsmålet om hvor mye som bør automatiseres er derfor ikke bare et teknisk spørsmål om systemenes presisjon, men et spørsmål om hva helsevesenet er til for. Hvis svaret inkluderer at pasienter skal møtes som hele mennesker av klinikere som bærer ansvar for vurderingen de gjør, så forplikter det noe om hvilke kapasiteter som må dannes og vedlikeholdes, og hvilke betingelser som må beskyttes for at de kan dannes.

Det betyr at beslutninger om hva som skal automatiseres er mer enn tekniske innkjøpsbeslutninger. De er beslutninger om hva slags profesjonsutøvere vi ønsker om ti, tjue og tretti år, og hva slags profesjon de skal tilhøre. Disse beslutningene krever en samtale som føres mellom flere parter enn de som bygger og selger teknologien: den tilhører utdanningsinstitusjonene, helseforetakene, profesjonsforeningene og den offentlige debatten. Men også de som bygger verktøyene har et ansvar for å tenke lenger enn til neste produktversjon, fordi verktøyene de designer former læringsbetingelsene til de som skal bruke dem.

Den unge legen foran skjermen trenger ikke å velge mellom systemet og sitt eget skjønn. Men noen, hennes utdanningsinstitusjon, sykehuset hun arbeider ved, leverandøren som har bygget systemet, må ha tenkt igjennom hvor den produktive friksjonen hennes skal komme fra etterhvert som mer og mer av den blir fjernet. Målet med automatisering er riktig: å frigjøre tid og oppmerksomhet for det som krever et menneske. Men det krever at vi for hver oppgave, i hvert domene, ikke bare spør om dette kan gjøres av en maskin, men også hva mennesket blir av å gjøre det selv, og om det er uvesentlig at mennesket ikke lenger formes av dette.

Les en utvidet versjon av artikkelen her