Åpenhet og kunstig intelligens

Hva mener vi med åpenhet?

Åpenhet innenfor kunstig intelligens omhandler evnen til å forklare hvordan en KI-modell har nådd en beslutning. Åpenheter et vidt begrep som omfavner konsepter som forklarbarhet og tolkbarhet. Disse uttrykkene brukes ofte i sammenheng for å forstå hvordan KI-modeller fungerer og kommer frem til resultater. Det er viktig å merke seg at det ikke er enighet i fagfeltet om hva disse uttrykkene betyr og omfatter, og at de ofte brukes om hverandre. Feltet er i utviklingsstadiet og definisjonene og uttrykkene er fortsatt flytende.

Uttrykket tolkbarhet handler om hvorvidt det er mulig å forstå hvordan en modell fungerer. Med andre ord kan vi si at en modell enten er tolkbar eller ikke. Enklere modeller som beslutningstrær eller modeller som baserer seg på menneskelig forståelse, som ekspertsystemer, vil som regel være tolkbare. Hvor vi støter på problemer er med store komplekse modeller, slik som dype nevrale nettverk, som vanligvis ikke er tolkbare.

Forklarbarhet handler om å kunne forklare hvordan en KI-modell tar en beslutning og hvorfor den har kommet frem til et resultat. Dette vil si at man basert på inndata kan forklare hvordan modellen har kommet frem til et gitt resultat. Hvis en modell ikke er tolkbar, kan man fortsatt ta i bruk forklarbarhetsmetoder for å forsøke å forklare hvordan inndataen er koblet sammen med resultatet.

Hvorfor er det viktig med åpenhet og forklarbarhet?

Hvorfor er det viktig med åpenhet i offentlig sektor?

1. Tillitt: En åpen og gjennomsiktig offentlig sektor bidrar til tillitt. Når borgerne har tilgang til informasjon om hvordan beslutninger blir tatt og hvordan ressurser blir brukt, kan de bedre forstå og vurdere myndighetenes handlinger.
2. Ansvarlighet: Åpenhet og transparens gjør det mulig for innbyggerne å holde myndighetene ansvarlige for deres handlinger og beslutninger. Når det er tydelig hvordan beslutninger blir tatt, og når resultatene av disse beslutningene er synlige, kan feil og misbruk lettere avdekkes og korrigeres.
3. Effektivitet: Ved å være åpen og transparent kan offentlig forvaltning dra nytte av ekstern ekspertise og innsikt. Når beslutningsprosesser og informasjon er tilgjengelige for allmennheten, kan det oppstå et bredere engasjement og deltakelse fra borgere, organisasjoner og eksperter som kan bidra med kunnskap, ideer og innsiktsfulle perspektiver. Dette kan føre til bedre beslutninger, mer effektive tjenester og høyere kvalitet på offentlige tjenester.
4. Demokratisk deltakelse: Åpenhet og transparens i offentlig forvaltning er grunnleggende for demokratisk deltakelse. Når innbyggerne har tilgang til informasjon om offentlige saker, kan de engasjere seg i debatter, komme med innspill og delta i beslutningsprosesser. Dette bidrar til en mer inkluderende og representativ demokratisk praksis.

Hvorfor er det viktig med forklarbar kunstig intelligens?

1. Sikkerhet, kontroll og ansvarlighet: Ved å forstå faktorene som har betydning for et resultat, kan vi bedre kontrollere maskinlæringsmodellene. Da kan eventuelle feil eller misbruk av modellene lettere avdekkes og korrigeres.
2. Bevarelse av autonomi: En del av vår autonomi er å forstå avgjørelser som blir tatt om oss og hva vi kan gjøre for å endre utfallet. Det gjelder både å forstå hvorfor avgjørelsen har blitt tatt og hvilke faktorer som har betydning for resultatet.
3. Oppdagelse av ny kunnskap: Maskinlæringsmodeller har begynt å løse problemer som vi mennesker ikke har klart å løse selv. Ved å forstå og forklare hva disse modellene har forstått, kan vi oppdage ny kunnskap.

Forholdet mellom åpenhet i offentlig sektor og forklarbar AI

Åpenhet i offentlig sektor og forklarbar kunstig intelligens (XAI) er begge viktige for å fremme tillit, ansvarlighet og innsikt. Åpenhet i offentlig sektor referer til åpenhet om myndighetenes handlinger og beslutninger, mens XAI fokuserer på å gjøre maskinlæringsmodeller og deres beslutningsprosesser forståelige.

Forklarbar kunstig intelligens bidrar til en åpen offentlig sektor. Hvis det offentlige skal benytte tjenester som bruker kunstig intelligens, er det sentralt at innbyggerne kan forstå hvordan tjenestene fungerer. På denne måten kan innbyggerne identifisere og rette feil eller misbruk.

Forklarbar KI blir særlig viktig der kunstig intelligens brukes i systemer som påvirker rettigheter og plikter for enkelte individer. Da har normalt individene krav på en begrunnelse, og for å kunne gi en god begrunnelse må man kunne forklare hvilke faktorer som er vektlagt i beslutningsprosessen og hvordan disse har ført til resultatet. Dette skal for det første gjøre det mulig for mottakeren å slå seg til ro med resultatet. For det andre skal det gjøre det mulig for innbyggeren å utfordre vedtaket hvis hen er uenig.

Rettslige krav til åpenhet

Som pekt på i punktet over er det mange hensyn som begrunner åpenhet for offentlig sektor. Disse hensynene kommer til uttrykk i mange bestemmelser og lover i vårt regelverk. Selv om det er stor overlapp, kan åpenhetsreglene deles inn i to kategorier:

• Åpenhet på et systemnivå, slik som offentligloven.
• Åpenhet på et individnivå, slik som krav til begrunnelse av enkeltvedtak i forvaltningsloven

Hvorfor er forklarbarhet utfordrende?

Åpenhet og forklarbarhet ved bruk av kunstig intelligens er et sammensatt problem. Regelverket stiller krav for å ivareta de hensynene vi peker på i punktet over. Regelverket gjelder uavhengig av hvilken teknologi som benyttes. For innbyggeren er det ikke avgjørende hvilken teknologi offentlig sektor bruker så lenge innbyggeren får en begrunnelse i henhold til regelverket.

Først må vi altså avgjøre hvilke krav regelverket stiller. Dette kan være krevende, særlig der regelverket er overordnet og kan tolkes på flere måter. Det er imidlertid ikke en umulig oppgave og for mange regelverk knyttet til begrunnelse og forklarbarhet er det skrevet mye i juridisk litteratur om hva kravene innebærer. Avgjørelser hos domstolene bidrar også til avklaring.

Etter at vi har tolket kravene som følger av regelverket, må vi sikre oss informasjonen som gjør at vi kan ivareta disse kravene. Ved bruk av kunstig intelligens byr dette, litt forenklet, på to utfordringer:

1. Vi må klare å innhente tilstrekkelig informasjon fra maskinlæringsmodellene. Dette er noe mer enn å bare se på tallene inne i maskinlæringsmodellen. Disse tallene er ikke skjult for oss, men de er ikke tolkbare fordi mengden eller kompleksiteten gjør det umulig for oss å forstå sammenhengene eller hva de representerer. Ofte er det snakk om et enormt antall desimaltall i mangedimensjonale matriser og det betyr ikke noe for oss mennesker. Vi må i stedet benytte ulike teknikker for å finne hvilke deler av inputen til modellen og hvilke parametere i modellen som har påvirket outputen. I punktet under forklarer Inga Strümke flere slike teknikker. Du kan også lese mer om forskjellen mellom de menneskelige- og tekniske begrensningene for forklarbarhet her.
2. Etter at vi har hentet informasjonen fra maskinlæringsmodellen, må vi vurdere om denne informasjonen gir oss tilstrekkelig innsikt til å gi en forklaring og en begrunnelse i tråd med kravene i regelverket. Dette blir en konkret vurdering. Det kan være særlig vanskelig der maskinlæringsmodellene er komplekse, for det er ikke gitt at vi med de teknikkene vi har i dag klarer å få den nødvendige innsikten.

Ved utvikling og bruk av kunstig intelligens i dag, må det gjøres en konkret vurdering av hvorvidt en maskinlæringsmodell er tilstrekkelig godt forklart til at den ivaretar kravene i regelverket. Avhengig av maskinlæringsmodellen, kan det være utfordrende å få en forklaring som ivaretar kravene til begrunnelse og åpenhet. Det kan altså være en «mismatch» mellom kravene til informasjon i regelverket og den informasjon vi faktisk kan gi.

Teknikker for forklarbar kunstig intelligens

I det følgende vil Inga Strümke forklare noen teknikker som kan brukes for å øke forklarbarheten av en KI-modell.

LIME (Local Interpretable Model-agnostic Explanations):

LIME er sannsynligvis den nåværende mest brukte forklarbarhetsmetoden. “Local” i navnet betyr at metoden gir forklaringer på et lokalt nivå, som med andre ord betyr at du kan få en forklaring for en individuell prediksjon eller datapunkt rettere enn modellen som helhet. Fordi LIME er modellagnostisk, kan den brukes på hvilken som helst maskinlæringsmodell. LIME produserer en tolkbar forklaringsmodell som for eksempel et enkelt beslutningstre eller en rett linje, som gjør det mulig å forstå hvilke funksjoner som er viktige for en bestemt prediksjon.

SHAP (SHapley Additive exPlanations)

SHAP er en av de mest utbredte forklarbarhetsmetodene. Metoden er basert på et Shapley-verdier fra spillteori. SHAP-modellen vil kunne vise hvor mye hver av dataegenskapene som har gått inn i modellen har påvirket det som kommer ut. Dette gir en forståelse av hvordan hver funksjon påvirker prediksjonen, og kan hjelpe med å avdekke skjulte mønstre eller feil i datasettet og modellen. LIME og SHAP er begge modell-agnostiske metoder som tilbyr lokale forklaringer for enkeltprediksjoner. De har en viss overlapping i bruksområdene, men SHAP kan også brukes for globale forklaringer, altså forklaringer av modellen som helhet.

Heat maps

Dette er en generell visualiseringsteknikk som brukes til å vise data i et todimensjonal fargekart, der fargene representerer forskjellige verdier eller intensiteter av en bestemt variabel. Heat maps kan brukes til å vise data i mange forskjellige sammenhenger, som geografiske data, tetthetsdata, eller korrelasjon mellom variabler.

Saliency Maps

Dette er en underkategori av heat maps som fremhever de mest "viktige" delene av et bilde for en modells prediksjon. Dette gjøres ved å beregne gradienten av modellens utdata med hensyn til inputbildet, noe som viser hvilke områder av bildet som påvirker prediksjonen mest. Saliency maps er mye brukt i bildeklassifisering og segmentering.

Konseptdeteksjon

Ideen bak denne metoden er at enhver maskinlæringsmodell bare kan lære fra dataen den får inn. Ingen maskinlæringsmodell kan legge til informasjon utover det som er i dataen. Dermed blir spørsmålet hvilken del av dataen modellen har lagt vekt på. Dette kan belyses ved å finne konsepter i dataen, som for eksempel konseptet kjønn, for å se om dette konseptet har blitt vektlagt i modellen. Ved å koble disse konseptene med modellens prediksjoner, blir det lettere å forstå hvordan modellen fungerer og hva den fokuserer på.

Kontrafaktiske forklaringer

Kontrafaktiske forklaringer er en metode for å forklare en modells beslutning ved å vurdere hva som kunne ha skjedd under alternative forhold. Med andre ord vil denne metoden kunne vise hvordan resultatet ville blitt annerledes hvis en annen hypotetisk situasjon ble lagt til grunn. Denne metoden hjelper oss med å belyse hvilke faktorer modellen legger vekt på og hvordan endringer i disse vil endre utfallet.

Hvordan velge riktig teknikk?

Ulike forklaringsmetoder gir svar på ulike spørsmål. Noen metoder kan gi et misvisende bilde av hvordan en modell fungerer, for eksempel hvis de bygger på en feilaktig antagelse om at variablene i datasettet er uavhengige.

Det viktigste er å avklare hva man ønsker å forklare—enten det er en spesifikk prediksjon (som en sannsynlighet på 57 % for et utfall) eller selve beslutningen basert på denne prediksjonen. I tillegg bør man vurdere om man er interessert i å forklare hele modellen eller kun enkelte prediksjoner eller beslutninger. Det er også avgjørende å ta hensyn til avhengigheter eller korrelasjoner som ofte finnes i datasett, samt hvilken kompetanse den som skal forstå forklaringen har.

Norsk Regnesentral og NAV har utviklet verktøyet eXplego, som hjelper deg å velge den forklarbarhetsmetoden som best dekker dine behov. Du finner verktøyet her: Xai-tree (nr.no).

Forklarbarhet FAQ

Vi har fått hjelp fra Norsk Regnesentral til å besvare noen vanlige spørsmål knyttet til åpenhet og forklarbarhet.