Digitaliseringsrådets anbefalingsbrev Skatteetaten: Prosjekt Kunstig intelligens (KI)

Det finnes ikke grundige evalueringer innenfor kunstig intelligens som dere kan bygge deres arbeid på. Dere sa i møtet at dere har gjort noen undersøkelser av andres erfaringer og at dere samarbeider med blant annet i UDI, Lånekassen og DFØ. Det er flere offentlige og private virksomheter som har etablert tjenester med bruk av kunstig intelligens basert på forskjellige teknologier.

Eksempler på dette er Vegvesenet, Se-banken, Gudbrandsdal Energi, Telenor og Ikea. Vi ser at noen har tatt tjenesten ut av produksjon. Som dere er kjent med, har flere utenlandske skatteaktører, herunder flere europeiske skatteetater, forsøk på gang. Et eksempel på en annen tilnærming enn de fleste andre er «AskMyUncleSam».

Gitt at det er så liten erfaring på området, samt at flere aktører har valgt å legge ned sine digitale assistenter, anbefaler vi at dere bruker tid til en grundigere dialog med andre virksomheter og undersøker hva disse har erfart og lært. Hvilken dialog de har hatt med markedet, hvilke erfaringer har de med valg av forretningsmodell og valg av gjennomføringsmodell? Finn ut hvorfor enkelte andre løsninger fremstår som dårlige. Legg erfaringene fra andre inn i beslutningsgrunnlaget fremover.

Vi oppfatter at dere ønsker å ha en trinnvis tilnærming, men at det fortsatt må settes noen overordnede rammer og ambisjoner som bidrar til forutsigbarhet i arbeidet. Dette er en krevende øvelse. Vi tror dere vil komme best ut ved å holde fast ved denne trinnvise tilnærmingen.

Etter vår oppfatning trenger ikke arbeidet med VAKI i Skatteetaten å bli en stor økonomisk satsning når dere går til gjennomføringsfasen. Hvis dere kan få finansiering til deler av prosjektet etter hvert som dere får mer erfaring, tror vi dere vil kunne ivareta fleksibiliteten et prosjekt som dette krever.

Slik vi forstår det, skal forprosjektet frem til september 2017 gjøre en vurdering av anskaffelsesstrategi, blant annet basert på innspillene som kom gjennom PoC. Vi forstår at det er krevende å finne en god anskaffelsesmodell. Vi mener at en anbudskonkurranse ikke egner seg spesielt bra for å ivareta behovene for fleksibilitet. Også kjøp etter forhandling gir begrensede muligheter til å endre etter at konkurransen er kunngjort. Dere bør gjøre en grundig vurdering av mer fleksible modeller, slik som for eksempel konkurransepreget dialog eller innovasjonspartnerskap.

Vi tror det er viktig at dere ikke binder dere langvarig til en løsning eller leverandør. Det blir derfor viktig å sikre tilstrekkelig fleksibilitet, også i forhold til avslutning av avtaler. Gartners anbefaling om å velge system som dekker det dere har behov for på kort sikt – ikke velge systemer som dekker et høyere ambisjonsnivå/visjon i utgangspunktet, virker fornuftig. Vi anbefaler at dere tar kontakt med Difis fagmiljø for anskaffelser og drøfter med dem hvilke modeller som kan være mest egnet.

Leverandørmarkedet leter også etter gode samarbeidsmodeller med virksomheter som ønsker å prøve ut kunstig intelligens. Bergen kommune har hatt dialog med leverandør om den digitale medarbeideren Digifrid og bidratt til at leverandøren har endret tilnærming til kommunen; leverandøren har gått fra å si at kommunen måtte kjøpe en systempakke – til at den kan kjøpe tjenesten den trenger.

Samarbeidet har også bidratt til at det de utvikler i Bergen kommune kan gjenbrukes av andre kommuner. Skatteetaten er en vesentlig aktør i offentlig sektor som vil kunne påvirke utviklingen av produkter og forretningsmodeller, eventuelt sammen med andre aktører. Gå gjerne i dialog med Bergen kommune for å få deres erfaringer med dette.

Dere planlegger å gå forsiktig frem, lære underveis, bruke VAKI internt i første omgang, og eksponere tjenesten eksternt når den er klar / god nok. Teknologien i seg selv vil bare være en del av utfordringen. Blant annet skal dere lære opp systemet, løse «språklige» utfordringer, ta stilling til hvilke typer henvendelser det er hensiktsmessig å bruke VAKI til og vurdere hvilke konsekvenser innføringen av VAKI får for de ansatte og eksterne brukere.

Slik vi forstår det, planlegger dere intern pilotering 6-9 måneder før tjenesten eksponeres for eksterne brukere. Mye av kvaliteten i løsningen vil ligge i det dere legger inn av data og funksjonalitet i de innledende fasene. Vi anbefaler derfor at dere setter av tilstrekkelig med tid til pilotering/testing og har tålmodighet til å få tilstrekkelig erfaring, slik at dere blir trygge på det dere velger å eksponere eksternt.

Dere har lært mye i forprosjektet og vil stadig gjøre dere nye erfaringer om teknologien, kompetansen, språkutfordringer, hvordan VAKI-en lærer etc. Bruk disse erfaringene til å oppdatere kostnads- og gevinstbildet underveis. Dere kan allerede nå være noe mer tydelige på grunnlaget for gevinstberegningene; hvor tror dere gevinstene vil komme, hvor store vil de bli, og hvordan skal de tas ut? Hva er målbildet for endret samhandlingsmønster på førstelinje? Hvor stor andel av henvendelsene kan styres mot VAKI?

Samspillet chat/KI bør detaljeres i kostnads-/gevinstbildet. Vær oppmerksom på merarbeidet som vil oppstå i en overgangsperiode og som vil forsinke gevinstuttaket.

Det er bra at noen etater går foran i arbeidet med kunstig intelligens. Offentlig sektor er på en felles digital reise der mange etater har behov for modning og for å utforske hvilke muligheter innenfor KI som er egnet for ulike behov i offentlig forvaltning.

Vi anbefaler at dere dokumenterer erfaringene og formidler disse til andre aktører. Det er viktig å øke forståelsen for hvorvidt risikoene i arbeidet primært er knyttet til teknologi, et leverandørmarked i forandring, språk, kompetanse eller andre. Det er positivt at andre virksomheter kan være observatører i arbeidet. I tillegg vil ulike arenaer for erfaringsdeling, nettverk osv. bidra til erfaringsdeling. Det vil være en fordel om dere oppsummerer og formidler erfaringer underveis i arbeidet - ikke venter til slutt.

Hva skal være de viktigste evalueringskriteriene for VAKI-en? Flere kriterier enn andel riktige svar bør være med som evalueringskriterier. Ikke minst er andel "false positives" (gir svar, som er feil, i stedet for å si "vet ikke" og/eller rute videre til kundebehandler) og læringsevne er viktig å evaluere. Svarenes kvalitet og responstid opp mot brukerens forventninger til kvaliteten på tjenesten vil være avgjørende for om disse fortsetter å bruke VAKI-en og er andre eksempler på forhold som bør evalueres.