Modellen är en del av en kedja

En kommun använder ett system för att sortera inkomna frågor till rätt avdelning. Modellen ger varje meddelande en kategori, men kategorin är inte hela effekten. Ett program skapar en kö, en handläggare prioriterar kön och den som skrev frågan får vänta olika länge. Konsekvenskedjan går alltså från valt mål och indata via modellens output till ett arbetsflöde och vidare till människor.

En berörd part kan vara den som använder systemet, den som bedöms av det eller någon som påverkas indirekt. Om systemet sorterar bort ovanliga formuleringar kan personer med andra språkmönster få långsammare svar trots att de aldrig ser modellen. Effekten kan också nå personalens arbetsmiljö, kommunens resurser och förtroendet för tjänsten.

Avsedda och indirekta effekter

Ett avsett mål kan vara kortare väntetid. Samtidigt kan en målkonflikt uppstå: hög hastighet kan konkurrera med noggrannhet, tillgänglighet eller möjlighet till omprövning. Ett genomsnittligt resultat kan dessutom dölja att en mindre grupp får fler felsorteringar.

En indirekt effekt uppstår längre bort i kedjan. Om personalen börjar skriva om sina bedömningar för att passa systemets kategorier kan arbetssättet förändras. Om dessa nya kategorier senare används som träningsdata bildas en återkopplingsloop. Systemets tidigare output påverkar då framtida data.

Riskhantering behöver därför utgå från sammanhanget och fortsätta under användningen, inte stanna vid ett modelltest. [[source:nist-ai-rmf-1-0 Core]] Fråga vad som mäts, vem som påverkas, vilka fel som kan upptäckas och vem som kan ändra processen.

Övning: följ två kedjor

Utgå från kommunfallet.

1. Skriv en kedja för den avsedda effekten: mål, indata, output, arbetssteg och berörd part. 2. Skriv en annan kedja för en möjlig oavsiktlig effekt. 3. Markera vilket steg du har belägg för och vilket som är en hypotes. 4. Föreslå ett mått som kan upptäcka effekten utan att samla in fler uppgifter än vad frågan kräver.

En hållbar slutsats beskriver den prövade kedjan. Den säger inte att tekniken alltid hjälper eller alltid skadar samhället.

Skillnaden kan börja före modellen

Anta att kommunens system oftare felsorterar korta meddelanden skrivna med ovanliga ord. Ett ojämnt utfall är observerat om en tydligt definierad grupp får fler fel än en relevant jämförelsegrupp. Resultatet är viktigt, men berättar inte ensamt varför skillnaden uppstod.

Målet kan vara för snävt formulerat. Insamlingen kan sakna vissa språkvarianter. Etiketterna kan bygga på oeniga bedömningar. Modellen kan använda en proxyvariabel, alltså ett särdrag som samvarierar med något annat som organisationen inte avsåg att använda. En gemensam tröskel kan också få olika konsekvenser när gruppernas data och felmönster skiljer sig.

Efter modellen kan arbetsflödet förstärka skillnaden. En felsortering som snabbt rättas får mindre följd än en felsortering utan synlig omprövningsväg. Diskriminerande effekter kan därför uppstå utan en uttrycklig avsikt och utan att en skyddad egenskap finns som namngivet modellfält.

Mät resultat och pröva mekanismer

Börja med heltalsantal och tydliga nämnare. Jämför feltyper, inte bara total träffsäkerhet. Kontrollera också om grupperna mättes på jämförbara sätt. Ett mätfel kan exempelvis göra att samma beteende registreras olika.

Formulera sedan en mekanismhypotes: "Skillnaden kan bero på att träningsurvalet innehåller få exempel av typ X." En hypotes behöver ett test. Jämför till exempel resultat före och efter ett kompletterat testurval, men ändra inte flera delar samtidigt. Riskmätning behöver kopplas till det avsedda sammanhanget och till vad berörda parter faktiskt kan utsättas för. [[source:nist-ai-rmf-1-0 Measure]]

Övning: granska utan att gissa

Du får en konstruerad tabell med fel per meddelandetyp.

1. Skriv det observerade utfallet med täljare och nämnare. 2. Föreslå två möjliga mekanismer på olika steg i kedjan. 3. Ange vilket ytterligare underlag som kan skilja hypoteserna åt. 4. Föreslå en skyddsåtgärd och skriv vad den inte löser.

Undvik slutsatsen att en grupps egenskap orsakar felet. Analysen gäller systemets mätning, data, modell och användning.

Tre sorters frågor

Kommunens sorteringssystem kan granskas på minst tre nivåer. En teknisk fråga gäller exempelvis vilka kategorier modellen ger och hur ofta den felsorterar givna testfall. En organisatorisk fråga gäller vem som valde syftet, kontrollerar kön, hanterar klagomål och kan stoppa användningen. En rättslig fråga gäller vilka regler som är tillämpliga och vilka skyldigheter de skapar.

Nivåerna påverkar varandra men är inte utbytbara. Ett test kan visa ett felmönster utan att avgöra om användningen är laglig. En juridisk miniminivå avgör inte heller om systemet är pedagogiskt, etiskt eller praktiskt lämpligt.

Börja med tillämpningsområde och roll

EU:s AI-förordning använder en rättslig definition av AI-system för att avgränsa sitt tillämpningsområde. [[source:eu-ai-act-2024 artikel 3.1]] Innan en enskild regel används behöver man därför kontrollera vilket system, vilket syfte och vilken situation som faktiskt omfattas.

Ansvar behöver kopplas till roller. Den som utvecklar eller låter utveckla ett system och tillhandahåller det under eget namn kan ha en annan roll än organisationen som använder systemet i sin verksamhet. AI-förordningen skiljer mellan flera sådana roller. Exakt roll kan inte avgöras genom att bara titta på vem som använder gränssnittet. [[source:eu-ai-act-2024 artikel 3.3-3.4]]

En ansvarskarta bör visa vem som väljer mål och data, vem som köper eller konfigurerar tjänsten, vem som granskar output, vem som tar emot klagomål och vem som får stoppa processen. Riskstyrning behöver dessutom fortsätta över systemets livscykel. [[source:nist-ai-rmf-1-0 Govern]]

Övning: sortera innan du bedömer

Märk varje fråga som teknisk, organisatorisk, rättslig eller otillräckligt underlag:

1. Hur ofta hamnar ett meddelande i fel kö? 2. Vem får ändra kategorierna? 3. Vilken regel gäller för just denna behandling? 4. Kan invånaren få ett fel rättat? 5. Är systemet tillräckligt rättvist?

Den sista frågan behöver delas upp. Ange ett mätbart resultat, ett värdeval och vem som har mandat att fatta beslutet. När en rättslig slutsats krävs ska den kopplas till aktuell rättskälla och behörig granskning.

Fem kontroller före användning

Kommunen vill använda ett AI-system för att sammanfatta frågor och skapa förslag till webbsvar. Innan materialet används behöver fem separata kontroller göras.

Personuppgifter: Innehåller underlaget information som direkt eller indirekt kan knytas till en person? Frågan gäller mer än namn. Kombinationer av plats, tid och händelse kan också göra någon identifierbar. Samla inte in uppgifter bara för att de kan vara användbara senare.

Källspårbarhet: Kan varje sakuppgift följas till ett bestämt källställe? Ett välformulerat svar är inte ett belägg. Proveniens behöver visa var underlaget kommer från, vilka ändringar som gjorts och vilken version som användes.

Rättigheter: Vem har skapat text, bild eller kod, och vilka villkor gäller för användningen? Tillgång är inte samma sak som tillstånd. Ett systemförslag löser inte automatiskt frågan om upphovsrätt eller licens.

Syntetiskt innehåll: Är något genererat eller manipulerat? Märkning kan hjälpa mottagaren att tolka materialet, men ersätter inte kontroll av sakuppgifter, sammanhang och möjlig skada. Ett trovärdigt ljud- eller bilduttryck visar inte i sig att den avbildade händelsen inträffade.

Resurser: Vilka beräkningar, enheter, nätverk och datacenter ingår? Ett resursmått kan gälla energi, vatten, material, tid eller kostnad. Resultatet behöver en systemgräns, alltså en tydlig beskrivning av vad som räknats med.

Jämför samma funktion

En meningsfull resursjämförelse håller uppgiften konstant. Jämför exempelvis två sätt att producera och kontrollera samma antal publiceringsklara svar, inte en enskild modellkörning med en hel manuell arbetsdag. Ange också region, tidsperiod, modell- eller systemversion och om träning, drift, lagring och mänsklig granskning ingår.

Riskhantering omfattar både systemets konsekvenser och organisationens förmåga att följa upp dem över tid. [[source:nist-ai-rmf-1-0 Map och Measure]]

Övning: märk kontrollbehovet

Du får sex fiktiva materialkort. Märk varje kort med personuppgift, källstöd, rättighet, manipulerat innehåll, resursanspråk eller ingen visad risk. Flera märken kan behövas.

För varje märke ska du skriva:

1. vilket belägg kortet ger, 2. vad som fortfarande är okänt, 3. vilken begränsad kontroll som bör göras, 4. vem som fattar beslut efter kontrollen.

Fallet

Kommunen överväger ett system som sorterar allmänna informationsfrågor till fem avdelningar och föreslår ett kort mottagningsbesked. Systemet ska inte fatta myndighetsbeslut. Materialpaketet är konstruerat och innehåller systemkort, testtabell, tre fiktiva klagomål, ett källpaket och uppskattad arbetstid.

Testet visar total träffsäkerhet och fel per meddelandetyp. En ovanlig språkvariant har få testfall. Mottagningsbeskeden innehåller två sakpåståenden som måste kontrolleras mot källpaketet. Resursuppgiften gäller bara drift i en angiven testmiljö. Du ska inte fylla luckorna med antaganden.

Bygg konsekvenskortet

Ett konsekvenskort samlar det som krävs för ett villkorat beslut:

1. syfte och uttrycklig avgränsning, 2. berörda parter och möjliga indirekta effekter, 3. belagda fel och hypoteser om mekanismer, 4. data, källor, rättigheter och resursmått, 5. tekniska, organisatoriska och rättsliga frågor, 6. skydd, stoppregel, omprövning och ansvarig uppföljning.

Varje risk ska ha en riskägare, alltså en namngiven roll som kan vidta en åtgärd. "En människa kontrollerar" är för vagt. Skriv vilken roll som ser vilket underlag, när kontrollen sker och vilket mandat rollen har.

En skyddsåtgärd minskar en beskriven risk men tar sällan bort all osäkerhet. Ett extra testurval kan stärka kunskapen om en språkvariant, men löser inte källfel i mottagningsbeskeden. En omprövningsväg kan rätta ett enskilt ärende, men ersätter inte uppföljning av återkommande fel.

Beslutet måste kunna ändras

Välj använd, revidera eller använd inte. Rekommendationen ska ange under vilka villkor den gäller. Lägg till en stoppregel, exempelvis att systemet stängs av om originalunderlag saknas, om en viss feltyp överskrider den förutbestämda gränsen eller om klagomål inte kan hanteras inom arbetsflödet.

Välj också ett uppföljningsmått och vem som granskar det. Riskstyrning behöver vara dokumenterad och fortlöpande över systemets livscykel. [[source:nist-ai-rmf-1-0 Govern och Manage]]

Övning: försvara och utmana

Skriv din rekommendation på högst 150 ord. Byt sedan kort med en annan elev och markera:

• ett påstående med tydligt belägg,
• en hypotes som behöver mer underlag,
• en roll utan tillräckligt mandat,
• ett villkor som kan ändra beslutet.

Revidera slutligen konsekvenskortet. Målet är inte en enhällig dom, utan ett spårbart beslut som kan granskas och omprövas.