Börja med uppgiften

En elev och ett AI-system får lösa frågor om sex korta texter. Eleven får läsa originaltexterna, men systemet får bara sammanfattningar. Systemet svarar rätt på fem frågor och eleven på fyra. Resultatet räcker inte för slutsatsen att systemet är bättre. De två problemlösarna fick olika information.

En jämförelse blir starkare när jämförelsevillkoren är synliga. Uppgifterna, underlaget, tidsgränsen, tillåtna hjälpmedel och sättet att ge återkoppling behöver beskrivas. Om ett villkor skiljer sig kan det vara en störfaktor, alltså något annat än den skillnad vi ville undersöka.

Människan kan exempelvis känna till situationen från tidigare erfarenhet. Modellen kan ha tränats på liknande formuleringar. Ingen av dessa möjligheter syns i en enkel tabell med rätt och fel. Därför ska slutsatsen avgränsas till den prövning som faktiskt genomfördes.

Mät mer än totalsiffran

Antalet rätt är ett mätetal, men samma total kan dölja olika felprofiler. En problemlösare kanske gör många små formateringsfel. En annan kanske ger färre fel men missar ett avgörande villkor. I en låginsatsövning kan felen vara ungefär lika viktiga. I ett beslut om säkerhet kan ett enda allvarligt fel väga tyngre än flera obetydliga.

Tid behöver också tolkas. Ett snabbt första utkast kan vara värdefullt om en efterkontroll ingår. Om kontrollen tar lång tid eller regelbundet missar felen är den totala arbetsinsatsen en annan. Mät därför både produktion och granskning.

En enkel mänsklig lösning utan AI kan fungera som baslinje. Jämför sedan modellen och samarbetet människa plus modell mot samma baslinje. Fråga:

• Fick alla samma uppgifter och relevant information?
• Vilka fel räknades, och hur allvarliga var de?
• Ingick tiden för kontroll och rättning?
• Gäller resultatet bara dessa exempel eller en tydligt beskriven grupp av uppgifter?

I aktiviteten får du förskrivna lösningar. Din uppgift är inte att utse en allmän vinnare, utan att avgöra vilka slutsatser som jämförelsen faktiskt bär.

Samma ord räcker inte

Både en människa och ett AI-system kan ge mer vikt åt viss information än åt annan. Denna funktionella likhet kan vara praktisk att beskriva: något påverkar resultatet mer. Den visar däremot inte att processerna har samma mekanism eller upplevelse.

I en transformer betecknar uppmärksamhet (attention) en beräkning där representationer viktas i förhållande till varandra. Vikterna är numeriska mellanresultat. Mänsklig uppmärksamhet används i stället som ett samlingsord för flera biologiska och psykologiska processer, till exempel att rikta sig mot en plats, hålla en uppgift aktiv och hindra störande information från att styra handlingen. Att systemen delar ett ord gör inte processerna utbytbara.

Minne, lärande och representation

En språkmodell kan använda token i sitt aktuella kontextfönster. Ett programsystem kan dessutom hämta sparad text från en databas. Båda kan vardagligt kallas minne, men de är olika mekanismer. Hos människor kan minne bland annat syfta på att tidigare erfarenheter påverkar senare återgivning och handling. Mänskligt minne är inte en exakt uppspelning av en lagrad fil.

Även lärande behöver avgränsas. Modellträning ändrar parametrar genom en optimeringsprocess. En människa kan förändra kunskap, strategi eller vana genom erfarenhet, undervisning och biologiska förändringar. Under en vanlig chatt är en färdig modell ofta oförändrad även om dess svar anpassas till texten i kontexten. Anpassningen i svaret visar då inte att modellens parametrar har tränats om.

En representation är ett mönster som bär information för ett system. I ett neuralt nätverk är det numeriska aktiveringar. I tal om människor kan representation syfta på flera omdiskuterade nivåer, från nervsystemets aktivitet till begrepp och medvetna föreställningar. Därför bör jämförelsen alltid ange nivå.

En precis jämförelse kan alltså säga: "Båda systemen prioriterade uppgiftsrelevant information, men på de beskrivna nivåerna gjorde de det genom olika processer." Den behöver inte välja mellan att systemen är helt lika eller helt ojämförbara.

Från output till tolkning

En chatbot skriver: "Förlåt, jag missförstod dig. Jag ska försöka bättre." Det observerbara är att systemet producerade den texten efter en viss inmatning. Att systemet kände ånger, hade en avsikt eller upplevde ett missförstånd är ytterligare tolkningar. Texten ensam avgör inte dem.

Antropomorfism betyder att mänskliga egenskaper tillskrivs något icke-mänskligt. Den uppstår lätt när ett system använder första person, följer samtalsnormer och svarar på känslor med ett passande tonfall. Språket kan vara socialt effektivt även när mekanismen är nästa-token-generering och regler runt modellen.

Det betyder inte att alla vardagliga uttryck måste förbjudas. "Kalkylatorn tror att svaret är 12" kan fungera som en snabb metafor. Problemet uppstår när metaforen börjar bära slutsatser: att systemet därför förstår situationen, förtjänar tillit eller kan ta ansvar.

Gör påståendet kontrollerbart

Dela en beskrivning i tre nivåer:

1. Observation: Vilken input, output eller mätbar handling förekom? 2. Tolkning: Vilken funktion eller strategi tror vi att beteendet visar? 3. Starkare påstående: Tillskrivs avsikt, känsla, förståelse eller medvetande?

Meningen "modellen försökte lura användaren" kan exempelvis skrivas om till: "I fyra av de sex givna svaren angav modellen källhänvisningar som inte fanns i källpaketet, även efter instruktionen att bara använda paketet." Den nya meningen beskriver ett avgränsat beteende. Den säger inte varför beteendet uppstod.

Att göra ett begrepp mätbart kallas operationalisering. "Förstår texten" kan i en studie operationaliseras som att besvara en viss typ av frågor korrekt under angivna villkor. Resultatet gäller då testprestationen. Det löser inte automatiskt den bredare frågan om vad förståelse är.

I aktiviteten märker du meningar som observation, tolkning eller obelagt påstående. Sedan skriver du om dem och anger vilket ytterligare underlag som skulle behövas för en starkare slutsats.

När förslaget blir utgångspunkt

Tänk dig att ett system föreslår vilka svar i en stor hög som behöver granskas. En lärare kontrollerar bara de markerade svaren. Om systemet missar ett problem syns det aldrig i granskningskön. Människan finns i arbetsflödet men får inte underlaget som krävs för att upptäcka felet.

Automationsbias är en tendens att använda ett automatiserat förslag på ett sätt som gör att motstridig information förbises eller att en nödvändig kontroll uteblir. Ett handlingsfel kan vara att följa ett felaktigt förslag. Ett utelämnandefel kan vara att inte agera när systemet inte gav någon varning.

Risken formas av situationen. Hög arbetsbelastning, tidspress, otydligt ansvar och ett gränssnitt som framhäver systemets förslag kan göra självständig kontroll svårare. Även ett ofta korrekt system kan skapa ett svårt granskningsproblem: sällsynta fel är lätta att missa när granskaren vänjer sig vid att godkänna.

Bygg en verklig kontrollpunkt

En kontrollpunkt fungerar först när granskaren har:

• relevant originalunderlag, inte bara systemets sammanfattning,
• tid och kompetens att bedöma förslaget,
• information om systemets avgränsning och kända felvägar,
• mandat att stoppa, ändra eller skicka vidare ärendet,
• en sparbar motivering och en väg för återkoppling.

En stoppregel anger när processen inte ska fortsätta, till exempel när underlaget saknas, när två kontroller motsäger varandra eller när ärendet ligger utanför systemets prövade användning. Riskhantering behöver knytas till sammanhang och fortsätta över tid, inte reduceras till en engångskontroll. [[source:nist-ai-rmf-1-0 Core]]

Ett alternativ är att låta granskaren göra en kort egen bedömning innan systemets förslag visas. Ett annat är att slumpmässigt kontrollera även omarkerade fall. Sådana åtgärder löser inte alla problem, men de kan göra vissa missade fel synliga och ge bättre underlag för omprövning.

Tre villkor

En redaktion ska kvalitetskontrollera tolv korta bildtexter mot ett fast faktablad. Materialet är konstruerat och innehåller inga personuppgifter. Samma tolv bildtexter prövas i tre förskrivna villkor:

• Människa: en granskare kontrollerar varje bildtext mot faktabladet.
• Modell: ett system markerar möjliga fel och föreslår ändringar.
• Samarbete: systemet markerar först, sedan granskar människan markeringarna och ett slumpvalt omarkerat exempel.

För varje villkor finns tidsåtgång, antal korrekta slutversioner och en lista över fel. Facit skiljer mellan formfel, sakfel och utelämnade villkor. Ett sakfel som ändrar betydelsen räknas som allvarligare än ett skiljeteckenfel.

Jämförelsen gäller detta material och dessa instruktioner. Den visar inte vem som är "mest intelligent" och inte hur villkoren skulle fungera i alla redaktioner.

Samarbete är en design, inte en deltagarlista

Människan och modellen kan göra kompletterande fel, alltså olika fel som den andra parten kan fånga. Då kan samarbete förbättra slutresultatet. Men arbetsflödet kan också stapla fel. Om systemet väljer vad människan ser och granskaren rutinmässigt accepterar förslagen kan systemets missar finnas kvar samtidigt som nya granskningsfel tillkommer.

Därför ska du följa två konkreta fel genom hela flödet. Var felet synligt i originalunderlaget? Markerade systemet det? Gjorde granskaren en egen kontroll? Ändrades slutversionen? En sådan felanalys förklarar mer än totalsiffran ensam.

Mät det arbete som faktiskt krävs

Tiden för samarbete omfattar modellsteget, människans kontroll och rättningar. Registrera också missade allvarliga fel. Ett flöde som sparar två minuter men döljer ett betydelseändrande fel behöver inte vara det rimliga valet.

Rekommendationen ska ange vem som ansvarar för slutversionen, vilken information granskaren ser och vilken stoppregel som gäller. Fortsatt uppföljning behövs eftersom uppgifter, data och arbetsmiljö kan förändras. [[source:nist-ai-rmf-1-0 Core]]

I aktiviteten arbetar du med färdiga resultatserier, inte ett liveverktyg. Du rekommenderar använd, revidera eller använd inte och anger vilket nytt resultat som skulle få dig att ompröva beslutet.