Börja med vilken utdata frågan kräver

En väderobservation kan användas i flera uppgifter. Systemet kan välja klassen frost eller ingen frost, ge talet 7 °C eller rangordna tre tidpunkter från varmast till kallast. Indatan kan vara liknande, men utdata och bedömningen av fel skiljer sig.

Klassificering ger en kategori ur en bestämd klasslista. Regression ger en numerisk målvariabel. Ordet prediktion används bredare för modellens beräknade svar. Svaret behöver inte ligga i framtiden: en modell kan uppskatta ett redan inträffat men ännu okänt mätvärde. När svaret gäller framtiden talar vi ofta om en prognos.

Mål, enhet och tidpunkt hör ihop

Skriv målvariabeln så att resultatet kan kontrolleras. ”Förutsäg temperaturen” är ofullständigt. ”Förutsäg lufttemperaturen i grader Celsius vid mätstationen klockan 15 samma dag” anger både storhet, enhet, plats och tidpunkt. Tiden mellan den information som finns tillgänglig och utfallet kallas här prognoshorisont.

Särdrag är de värden modellen får använda, exempelvis temperatur klockan 08 och molntäcke. Det observerade utfallet är det värde som senare mäts och används som jämförelse. Om ett särdrag registreras först efter målvariabelns tidpunkt kan det läcka information som inte finns när en verklig prognos ska göras.

En numerisk utdata är inte automatiskt bättre än en klass. Ett temperaturvärde på tiondels grad kan se exakt ut samtidigt som mätningen och modellen är osäkra. Uppgiftens form ska väljas efter vilket beslut eller vilken fråga resultatet ska stödja.

I aktiviteten sorterar du problem som klassificering, numerisk prediktion eller rangordning. För varje numeriskt problem anger du målvariabel, enhet och prognoshorisont. Om de uppgifterna saknas ska du markera att problemet behöver preciseras.

Från punktmoln till beräkningsregel

Anta att varje rad innehåller morgontemperatur klockan 08 och observerad eftermiddagstemperatur klockan 15. I ett punktdiagram visar varje punkt ett dygn. Den vågräta axeln visar särdraget och den lodräta axeln visar målvariabeln.

En enkel linjär modell kan skrivas förutsägelse = skärning + lutning · särdrag. Skärningen är modellens värde när särdraget är noll. Lutningen anger hur mycket förutsägelsen förändras när särdraget ökar med en enhet. Om båda axlarna mäts i grader Celsius kan lutningen tolkas som antal förutsagda eftermiddagsgrader per extra morgongrad.

Lutning och skärning är modellens parametrar. Under träningen väljs värden som får linjen att passa träningspunkterna enligt ett bestämt felmått. Ordinary least squares väljer koefficienter som minimerar summan av kvadrerade skillnader mellan observerade och förutsagda värden. [[source:sklearn-linear-models Ordinary Least Squares]]

Linjen sammanfattar, punkterna varierar

För en viss morgontemperatur läser modellen av ett värde på linjen. Skillnaden mellan det observerade utfallet och förutsägelsen kallas residual:

residual = observerat värde - förutsagt värde

En punkt ovanför linjen har positiv residual. En punkt under linjen har negativ residual. Residualen är noll när linjen träffar punkten. Linjen behöver inte och bör normalt inte gå genom varje träningspunkt, eftersom modellen sammanfattar ett mönster i data i stället för att lagra alla utfall.

En rak linje passar inte alla relationer. Punktmolnet kan vara böjt, ha grupper eller innehålla en extrem punkt som påverkar anpassningen. Kontrollera därför både linjen och residualernas mönster. Om residualerna systematiskt är positiva i ena delen och negativa i en annan saknar den raka linjen troligen viktig struktur.

I aktiviteten jämför du tre linjer mot samma konstruerade punkter. Gör en förutsägelse, läs av två residualer och tolka lutningen med enheter innan du väljer vilken linje som beskriver just träningsdatan bäst.

Från en residual till ett testresultat

En residual har tecken: observerat - förutsagt. En positiv residual betyder att modellen förutsade för lågt, och en negativ residual att den förutsade för högt. Om tecknen tas bort får vi absolutfel. Absolutfel kan sammanfattas utan att positiva och negativa fel tar ut varandra.

Medelabsolutfel (mean absolute error, MAE) är summan av absoluta fel delad med antalet testfall. Om fyra temperaturprognoser har absoluta fel 1, 1, 1 och 5 °C blir MAE (1 + 1 + 1 + 5) / 4 = 2 °C.

Medelkvadratfel (mean squared error, MSE) använder de kvadrerade residualernas medelvärde. Rotmedelkvadratfel (root mean squared error, RMSE) tar därefter kvadratroten, så slutvärdet får samma enhet som målvariabeln. För de fyra felen ovan blir RMSE kvadratroten ur (1 + 1 + 1 + 25) / 4, alltså ungefär 2,65 °C. scikit-learns måttdokumentation definierar MAE, MSE och RMSE för regressionsutvärdering. [[source:sklearn-model-evaluation regression-metrics]]

Måttet svarar på en vald fråga

MAE ger varje grads absolutfel samma vikt. RMSE påverkas mer av stora fel eftersom residualerna kvadreras. Om enstaka stora missar är särskilt besvärliga kan RMSE synliggöra dem tydligare. Om ett lättolkat typiskt absolut avstånd är viktigare kan MAE passa bättre. Inget av måtten är universellt bäst.

Redovisa målvariabelns enhet, antal testfall och tidsperiod. Granska också de enskilda residualerna. Två modeller kan få samma MAE men ha olika mönster: den ena kan göra små fel ofta, den andra få fel men mycket stora.

I aktiviteten räknar du MAE och RMSE från en liten residualtabell. Välj sedan ett mått för ett angivet låginsatssyfte. Motivera valet och ange vilket felmönster sammanfattningen riskerar att dölja.

Inom eller utanför observerat område

Om träningsdatan innehåller morgontemperaturer från -5 till 20 °C är en förutsägelse vid 10 °C en interpolation inom detta intervall. En förutsägelse vid 30 °C är extrapolation. Modellformeln kan räkna i båda fallen, men träningsdatan har inte visat att samma relation fortsätter utanför intervallet.

Interpolation är inte en garanti. Den nya punkten kan tillhöra en säsong, plats eller mätmetod som saknas i datan trots att talet ligger inom intervallet. Beskriv därför modellens giltighetsområde med fler villkor än minsta och största värde: tidsperiod, population, insamlingssätt och relevanta situationer.

När processen förändras

Dataskifte betyder här att nya data skiljer sig på ett sätt som är relevant för modellens relation mellan särdrag och målvariabel. En sensor kan bytas. Mättiden kan ändras. En ny årstid kan ge andra mönster. Människors beteende kan förändras efter en ny regel eller tjänst. Då kan ett tidigare testresultat vara korrekt beräknat men mindre relevant för dagens användning.

Granska varje prognoskort med fyra frågor:

1. Ligger särdragen inom träningsdatans observerade intervall och kombinationer? 2. Matchar tid, plats och mätprocess den dokumenterade användningen? 3. Hur långt är prognoshorisonten? 4. Vilket faktiskt utfall kan senare följas upp?

NIST:s AI-riskram beskriver riskhantering som en fortlöpande process med kartläggning, mätning och hantering i sammanhang. [[source:nist-ai-rmf-1-0 AI RMF 1.0, Core]] För övningen betyder det att en modell inte blir färdiggranskad för all framtid efter ett enda test.

I aktiviteten markerar du observerat område och granskar kort som visar nya situationer. Välj interpolation, extrapolation eller möjligt dataskifte. Föreslå sedan en åtgärd: avstå från prognos, samla relevanta data, begränsa användningen eller följa upp med nya utfall.

Två frågor som kräver olika belägg

I ett konstruerat dataset samvarierar antal soltimmar och antal cykelpassager. En regressionsmodell kan använda soltimmar för att förbättra en prediktion av passager. Det är en prediktiv fråga: vilket värde väntas givet den information som finns?

En annan fråga är vad som skulle hända om vi kunde öka antalet soltimmar men hålla allt annat relevant oförändrat. Det är en kausal fråga om en intervention. Observationsdatan innehåller ingen sådan kontrollerad förändring och räcker därför inte ensam för svaret.

Flera berättelser kan passa samma samband

Ett väderläge kan påverka både soltimmar och människors val att cykla. Då är väderläget en möjlig störfaktor som bidrar till sambandet. Årstid kan också påverka båda. En tredje möjlighet är att soltimmar ingår i en verklig orsakskedja. Punktdiagrammet och regressionslinjen kan inte ensamma avgöra vilken berättelse som är riktig eller fullständig.

En proxyvariabel är ett registrerat fält som bär information om något annat som modellen inte direkt har fått. En proxy kan vara användbar för prognos men instabil om det bakomliggande sambandet förändras. Den kan också vara olämplig om den indirekt representerar en känslig egenskap i ett beslut om människor.

En regressionskoefficient beskriver modellens lutning givet dess representation och data. För att tolka den som en orsakseffekt behövs ytterligare antaganden och en forskningsdesign som hanterar alternativa förklaringar. Det ligger utanför denna kärnsektion, men gränsen ska alltid markeras.

I aktiviteten sorterar du påståenden som beskrivande, prediktiva, kausala eller otillräckligt underbyggda. Skriv om ett obelagt orsakspåstående och ange vilken typ av extra evidens som skulle behövas för en starkare slutsats.