Så fungerar Pejla

Prediktiva modeller utvärderas vanligtvis med mått som beskriver hur modellen presterar på en större mängd data. Sådana mått är viktiga, men de säger inte nödvändigtvis hur mycket organisationen bör förlita sig på ett enskilt resultat.

Två fall kan exempelvis få samma prediktion trots att modellen har betydligt bättre stöd för det ena än för det andra. Modellen kan ha sett många liknande fall i tränings- och kalibreringsdata, eller befinna sig i en del av datan där underlaget är begränsat. Ett högt sannolikhetsvärde behöver inte heller vara korrekt kalibrerat. Om en modell anger 80 procents sannolikhet bör motsvarande utfall, bland jämförbara fall, inträffa ungefär 80 procent av gångerna. Många modeller uppfyller inte automatiskt det kravet.

Skillnaden är viktig när modellresultatet ska leda till en handling. Om alla resultat behandlas likadant riskerar organisationen antingen att automatisera fall som borde ha granskats eller att lägga mänsklig tid på fall där modellen hade kunnat användas med tillräcklig säkerhet.

Med tillit avser Pejla därför inte ett allmänt förtroende för AI. Begreppet avser om ett visst modellresultat, under kända förutsättningar och en fastställd risknivå, har tillräckligt stöd för en definierad användning.

Pejla bygger vidare på forskningen bakom Calibrated Explanations, utvecklad av Helena Löfström, Tuwe Löfström, Ulf Johansson och Cecilia Sönströd.

Calibrated Explanations är en modellagnostisk metod för att förklara enskilda prediktioner. Metoden kombinerar tre delar som annars ofta behandlas var för sig: kalibrerade sannolikheter, information om osäkerhet och lokala förklaringar av vad som har påverkat resultatet.

En vanlig lokal förklaringsmetod kan visa vilka variabler som haft störst betydelse för en prediktion. Om modellens ursprungliga sannolikheter är dåligt kalibrerade kan förklaringen däremot bli svår att använda som grund för ett verkligt beslut. Det räcker inte att förklaringen återger modellen korrekt om modellen samtidigt ger en missvisande bild av sin egen säkerhet.

Calibrated Explanations angriper detta genom att först kalibrera modellens sannolikhetsbedömning. I den ursprungliga forskningen används Venn–Abers-prediktorer och ett separat kalibreringsunderlag med kända utfall. Metoden producerar både en kalibrerad sannolikhetsbedömning och ett intervall runt bedömningen.

Intervallet visar osäkerheten i sannolikhetsuppskattningen. Ett smalare intervall innebär att uppskattningen är mer precist avgränsad, medan ett bredare intervall visar att underlaget lämnar större utrymme för osäkerhet. Intervallet är inte en garanti för att den enskilda prediktionen är korrekt. Det är ett statistiskt underlag för att skilja mellan olika grader av osäkerhet.

Calibrated Explanations förklarar inte bara modellens slutliga resultat. Metoden beskriver även hur olika egenskaper i det aktuella fallet har påverkat den kalibrerade sannolikheten.

Varje variabelbidrag ges en definierad innebörd i förhållande till modellens kalibrerade resultat. Förenklat jämförs sannolikheten för det aktuella fallet med vad modellen uppskattar när en viss egenskap förändras på ett systematiskt sätt. På så sätt går det att se om egenskapen har höjt eller sänkt sannolikheten och hur stort bidraget varit.

Även variabelbidragen kompletteras med information om osäkerhet. Det innebär att användaren kan se både vilken betydelse en egenskap tycks ha och hur säkert den betydelsen går att uppskatta. Detta skiljer sig från förklaringar som presenterar variablernas betydelse som exakta tal utan att visa hur känsliga de är för osäkerheten i modellen och underlaget.

Metoden kan ge två typer av lokala förklaringar:

En lokal förklaring behöver vara stabil för att vara användbar. Om samma modell, samma data och samma fall ger olika förklaringar vid upprepade körningar blir det svårt att avgöra vilken förklaring som ska ligga till grund för beslutet.

Calibrated Explanations är utformad så att samma fall ger samma förklaring så länge modellen och kalibreringsunderlaget är oförändrade. Den publicerade studien utvärderade metodens stabilitet och robusthet på 25 datamängder för binär klassificering. Resultaten visade mycket hög stabilitet vid oförändrad modell och låga variationer när modell och kalibreringsunderlag förändrades på ett kontrollerat sätt.

Det betyder inte att förklaringen förblir oförändrad när modellen eller dess omgivning faktiskt förändras. Tvärtom ska en korrekt förklaring återspegla relevanta förändringar i modellens resultat. Stabilitet innebär här att variationen i förklaringen ska följa verkliga förändringar, inte uppstå slumpmässigt mellan identiska körningar.

En modell och dess användningsmiljö är inte statiska. Kundbeteenden, processer, datakällor och ärendetyper kan förändras. Modellen kan uppdateras och börja producera andra sannolikheter än tidigare. Ett kalibreringsunderlag som tidigare var representativt kan med tiden bli mindre relevant.

Därför räcker det inte att kalibrera modellen en gång och därefter utgå från att osäkerhetsinformationen alltid har samma betydelse.

Pejlas produktinriktning omfattar en löpande bedömning av om den kalibrerade signalen fortfarande är användbar för den beslutspolicy organisationen har valt. Den centrala frågan är inte bara om data eller modellen har förändrats, utan om organisationen fortfarande kan använda osäkerheten för att skilja mellan direkt hantering och mänsklig granskning.

Om den kopplingen försvagas ska organisationen kunna upptäcka det och agera kontrollerat. Det kan innebära att fler ärenden tillfälligt skickas till granskning, att beslutspolicyn justeras eller att modellen behöver kalibreras om. Varje förändring behöver dokumenteras och versionshanteras så att det går att se när den infördes och vilka beslut den påverkade.

Mänsklig översyn fungerar bara om den är kopplad till ett tydligt ansvar och ett verkligt arbetsflöde. Att en användare kan öppna en förklaring är inte i sig tillräckligt.

Pejla ska hjälpa organisationen att definiera när mänsklig granskning behövs, vilket underlag granskaren ska få och hur den mänskliga bedömningen ska dokumenteras. Det gör det möjligt att rikta den begränsade granskningskapaciteten mot de fall där osäkerheten eller konsekvensen motiverar det.

Detta kan både minska onödig manuell granskning och göra den granskning som faktiskt genomförs mer relevant. Målet är inte maximal automatisering, utan en avvägning där automation, mänsklig bedömning och risk kan följas tillsammans.

Pejla ska fungera tillsammans med kundens befintliga modeller, arbetsflöden och tekniska system. Lösningen ersätter inte modellutveckling, ärendehantering, generell driftövervakning eller organisationens övergripande styrning och regelefterlevnad.

Pejlas avgränsade uppgift är att hålla samman:

• kalibrerad osäkerhet och lokala förklaringar,
• bedömningen av om signalen fortfarande är användbar,
• verksamhetens versionshanterade beslutsregler,
• automatisk och mänsklig hantering,
• beslutsunderlag och spårbarhet,
• senare utfall och uppföljning.

Detta kan ge organisationen bättre underlag för transparens, mänsklig översyn och dokumentation. Pejla är däremot inte en garanti för att varje beslut är korrekt eller att ett AI-system automatiskt uppfyller samtliga krav i AI-förordningen.

Calibrated Explanations utgör den forskningsbaserade kärnan. Pejla utvecklar den kommersiella infrastrukturen som behövs för att använda metoden konsekvent i en organisation.

Det innebär att föra tekniken från en enskild förklaring till ett sammanhängande beslutsförlopp: från modellresultat och uttryckt osäkerhet till beslutspolicy, mänsklig hantering, spårbarhet och uppföljning mot verkliga utfall.

Det är denna koppling mellan forskning och praktisk användning som Pejla ska validera tillsammans med sina första pilotkunder.