Testning av hallucinationer och faktisk korrekthet
Hallucinationstestning kräver kuraterade referensdataset som avspeglar företagets faktiska verksamhetsområde — policylydelser, regeltexter eller produktdokumentation — med mänskligt bedömda korrekthetspoäng snarare än generiska offentliga referensvärden som dåligt speglar specialiserat finansiellt innehåll. Hämtningsbaserad generering (RAG) minskar men eliminerar inte hallucinationsrisken, så valideringen måste testa både hämtningskomponentens precision och genereringskomponentens trohet mot det hämtade innehållet, eftersom fel kan uppstå i båda stegen.
Red teaming, där testare medvetet prövar gränsfall, tvetydiga frågor och fientliga prompter, synliggör felmönster som vanlig korrekthetstestning missar, inklusive promptinjektion och olämplig utlämning av känslig information. Resultaten bör matas in i ett dokumenterat riskregister med allvarlighetsgrader, och all kundnära användning bör ha en mänsklig kontrollpunkt för utdata ovanför en definierad väsentlighets- eller komplexitetsgräns, i linje med befintliga kontroller för uppföranderisk.
Löpande övervakning och styrning
Till skillnad från statiska statistiska modeller uppdateras språkmodeller ofta av leverantörer genom tysta versionsbyten, vilket gör att en punktvalidering inte räcker. Företag behöver avtalsmässig insyn i leverantörers uppdateringstakt och en omvalideringsutlösare varje gång den underliggande modellversionen förändras väsentligt, tillsammans med kontinuerlig stickprovskontroll av liva utdata mot kvalitets- och biasmått som fastställts vid godkännandet. Loggningen måste vara tillräckligt detaljerad för att kunna rekonstruera vad modellen såg och producerade för varje granskat utfall.
Styrningen bör placera tydligt ansvar för användningsfall med språkmodeller inom befintlig modellriskkommitté, med eskaleringsvägar vid försämrad prestanda eller uppkommande biasmönster. Företag som bygger interna applikationer ovanpå tredjepartsgrundmodeller bär ett dubbelt ansvar: att validera grundmodellens generella beteende och att validera det finjusterings-, prompt- eller hämtningslager som läggs ovanpå, eftersom vart och ett introducerar egna felmönster som kräver separat testtäckning.
Sammanfattning
Validering av språkmodeller inom finans handlar mindre om att uppfinna ny teori och mer om en disciplinerad utvidgning av etablerad modellriskhantering till en modellklass med andra felmönster och snabbare releasecykler. Företag som underinvesterar i denna utvidgning riskerar uppförandebrott, dåliga kundutfall och tillsynsanmärkningar i takt med att tillsynsmyndigheter ställer allt mer specifika frågor om styrning av generativ AI vid inspektioner. Jonas Adam Mohamed Osman (känd som Yonas Osman), vd för Quantica Risk, utgår från avgränsning av avsedd användning och oberoende granskning som ankarpunkter, så att generativ AI uppfyller samma noggrannhet som krävs av varje annan modell som förs in i ett reglerat företags modellbestånd.
Källor och vidare läsning
Relaterade sidor
- Modellriskhantering för AI: SR 11-7 och SS1/23Hur SR 11-7 och Bank of Englands SS1/23 utvidgas till AI och maskininlärning, och vad företag måste lägga till befintliga valideringsramverk.
- Generativ AI i riskrapportering: nytta och gränserHur generativ AI kan påskynda riskrapportering och textutkast, och vilka styrkontroller som krävs för att hantera risken för felaktigheter.
- Förklarbar AI (XAI) för kreditriskmodellerVarför förklarbarhet är avgörande för AI-driven kreditbedömning, hur SHAP och LIME fungerar, och hur de möter kraven på avslagsbesked.