Vad SS1/23 tillför för maskininlärning
SS1/23 breddar uttryckligen definitionen av en modell till att omfatta ett bredare spektrum av kvantitativa metoder, vilket för in många tidigare oreglerade maskininlärningsverktyg i formell modellriskstyrning för första gången. Den höjer också förväntningarna på förklarbarhet, och kräver att företag visar att de förstår modellens beteende tillräckligt väl för att utmana det effektivt, samt på datakvalitet, givet maskininlärningsmodellers känslighet för träningsdatans sammansättning och drift över tid.
Företag måste också upprätthålla en heltäckande modellinventering med riskbaserad indelning, ett område många institut historiskt underresurserat för modeller med lägre väsentlighet som ändå aggregerar till betydande företagsövergripande risk. SS1/23 driver styrelser mot att ha en samlad bild av modellrisk över hela beståndet snarare än att bedöma varje modell isolerat, vilket har operativa konsekvenser för hur modellriskkommittéer rapporterar till styrelsen och hur riskaptitsuttalanden formuleras.
Praktiska utvidgningar av befintliga ramverk
Företag som utvidgar SR 11-7 eller motsvarande ramverk för AI lägger vanligen till förklarbarhetstestning, stabilitetstestning vid datadrift och jämförelse mot utmanarmodeller som standardkomponenter i valideringen, utöver bias- och rättvisetestning där modellen påverkar individer. Versionshantering blir också mer krävande, eftersom maskininlärningsmodeller ofta tränas om på uppdaterad data enligt ett schema, vilket kräver en definierad gräns för när omträning utgör en ny modell som kräver fullständig omvalidering jämfört med rutinmässig omkalibrering.
Planerna för löpande övervakning behöver maskininlärningsspecifika utlösare: tröskelvärden för populationsstabilitetsindex, larm för variabeldrift och kontroller av prestandaförsämring som körs oftare än de årliga genomgångar som är vanliga för traditionella modeller. Oberoende valideringsteam behöver praktiker med god kunskap om maskininlärningsmetoder, vilket i sig är en organisatorisk utmaning många företag fortfarande hanterar genom rekrytering eller riktad utbildning av befintliga validerare.
Sammanfattning
Riktningen i tillsynstexter från USA, Storbritannien och EU är samstämmig: AI- och maskininlärningsmodeller är modeller i första hand, och befintliga krav på modellriskhantering gäller fullt ut, med riktade tillägg för förklarbarhet, drift och rättvisa. Företag som bygger AI-styrning som en utvidgning av SR 11-7- eller SS1/23-ramverk, snarare än som en fristående efterlevnadsövning, kommer finna övergången till nyare AI-specifika regler som EU:s AI-förordning betydligt smidigare. Jonas Adam Mohamed Osman (känd som Yonas Osman), vd för Quantica Risk, utvidgar samma valideringsnoggrannhet som används för traditionella modeller och lägger till förklarbarhets- och drifttestning som kärnkomponenter snarare än valfria tillägg.
Källor och vidare läsning
Relaterade sidor
- Att validera stora språkmodeller inom finansPraktisk valideringsmetod för stora språkmodeller i finansbranschen: hallucinationsrisk, testning och löpande övervakning förklarade.
- EU:s AI-förordning: högriskkrav för banker och försäkringsbolagHur EU:s AI-förordning klassar kreditprövning och livförsäkringsprissättning som högrisk, och vad banker och försäkringsbolag måste göra för att efterleva kraven.
- AI-agenter och operativ risk i finansbolagDe nya operativa riskerna som autonoma AI-agenter skapar när de agerar i finansiella system, och hur man styr dem.