SHAP, LIME och deras begränsningar
SHAP-värden, som bygger på kooperativ spelteori, fördelar en modells prediktion mellan ingångsvariablerna på ett sätt som uppfyller konsistensegenskaper som tilltalar revisorer, vilket gör dem till det mer försvarbara förstahandsvalet för reglerade kreditbeslut. LIME bygger en enklare lokal surrogatmodell kring en enskild prediktion och kan beräknas snabbare, men dess förklaringar kan vara mindre stabila mellan liknande indata, vilket är ett problem när två kunder med näst intill identiska profiler måste få påvisbart konsekventa motiveringar.
Båda metoderna är approximationer och kan vilseleda när variabler är starkt korrelerade, eftersom fördelningen av kreditpåverkan mellan korrelerade variabler är matematiskt sett något godtycklig även om den känns intuitiv för en kredithandläggare. Valideringsteam bör testa förklaringarnas stabilitet vid små störningar i indata och jämföra förklaringarna mot sakkunskap, och flagga fall där modellens angivna resonemang strider mot etablerad kreditriskintuition för vidare utredning före driftsättning.
Att möta krav på avslagsbesked och tillsyn
Krav på avslagsbesked föregår maskininlärning men gäller fullt ut för den: en nekad sökande har rätt till de huvudsakliga skälen till beslutet, och generiska formuleringar som "modellpoängen var för låg" uppfyller inte det kravet. Företag kartlägger vanligtvis de SHAP-rankade faktorerna mot ett förhandsgodkänt bibliotek med lättbegripliga anledningskoder, och säkerställer att koderna verkligen speglar utslagsgivande faktorer snarare än godtyckliga platshållare valda för bekvämlighets skull — något tillsynsmyndigheter kan och gör granska vid inspektioner.
Utöver enskilda besked behöver styrelser och modellriskkommittéer regelbundna globala förklarbarhetsgranskningar för att bekräfta att modellen inte lutar sig mot proxyvariabler för skyddade egenskaper, vilket är en särskild oro när beteendedata eller alternativa datakällor förs in i modellen. Att dokumentera denna granskning tillsammans med sedvanlig prestandaövervakning ger både internrevision och externa tillsynsmyndigheter en tydlig spårbarhet som visar att förklarbarheten testats, inte bara påståtts.
Sammanfattning
Förklarbarhet är numera ett designkrav för kreditmodeller, inte en motivering i efterhand, och företag som bygger in det från variabelval och framåt slipper kostsamt omarbete när en komplex modell visar sig omöjlig att förklara på ett tillfredsställande sätt för tillsynsmyndigheter eller domstolar. Verktygen har mognat så pass att det knappast finns någon ursäkt för att driftsätta en oförklarlig kreditmodell idag. Jonas Adam Mohamed Osman (känd som Yonas Osman), vd för Quantica Risk, behandlar förklarbarhet som en egen valideringsdisciplin och testar om en modells angivna resonemang håller både statistisk granskning och sunt affärsförnuft innan den någonsin når en kund.
Källor och vidare läsning
Relaterade sidor
- AI-bias och rättvisa i försäkringstecknandeHur bias smyger sig in i AI-modeller för försäkringstecknande via proxyvariabler och data, och de testmetoder försäkringsbolag använder.
- Modellriskhantering för AI: SR 11-7 och SS1/23Hur SR 11-7 och Bank of Englands SS1/23 utvidgas till AI och maskininlärning, och vad företag måste lägga till befintliga valideringsramverk.
- EU:s AI-förordning: högriskkrav för banker och försäkringsbolagHur EU:s AI-förordning klassar kreditprövning och livförsäkringsprissättning som högrisk, och vad banker och försäkringsbolag måste göra för att efterleva kraven.