Definiera omfattning och väsentlighet
Validering börjar med att fastställa vad som ska valideras och hur djupt. Väsentlighet bör bedömas utifrån modellens påverkan på kapital, resultat, kundutfall och regelefterlevnad, inte utifrån hur tekniskt avancerad den är. En enkel modell som styr stora belopp är mer väsentlig än en komplex modell med marginell användning.
Konceptuell soliditet
Den konceptuella granskningen prövar om metodvalet är motiverat givet syftet, om antagandena är rimliga och om alternativ övervägts. Här bedöms också modellens teoretiska begränsningar: vad den inte kan fånga, och vilka konsekvenser det får för beslut som fattas med dess hjälp.
Data och implementering
Datagranskningen omfattar representativitet, kvalitet, fullständighet, historik och avstämning mot källsystem och redovisning. Implementeringsgranskningen prövar att den dokumenterade metoden faktiskt är den som körs i produktion, exempelvis genom oberoende replikering av utvalda beräkningar och kontroll av versionshantering.
Prestanda och stabilitet
Prestandatester bör vara valda efter modellens syfte. Rangordningsförmåga, kalibreringsnivå, stabilitet över tid och beteende i stress är olika egenskaper och kräver olika tester. En modell kan rangordna väl men systematiskt underskatta nivån – vilket är oproblematiskt för prioritering men allvarligt för kapital.
Stabilitetsanalys över delportföljer och tidsperioder avslöjar drift och överanpassning tidigare än aggregerade mått.
- Diskriminering och rangordning.
- Kalibrering och nivåbias.
- Stabilitet över tid och segment.
- Beteende i stressade scenarier.
- Jämförelse mot enklare referensmodell.
Användning, dokumentation och uppföljning
Validering av användning – ibland kallad use test – prövar om modellen faktiskt används i beslut på det sätt som dokumentationen påstår, och om användarna förstår dess begränsningar. Detta är ofta där de största bristerna finns.
Slutligen behöver observationer följas upp: varje observation bör ha allvarlighetsgrad, ägare, tidplan och en kontroll av att åtgärden faktiskt löste problemet. Validering utan uppföljning är en rapport, inte en kontroll.
Sammanfattning
En bra valideringsram är proportionell, oberoende och beslutsnära. Den prövar metod, data, implementering, prestanda och användning – och den avslutas med åtgärder, inte enbart iakttagelser.
Källor och vidare läsning
Relaterade sidor
- Modellrisk och modellvalidering inom finansiella institutionerModellrisk i bank och försäkring: modellstyrning, modellinventering, oberoende validering, backtesting, benchmarking och andra försvarslinjens roll.
- AI-modellrisk inom bank och försäkringAI-modellrisk: styrning av AI-modeller, oberoende validering, hallucinationer, drift, förklarbarhet, mänsklig kontroll och risk i tredjepartsmodeller.
- Andra försvarslinjen – oberoende riskkontroll och challengeAndra försvarslinjen i praktiken: rollfördelning mellan försvarslinjer, oberoende challenge, limiter, modellutmaning, eskalering och riskstyrning.
- IFRS 9 – kreditrisk, ECL och modellvalideringIFRS 9 i praktiken: förväntade kreditförluster, stadieindelning, väsentlig ökning av kreditrisk, makroscenarier, overlays och modellvalidering.