Kernaussage
Ein Versicherer kann jedes geschützte Merkmal aus den Eingabedaten eines Modells ausschließen und trotzdem erheblich unterschiedliche Ergebnisse für geschützte Gruppen erzeugen, weshalb Fairnesstests die Ergebnisse direkt untersuchen müssen und sich nicht allein auf den Ausschluss von Eingabedaten verlassen dürfen. Aufsichtsbehörden verschiedener Jurisdiktionen, von US-Versicherungsaufsichten bis zu EIOPAs Leitlinien zur Nutzung von Big Data in Europa, erwarten inzwischen, dass Versicherer vor und nach dem Einsatz Tests auf unverhältnismäßige Auswirkungen bei Zeichnungs- und Tarifierungsmodellen durchführen.
Die praktische Antwort ist ein strukturiertes Fairnesstestprogramm, das neben, nicht anstelle der üblichen versicherungsmathematischen Validierung läuft, da ein Modell insgesamt statistisch gut kalibriert sein und dennoch Fairnesstests bei bestimmten Untergruppen nicht bestehen kann.
Wie Verzerrungen in den Modelllebenszyklus gelangen
Trainingsdatenverzerrung ist die häufigste Quelle: Wenn historische Zeichnungs- oder Schadenentscheidungen menschliche Verzerrungen widerspiegelten, übernimmt ein darauf trainiertes Modell diese Muster, mitunter verstärkt, weil Methoden des maschinellen Lernens wirksam darin sind, die Stellvertretersignale zu finden, die Menschen unbewusst nutzten. Stichprobenverzerrung verschärft dies, wenn bestimmte Bevölkerungsgruppen in Trainingsdaten unterrepräsentiert sind, was zu Modellen führt, die für diese Gruppen schlechter und mitunter systematisch ungünstiger abschneiden, ohne dass dies in aggregierten Genauigkeitskennzahlen sichtbar wird.
Auch Entscheidungen bei der Merkmalsgestaltung bergen Verzerrungsrisiko; die Zusammenfassung feingliedriger Standortdaten zu groben Gebietsbändern kann beispielsweise unbeabsichtigt historisch diskriminierte Grenzen nachbilden. Institute brauchen eine dokumentierte Prüfung jedes Kandidatenmerkmals auf Stellvertreterrisiko vor dem Modelltraining, nicht erst danach, da das nachträgliche Einbauen von Fairness in ein trainiertes Modell weitaus schwieriger und unzuverlässiger ist, als Daten und Merkmale von Anfang an damit im Blick zu gestalten.
Testverfahren und Abhilfemaßnahmen
Quantitative Fairnesstests wenden typischerweise mehrere Kennzahlen an, demografische Parität, ausgeglichene Fehlerraten und Kalibrierung innerhalb von Gruppen, weil keine einzelne Kennzahl Fairness vollständig erfasst und manche bei gegebenen Daten mathematisch nicht miteinander vereinbar sind. Versicherer sollten für ihr Produkt passende Kennzahlen wählen und die Abwägung ihrer Modellrisikokommission ausdrücklich darlegen, statt standardmäßig die Kennzahl zu verwenden, die das Modell am bequemsten erfüllt.
Wird eine unverhältnismäßige Auswirkung festgestellt, umfassen Abhilfeoptionen die Anpassung von Merkmalen, die Neugewichtung von Trainingsstichproben oder nachgelagerte Kalibrierungsanpassungen, jede mit unterschiedlichen rechtlichen und versicherungsmathematischen Implikationen, da manche Jurisdiktionen direkte Ergebnisanpassungen nach geschützten Merkmalen einschränken, selbst wenn sie der Korrektur von Verzerrungen dienen sollen. Die Governance sollte vor jeder Abhilfemaßnahme eine Freigabe sowohl der versicherungsmathematischen als auch der Rechts- oder Compliance-Funktion verlangen, mit dokumentierter Begründung für die aufsichtliche Prüfung.
Fazit
Jonas Adam Mohamed Osman (Yonas Osman), CEO von Quantica Risk, behandelt Fairnesstests als untrennbar von der versicherungsmathematischen Validierung und besteht darauf, dass die Leistung eines Modells in Untergruppen vor dem Produktiveinsatz ebenso genau geprüft wird wie seine Gesamtgenauigkeit.
Quellen und weiterführende Informationen
Verwandte Seiten
- Erklärbare KI (XAI) für KreditrisikomodelleWarum Erklärbarkeit bei KI-gestützten Kreditentscheidungen zählt, wie SHAP und LIME funktionieren und wie sie regulatorische Anforderungen erfüllen.
- KI in der Betrugserkennung: Risiko und GovernanceWie KI die Betrugserkennung im Finanzsektor verbessert, der Zielkonflikt bei Falschmeldungen und die von Aufsehern erwarteten Governance-Kontrollen.
- Modellrisikomanagement für KI: SR 11-7 und SS1/23Wie SR 11-7 und die PRA-Leitlinie SS1/23 auf KI- und Machine-Learning-Modelle ausgeweitet werden und was Institute ergänzen müssen.