Kernaussage
Der Zielkonflikt, den Institute ausdrücklich steuern müssen, sind Falschmeldungen: Ein überempfindliches Modell blockiert legitime Transaktionen und schädigt das Kundenvertrauen, während ein zu wenig empfindliches Verluste anhäufen lässt, und das akzeptable Gleichgewicht ist eine unternehmerische, keine rein technische Entscheidung. Die Governance dieser Systeme liegt an der Schnittstelle von Modellrisikomanagement und operationaler Resilienz, da der Ausfall eines Betrugsmodells oder ein erfolgreicher feindlicher Angriff darauf sowohl ein Modellrisikoereignis als auch ein operationaler Vorfall ist.
Aufsichtsbehörden erwarten, dass Institute Betrugs-KI mit derselben Validierungssorgfalt behandeln wie Kredit- oder Kapitalmodelle, auch wenn Betrugserkennung mitunter von kundenseitigen Erklärbarkeitsregeln ausgenommen wird, angesichts des Risikos, dass Transparenz Betrügern nützt.
Den Zielkonflikt bei Falschmeldungen steuern
Das Festlegen der Betriebsschwelle für ein Betrugsmodell erfordert eine ausdrückliche Kostenfunktion, die Betrugsverluste gegen Kundenreibung und Abwanderung abwägt, regelmäßig überprüft, da sich sowohl Betrugsraten als auch Kundenerwartungen verschieben. Institute nutzen zunehmend gestufte Reaktionsstrategien, etwa Stufenauthentifizierung bei mittlerem Risiko statt pauschaler Blockierung, um den binären Zielkonflikt abzumildern und legitimes Transaktionsvolumen zu erhalten, während wahrscheinlicher Betrug dennoch vor Abschluss unterbrochen wird.
Die Überwachung von Fehlalarm- und Fehlerübersehensraten nach Kundensegment ist sowohl für Fairness als auch für die wirtschaftliche Leistung wichtig, da pauschale Schwellen bestimmte Bevölkerungsgruppen oder Regionen mit Transaktionsmustern, die oberflächlich Betrug ähneln, unverhältnismäßig benachteiligen können. Regelmäßige Rekalibrierung gegen gelabelte Ergebnisse, bestätigten Betrug gegenüber bestätigten legitimen Streitfällen, hält die Präzision des Modells davon ab, abzudriften, wenn sich Betrugstypologien und Kundenverhalten im Lauf der Zeit ändern.
Feindliches Risiko und Governance-Kontrollen
Betrugserkennungsmodelle sind aktiven Gegnern ausgesetzt, die nach blinden Flecken suchen und sich anpassen, ein wesentlich anderes Bedrohungsmodell als bei Kredit- oder Tarifierungsanwendungen, wo die modellierte Population nicht gezielt versucht, das Modell zu umgehen. Das motiviert laufende feindliche Tests, Red-Teaming gegen sich wandelnde Betrugstaktiken und schnellere Modellauffrischungszyklen als typischerweise bei anderen Risikomodellen üblich, da ein heute gut funktionierendes Modell schnell degradieren kann, sobald Betrüger lernen, es auszunutzen.
Die Governance sollte klare Eskalationswege zwischen Betrugsoperationen, Modellrisiko und Geldwäschecompliance vorsehen, da ein Betrugsmodell sowohl Pflichten zur Geldwäschebekämpfung und Verdachtsmeldung als auch Kundenschutzregeln berührt. Institute brauchen dokumentierte Notfallpläne für Fälle, in denen vermutet wird, dass das Modell aktiv manipuliert wird, einschließlich des Rückgriffs auf manuelle Prüfprozesse, während Abhilfemaßnahmen getestet und eingeführt werden.
Fazit
Jonas Adam Mohamed Osman (Yonas Osman), CEO von Quantica Risk, geht die Governance von Betrugs-KI an, indem er technische Überwachung mit expliziten unternehmerischen Abwägungsentscheidungen verbindet, sodass Schwellenwertentscheidungen von verantwortlichen Beteiligten getroffen werden und nicht implizit in Modellvoreinstellungen verborgen bleiben.
Quellen und weiterführende Informationen
Verwandte Seiten
- KI-Agenten und operationelles Risiko in FinanzinstitutenDie neuen operationellen Risiken durch autonome KI-Agenten in Finanzsystemen und wie Institute diese wirksam steuern können.
- KI-Verzerrung und Fairness bei der VersicherungszeichnungWie Verzerrungen über Stellvertretervariablen in KI-Zeichnungsmodelle gelangen und mit welchen Testverfahren Versicherer Fairnessrisiken steuern.
- Modellrisikomanagement für KI: SR 11-7 und SS1/23Wie SR 11-7 und die PRA-Leitlinie SS1/23 auf KI- und Machine-Learning-Modelle ausgeweitet werden und was Institute ergänzen müssen.