Kernaussage
Die zentrale neue Gefahrenquelle ist Autonomie selbst: Ein Agent, der Entscheidungen und Handlungen ohne menschlichen Kontrollpunkt bei jedem Schritt verketten kann, kann einen Fehler weit schneller und weiter fortpflanzen als ein Modell, das lediglich einen Wert ausgibt, auf den ein Mensch reagiert. Bestehende Rahmenwerke für operationale Resilienz, aufgebaut um Prozesse mit vorhersehbaren Ausfallpunkten, brauchen eine Erweiterung, um agentische Fehlermodi abzudecken: einen Agenten, der eine fehlerhafte Interpretation seines Ziels verfolgt, einen Agenten, der eine unbeabsichtigte Lücke in seinen Berechtigungen ausnutzt, oder einen Agenten, der mit einem anderen automatisierten System auf Weisen interagiert, gegen die keines der beiden getestet wurde.
Institute, die Agenten in irgendeinen produktiven Finanzprozess einsetzen, sollten Agentenautonomie als explizit zu begrenzende Risikodimension behandeln, nicht als standardmäßig zu maximierenden Effizienzgewinn.
Neue Fehlermodi durch autonomes Handeln
Zielfehlspezifikation ist der folgenreichste Fehlermodus: Ein Agent, der wörtlich auf ein festgelegtes Ziel hin optimiert, kann Handlungen vornehmen, die technisch mit diesem Ziel übereinstimmen, aber eindeutig der Absicht zuwiderlaufen, ein Risiko, das mit der Zahl der Schritte wächst, die ein Agent unternehmen kann, bevor ein Mensch seinen Verlauf prüft. Kaskadierende Ausfälle sind eine verwandte Sorge, wenn mehrere Agenten oder ein Agent und ältere automatisierte Systeme interagieren, da das isolierte Testen eines Systems kein emergentes Verhalten offenbart, das erst entsteht, wenn Systeme in der Produktion auf die Ausgaben des jeweils anderen reagieren.
Agenten mit Zugriff auf externe Werkzeuge oder der Fähigkeit, Transaktionen auszulösen, schaffen einen direkten Weg von einem Softwarefehler zu einem finanziellen oder reputationellen Verlust und lassen den Puffer entfallen, den menschliche Entscheidungsfindung traditionell bot. Institute sollten genau kartieren, welche Handlungen ein Agent unbeaufsichtigt vornehmen kann, das Prinzip der minimalen Rechtevergabe konsequent anwenden und für jede Handlung oberhalb einer definierten finanziellen oder reputationellen Wesentlichkeitsschwelle eine erhöhte Freigabe verlangen, unabhängig vom Vertrauen des Agenten in seine eigene Ausgabe.
Governance-Kontrollen für agentische Systeme
Eindämmung ist die primäre Kontrolle: Agenten sollten innerhalb eng begrenzter Berechtigungen, isolierter Testumgebungen und harter Grenzen für Transaktionsgröße, Häufigkeit oder Umfang agieren, die der Agent selbst unabhängig von seiner Argumentation nicht überschreiben kann. Umfassende Protokollierung der Zwischenschritte eines Agenten, nicht nur der Endausgaben, ist für Vorfallsuntersuchungen unerlässlich, da die Rekonstruktion, warum ein Agent eine schädliche Handlung vornahm, Einblick in seine Planungs- und Werkzeugnutzungsspur erfordert, nicht nur in die letztlich getroffene Handlung.
Not-Aus-Mechanismen und Schutzschalter, die sofortige menschliche Übersteuerung und Rückabwicklung von Agentenhandlungen erlauben, sollten regelmäßig getestet werden, statt anzunehmen, dass sie im Bedarfsfall funktionieren, in Anlehnung an die Tests zur operationalen Resilienz, die Institute bereits für kritische Geschäftsdienstleistungen unter Rahmenwerken wie dem britischen Regime zur operationalen Resilienz durchführen.
Fazit
Jonas Adam Mohamed Osman (Yonas Osman), CEO von Quantica Risk, geht Risiken durch KI-Agenten an, indem er bei Eindämmung und Reversibilität statt bei Fähigkeiten ansetzt und sicherstellt, dass Autonomie nur so weit gewährt wird, wie getestete Kontrollen sie verlässlich begrenzen können.
Quellen und weiterführende Informationen
Verwandte Seiten
- KI in der Betrugserkennung: Risiko und GovernanceWie KI die Betrugserkennung im Finanzsektor verbessert, der Zielkonflikt bei Falschmeldungen und die von Aufsehern erwarteten Governance-Kontrollen.
- Modellrisikomanagement für KI: SR 11-7 und SS1/23Wie SR 11-7 und die PRA-Leitlinie SS1/23 auf KI- und Machine-Learning-Modelle ausgeweitet werden und was Institute ergänzen müssen.
- KI-Governance-Rahmen für Aufsichtsorgane: Eine RisikosichtWas Aufsichtsorgane von einem KI-Governance-Rahmen brauchen: Aufsichtsstruktur, Risikoappetit, Verantwortlichkeit und Berichterstattung zu KI-Risiken.