Kernaussage
Sie bieten zudem einen Weg zu datenschutzkonformer Modellentwicklung und -prüfung und erlauben Teams, mit realistischen Daten unter DSGVO oder vergleichbaren Regimen zu arbeiten, ohne das Offenlegungsrisiko, in jeder Entwicklungsphase mit tatsächlichen personenbezogenen Daten zu hantieren. Die Einschränkung, die Institute beachten müssen, ist, dass synthetische Daten nur so gut sind wie der Erzeugungsprozess und die echten Daten, aus denen sie abgeleitet wurden; sie können bestehende Verzerrungen bewahren, seltene, aber wichtige Randkorrelationen übersehen und ein falsches Sicherheitsgefühl erzeugen, wenn Validierungsteams sie als perfekten Ersatz für Tests mit realen Daten behandeln.
Synthetische Daten funktionieren am besten als Ergänzung zu echten Daten in Entwicklung und Stresstests, nicht als vollständiger Ersatz für die abschließende Validierung.
Erzeugungsmethoden und ihre Abwägungen
Gängige Erzeugungsansätze reichen von relativ einfacher statistischer Stichprobenwiederholung und Bootstrapping bis zu generativen gegnerischen Netzen und Variational Autoencodern, die komplexe, nichtlineare Beziehungen über viele Variablen hinweg erfassen können. Die ausgefeilteren Methoden bewahren realistische Korrelationen besser, benötigen aber größere echte Datensätze zum verlässlichen Training und bergen ein höheres Risiko, versehentlich einzelne Datensätze zu memorieren und preiszugeben, falls nicht hinreichend eingeschränkt, eine wichtige Überlegung für Datenschutzansprüche.
Techniken der differenziellen Privatsphäre können Erzeugungsprozessen überlagert werden, um formale, quantifizierbare Datenschutzgarantien zu geben, statt sich auf die informelle Annahme zu verlassen, dass synthetische Datensätze nicht auf Einzelpersonen zurückgeführt werden können. Institute, die Datenschutzvorteile aus synthetischen Daten beanspruchen, sollten die Datenschutzgarantie darlegen und, wo möglich, quantifizieren können, statt sie nur qualitativ zu behaupten, da Aufsichtsbehörden und Datenschutzbehörden zunehmend Konkretes verlangen.
Synthetische Daten validieren, bevor man sich auf sie verlässt
Treuetests vergleichen statistische Eigenschaften, Randverteilungen, Korrelationsstrukturen und Häufigkeiten seltener Ereignisse zwischen synthetischen und echten Daten und kennzeichnen, wo der synthetische Erzeugungsprozess wichtiges Verhalten an den Rändern geglättet oder übersehen hat, das für die Risikomodellierung speziell relevant ist. Nutzentests gehen weiter: Modelle werden mit synthetischen Daten trainiert und ihre Leistung gegen echte Validierungsdaten geprüft, da statistische Ähnlichkeit nicht garantiert, dass ein mit synthetischen Daten trainiertes Modell auf reale Entscheidungen verallgemeinert.
Institute sollten eine klare Dokumentation darüber führen, welche Modelle in welcher Phase mit synthetischen Daten entwickelt, getestet oder validiert wurden, da Aufsichtsbehörden bei der Prüfung der Modelldokumentation nach der Datenherkunft fragen und Nachweise verlangen können, dass die Endvalidierung echte Daten einschloss, insbesondere bei hoch wesentlichen Modellen wie aufsichtlichem Kapital oder Tarifierung.
Fazit
Jonas Adam Mohamed Osman (Yonas Osman), CEO von Quantica Risk, behandelt synthetische Daten als Entwicklungsbeschleuniger, der dennoch eine reale Validierung erfordert, bevor ein darauf aufgebautes Modell das Vertrauen für den Produktiveinsatz verdient.
Quellen und weiterführende Informationen
Verwandte Seiten
- Große Sprachmodelle in der Finanzbranche validierenPraxisnaher Validierungsansatz für große Sprachmodelle in Banken und Versicherungen: Halluzinationsrisiko, Testverfahren und laufende Überwachung.
- Generative KI in der Risikoberichterstattung: Nutzen und GrenzenWie generative KI die Risikoberichterstattung beschleunigen kann und welche Governance-Kontrollen zur Steuerung des Genauigkeitsrisikos nötig sind.
- Modellrisikomanagement für KI: SR 11-7 und SS1/23Wie SR 11-7 und die PRA-Leitlinie SS1/23 auf KI- und Machine-Learning-Modelle ausgeweitet werden und was Institute ergänzen müssen.