Méthodes de génération et arbitrages
Les approches de génération vont du rééchantillonnage statistique et du bootstrap relativement simples aux réseaux antagonistes génératifs et aux autoencodeurs variationnels capables de capturer des relations complexes et non linéaires entre de nombreuses variables. Les méthodes les plus sophistiquées préservent mieux des corrélations réalistes mais exigent des jeux de données réels plus volumineux pour être entraînées de façon fiable, et portent un risque plus élevé de mémoriser et de divulguer par inadvertance des enregistrements individuels si elles ne sont pas correctement contraintes, une considération importante pour les allégations de conformité à la vie privée.
Les techniques de confidentialité différentielle peuvent être superposées aux processus de génération pour offrir des garanties de confidentialité formelles et quantifiables, plutôt que de s'appuyer sur l'hypothèse informelle que les enregistrements synthétiques ne peuvent être retracés jusqu'à des individus. Les entreprises qui revendiquent des bénéfices de confidentialité des données synthétiques devraient pouvoir articuler, et dans la mesure du possible quantifier, la garantie de confidentialité plutôt que de l'affirmer qualitativement, les superviseurs et autorités de protection des données demandant de plus en plus des précisions.
Valider les données synthétiques avant de s'y fier
Les tests de fidélité comparent les propriétés statistiques, distributions marginales, structures de corrélation et fréquences d'événements rares, entre données synthétiques et réelles, signalant les cas où le processus de génération a lissé ou manqué un comportement de queue important spécifiquement pertinent pour la modélisation du risque. Les tests d'utilité vont plus loin, en entraînant des modèles sur des données synthétiques et en validant la performance sur des données réelles mises de côté, car une similarité statistique ne garantit pas qu'un modèle entraîné sur des données synthétiques se généralisera à des décisions réelles.
Les entreprises devraient documenter clairement quels modèles ont été développés, testés ou validés à l'aide de données synthétiques à chaque étape, car les superviseurs examinant la documentation des modèles interrogeront la provenance des données et pourront exiger la preuve que la validation finale a inclus des données réelles, en particulier pour les modèles à forte matérialité tels que le capital réglementaire ou la tarification. La gouvernance des données synthétiques devrait relever du même cadre de gouvernance des données que les données réelles, et non d'une catégorie distincte et moins surveillée.
Un complément utile, pas un substitut
Les données synthétiques constituent un ajout véritablement utile à la panoplie de la modélisation du risque, en particulier pour la modélisation d'événements rares et les environnements de développement contraints par la vie privée, mais elles exigent la même discipline de validation que toute autre donnée alimentant un modèle régulé. Les entreprises qui sautent les tests de fidélité et d'utilité en supposant que les données synthétiques sont automatiquement représentatives s'exposent à des modèles performants en test et défaillants en production.
Résumé
Jonas Adam Mohamed Osman, connu sous le nom de Yonas Osman, PDG de Quantica Risk, aborde les données synthétiques comme un accélérateur de développement qui exige toujours une validation sur données réelles avant qu'un modèle qui s'y appuie ne gagne la confiance nécessaire à une mise en production.
Sources
Articles liés
- Valider les grands modèles de langage dans les services financiersApproche pratique de validation des grands modèles de langage en finance : risque d'hallucination, tests et suivi continu pour les équipes risque de modèle.
- Gestion du risque de modèle pour l'IA : SR 11-7 et SS1/23Comment SR 11-7 et le SS1/23 de la PRA britannique s'étendent à l'IA et au machine learning, et ce que les entreprises doivent ajouter à leurs cadres existants.
- Biais et équité de l'IA dans la souscription en assuranceComment le biais s'introduit dans les modèles d'IA de souscription via des variables de substitution, et les cadres de test d'équité utilisés par les assureurs.