Tester l'hallucination et l'exactitude factuelle
Les tests d'hallucination exigent des jeux de données de référence construits sur le domaine réel de l'entreprise, tels que les libellés de contrats, les textes réglementaires ou la documentation produit, avec des scores d'exactitude notés par des humains plutôt que des benchmarks publics génériques peu représentatifs du contenu financier spécialisé. La génération augmentée par récupération réduit mais n'élimine pas le risque d'hallucination : la validation doit donc tester à la fois la précision du composant de récupération et la fidélité du composant de génération au contenu récupéré, car des erreurs peuvent survenir à chaque étape.
Les exercices de red-teaming, où les testeurs sondent délibérément les cas limites, les requêtes ambiguës et les invites adverses, font apparaître des modes de défaillance que les tests d'exactitude standards ne détectent pas, y compris l'injection de requêtes et la divulgation inappropriée d'informations sensibles. Les résultats doivent alimenter un registre de risques documenté avec une cotation de gravité, et tout déploiement exposé aux clients devrait comporter un point de contrôle humain pour les sorties dépassant un seuil de matérialité ou de complexité défini, cohérent avec les contrôles de risque de conduite existants.
Suivi continu et gouvernance
Contrairement aux modèles statistiques figés, les LLM sont fréquemment mis à jour par les fournisseurs via des changements de version souvent silencieux, ce qui rend une validation figée dans le temps insuffisante. Les entreprises ont besoin d'une visibilité contractuelle sur le rythme de mise à jour des fournisseurs et d'un déclencheur de revalidation chaque fois que la version du modèle sous-jacent change de manière significative, ainsi que d'un échantillonnage continu des sorties en production au regard d'indicateurs de qualité et de biais définis à l'approbation. La journalisation doit être suffisamment détaillée pour reconstituer ce que le modèle a reçu et produit pour toute sortie examinée.
La gouvernance doit attribuer une responsabilité claire pour les cas d'usage de LLM au sein de la structure existante du comité de risque de modèle, avec des circuits d'escalade en cas de dégradation de performance ou d'apparition de biais. Les entreprises qui construisent des applications internes de LLM au-dessus de modèles de fondation tiers portent une double responsabilité : valider le comportement général du modèle de fondation et valider la couche d'ajustement fin, de formulation des requêtes ou de récupération ajoutée par-dessus, chacune introduisant des modes de défaillance distincts nécessitant une couverture de test séparée.
Un prolongement discipliné, pas une nouvelle théorie
La validation des LLM dans les services financiers relève moins de l'invention d'une nouvelle théorie que d'une extension disciplinée des pratiques établies de gestion du risque de modèle à une classe de modèles présentant des modes de défaillance différents et des cycles de publication plus rapides. Les entreprises qui sous-investissent dans cette extension s'exposent à des manquements de conduite, à de mauvais résultats pour les clients et à des constats de supervision, à mesure que les régulateurs posent des questions de plus en plus précises sur la gouvernance de l'IA générative lors des contrôles.
Résumé
Jonas Adam Mohamed Osman, connu sous le nom de Yonas Osman, PDG de Quantica Risk, aborde la validation des LLM en plaçant le périmétrage de l'usage prévu et la contre-expertise indépendante comme points d'ancrage, afin que les déploiements d'IA générative répondent à la même rigueur attendue de tout autre modèle entrant dans l'inventaire d'une entreprise régulée.
Sources
Articles liés
- AI Act de l'UE : les règles pour les systèmes à haut risque des banques et assureursL'AI Act européen classe la notation de crédit et la tarification assurance vie/santé en haut risque : obligations de gouvernance, documentation et conformité pour banques et assureurs.
- Gestion du risque de modèle pour l'IA : SR 11-7 et SS1/23Comment SR 11-7 et le SS1/23 de la PRA britannique s'étendent à l'IA et au machine learning, et ce que les entreprises doivent ajouter à leurs cadres existants.
- L'IA générative dans le reporting risque : atouts et limitesComment l'IA générative accélère la rédaction du reporting risque, et les contrôles de gouvernance nécessaires pour maîtriser le risque d'exactitude.