SHAP, LIME et leurs limites
Les valeurs de Shapley (SHAP), fondées sur la théorie des jeux coopératifs, attribuent la prédiction d'un modèle à chaque variable d'entrée d'une manière qui satisfait des propriétés de cohérence appréciées des auditeurs, ce qui en fait l'option par défaut la plus défendable pour les décisions de crédit régulées. LIME construit un modèle de substitution local plus simple autour d'une seule prédiction et peut être plus rapide à calculer, mais ses explications peuvent être moins stables entre des entrées similaires, ce qui pose problème lorsque deux clients aux profils quasi identiques doivent recevoir un raisonnement manifestement cohérent.
Les deux méthodes restent des approximations et peuvent induire en erreur lorsque les variables sont fortement corrélées, car l'attribution du crédit entre variables corrélées est en partie arbitraire mathématiquement, même si elle paraît intuitive à un chargé de clientèle. Les équipes de validation devraient tester la stabilité des explications sous de petites perturbations des entrées et confronter les explications aux connaissances métier, en signalant les cas où le raisonnement du modèle contredit l'intuition établie du risque de crédit, pour investigation avant déploiement.
Répondre aux obligations de motivation et réglementaires
Les obligations de motivation des décisions défavorables préexistent à l'apprentissage automatique mais s'y appliquent pleinement : un demandeur refusé a droit aux motifs principaux de la décision, et des formules génériques comme « score de modèle trop faible » ne satisfont pas cette exigence. Les entreprises associent généralement les variables les mieux classées par SHAP à une bibliothèque de motifs en langage clair préapprouvée, en veillant à ce que ces motifs reflètent des facteurs réellement déterminants plutôt que des libellés arbitraires choisis par commodité, ce que les superviseurs peuvent vérifier lors des contrôles.
Au-delà des notifications individuelles, les conseils d'administration et les comités de risque de modèle ont besoin de revues périodiques d'explicabilité globale pour confirmer que le modèle ne s'appuie pas sur des variables de substitution pour des caractéristiques protégées, une préoccupation particulière lorsque des données comportementales ou alternatives entrent dans les variables du modèle. Documenter cette revue aux côtés du suivi standard de performance du modèle donne à l'audit interne comme aux superviseurs externes une trace claire montrant que l'explicabilité a été testée, et non simplement affirmée.
Une exigence de conception, pas une justification a posteriori
L'explicabilité est désormais une exigence de conception pour les modèles de crédit, et non un exercice de justification après coup ; les entreprises qui l'intègrent dès le choix des variables évitent des reprises coûteuses lorsqu'un modèle complexe se révèle impossible à expliquer de manière satisfaisante aux superviseurs ou aux tribunaux. Les outils ont suffisamment mûri pour qu'il n'y ait plus guère d'excuse à déployer aujourd'hui un modèle de crédit inexplicable en production.
Résumé
Jonas Adam Mohamed Osman, connu sous le nom de Yonas Osman, PDG de Quantica Risk, aborde l'explicabilité comme une discipline de validation à part entière, en testant si le raisonnement affiché d'un modèle résiste à la fois à l'examen statistique et au bon sens métier avant qu'il n'atteigne un client.
Sources
Articles liés
- Biais et équité de l'IA dans la souscription en assuranceComment le biais s'introduit dans les modèles d'IA de souscription via des variables de substitution, et les cadres de test d'équité utilisés par les assureurs.
- Gestion du risque de modèle pour l'IA : SR 11-7 et SS1/23Comment SR 11-7 et le SS1/23 de la PRA britannique s'étendent à l'IA et au machine learning, et ce que les entreprises doivent ajouter à leurs cadres existants.
- AI Act de l'UE : les règles pour les systèmes à haut risque des banques et assureursL'AI Act européen classe la notation de crédit et la tarification assurance vie/santé en haut risque : obligations de gouvernance, documentation et conformité pour banques et assureurs.