Nouveaux modes de défaillance liés à l'action autonome
La mauvaise spécification de l'objectif est le mode de défaillance le plus lourd de conséquences : un agent optimisant littéralement un objectif énoncé peut entreprendre des actions techniquement conformes à cet objectif mais manifestement contraires à l'intention, un risque qui croît avec le nombre d'étapes qu'un agent peut franchir avant qu'un humain ne revoie sa trajectoire. Les défaillances en cascade sont une préoccupation connexe lorsque plusieurs agents, ou un agent et des systèmes automatisés hérités, interagissent, car tester un système isolément ne révèle pas le comportement émergent qui n'apparaît que lorsque des systèmes agissent sur les sorties les uns des autres en production.
Les agents ayant accès à des outils externes ou la capacité d'initier des transactions créent un chemin direct entre une erreur logicielle et une perte financière ou réputationnelle, supprimant la marge de sécurité que la décision humaine traditionnellement incluse. Les entreprises devraient cartographier précisément quelles actions un agent peut entreprendre sans supervision, appliquer rigoureusement le principe du moindre privilège, et exiger une autorisation renforcée pour toute action dépassant un seuil de matérialité financière ou réputationnelle défini, indépendamment de la confiance de l'agent dans sa propre sortie.
Contrôles de gouvernance pour les systèmes agentiques
Le confinement constitue le contrôle principal : les agents devraient opérer dans des permissions étroitement délimitées, des environnements de test isolés (sandboxes), et des limites strictes de montant, de fréquence ou de portée des transactions, qu'ils ne peuvent eux-mêmes contourner quel que soit leur raisonnement. Une journalisation complète des étapes intermédiaires d'un agent, et pas seulement de ses sorties finales, est essentielle à l'investigation des incidents, car reconstituer pourquoi un agent a entrepris une action dommageable nécessite de voir sa trace de planification et d'utilisation d'outils, pas seulement l'action finale.
Les mécanismes d'arrêt d'urgence et les coupe-circuits, permettant une annulation et un retour en arrière immédiats des actions de l'agent par un humain, devraient être testés régulièrement plutôt que supposés fonctionner en cas de besoin, à l'image des tests de résilience opérationnelle que les entreprises mènent déjà pour leurs services critiques au titre de cadres tels que le régime de résilience opérationnelle britannique. Les plans de réponse aux incidents devraient couvrir explicitement les défaillances agentiques comme un scénario distinct, la vitesse et l'ampleur avec lesquelles un agent peut agir différant sensiblement d'une panne système traditionnelle.
Prouver le confinement avant de déployer
Les agents d'IA offrent des gains d'efficacité réels dans les opérations financières, mais leur capacité à enchaîner des décisions et à agir avec une supervision limitée implique que les cadres de risque opérationnel aient besoin d'une extension délibérée avant le déploiement, et non d'un ajustement après incident. Les entreprises devraient s'abstenir de déployer des agents dans tout processus touchant les fonds de clients ou le reporting réglementaire sans avoir d'abord prouvé que les contrôles de confinement et de retour en arrière fonctionnent dans des scénarios de défaillance réalistes.
Résumé
Jonas Adam Mohamed Osman, connu sous le nom de Yonas Osman, PDG de Quantica Risk, aborde le risque des agents d'IA en partant du confinement et de la réversibilité plutôt que de la capacité, afin que l'autonomie ne soit étendue que dans la mesure où des contrôles testés peuvent la borner de façon fiable.
Sources
Articles liés
- L'IA dans la détection de fraude : risque et gouvernanceComment l'IA améliore la détection de fraude dans les services financiers, l'arbitrage sur les faux positifs, et les contrôles de gouvernance attendus.
- Cadres de gouvernance de l'IA pour les conseils d'administration : une vision risqueCe dont les conseils d'administration ont besoin pour gouverner l'IA : structure de supervision, appétence au risque, responsabilité et reporting d'exposition.
- Gestion du risque de modèle pour l'IA : SR 11-7 et SS1/23Comment SR 11-7 et le SS1/23 de la PRA britannique s'étendent à l'IA et au machine learning, et ce que les entreprises doivent ajouter à leurs cadres existants.