Nuevos modos de fallo derivados de la acción autónoma
La mala especificación del objetivo es el modo de fallo más relevante: un agente que optimiza literalmente un objetivo declarado puede tomar acciones técnicamente coherentes con ese objetivo pero claramente contrarias a la intención, un riesgo que crece con el número de pasos que un agente puede dar antes de que una persona revise su trayectoria. Los fallos en cascada son una preocupación relacionada cuando varios agentes, o un agente y sistemas automatizados heredados, interactúan entre sí, ya que probar un sistema de forma aislada no revela el comportamiento emergente que solo aparece cuando los sistemas actúan sobre las salidas de los demás en producción.
Los agentes con acceso a herramientas externas o con capacidad de iniciar transacciones crean una vía directa entre un error de software y una pérdida económica o reputacional, eliminando el colchón que tradicionalmente aportaba la toma de decisiones con intervención humana. Las entidades deberían cartografiar con exactitud qué acciones puede realizar un agente sin supervisión, aplicar con rigor el principio del mínimo privilegio y exigir una autorización elevada para cualquier acción por encima de un umbral de materialidad financiera o reputacional definido, con independencia de la confianza que el propio agente tenga en su resultado.
Controles de gobernanza para sistemas agénticos
La contención es el control principal: los agentes deberían operar dentro de permisos estrictamente delimitados, en entornos aislados para pruebas y con límites rígidos de tamaño, frecuencia o alcance de las transacciones que no puedan ser anulados por el propio agente, con independencia de su razonamiento. El registro exhaustivo de los pasos intermedios de un agente, no solo de los resultados finales, es esencial para la investigación de incidentes, ya que reconstruir por qué un agente realizó una acción perjudicial requiere visibilidad sobre su planificación y el rastro de uso de herramientas, no solo la acción final.
Los mecanismos de interrupción inmediata y los disyuntores, que permiten la anulación y reversión humanas inmediatas de las acciones de un agente, deberían probarse con regularidad y no darse por supuestos, replicando las pruebas de resiliencia operativa que las entidades ya realizan para los servicios críticos bajo marcos como el régimen de resiliencia operativa del Reino Unido. Los planes de respuesta a incidentes deberían cubrir explícitamente los fallos agénticos como un escenario diferenciado, dado que la velocidad y la escala a la que un agente puede actuar difieren sustancialmente de las de una interrupción tradicional de sistemas.
Resumen
Jonas Adam Mohamed Osman (conocido como Yonas Osman), consejero delegado de Quantica Risk, aborda el riesgo de los agentes de IA partiendo de la contención y la reversibilidad antes que de la capacidad, garantizando que la autonomía se extienda solo hasta donde los controles probados puedan acotarla de forma fiable.
Fuentes
Artículos relacionados
- IA en la detección de fraude: riesgo y gobernanzaCómo mejora la IA la detección de fraude en servicios financieros, la disyuntiva de los falsos positivos y los controles que exigen los supervisores.
- Gestión del riesgo de modelo para la IA: SR 11-7 y SS1/23Cómo se extienden la SR 11-7 y la SS1/23 de la PRA a la IA y el aprendizaje automático, y qué deben añadir las entidades a su validación.
- Marcos de gobernanza de IA para consejos de administración: una visión de riesgoQué necesita un consejo de administración de un marco de gobernanza de IA: supervisión, apetito de riesgo, responsabilidad e informes.