Pruebas de alucinación y exactitud factual
Las pruebas de alucinación requieren conjuntos de datos de referencia curados que reflejen el dominio real de la entidad, como clausulados de pólizas, textos regulatorios o documentación de producto, con puntuaciones de exactitud evaluadas por personas y no por benchmarks públicos genéricos que reflejan mal el contenido financiero especializado. La generación aumentada por recuperación reduce, pero no elimina, el riesgo de alucinación, de modo que la validación debe comprobar tanto la precisión del componente de recuperación como la fidelidad del componente de generación al contenido recuperado, ya que pueden surgir errores en cualquiera de las dos fases.
Los ejercicios de equipo rojo, en los que los evaluadores sondean deliberadamente casos límite, consultas ambiguas e instrucciones adversarias, sacan a la luz modos de fallo que las pruebas de exactitud estándar pasan por alto, incluida la inyección de instrucciones y la divulgación indebida de información sensible. Los resultados deben alimentar un registro de riesgos documentado con calificaciones de severidad, y cualquier despliegue de cara al cliente debería contar con un punto de control humano para resultados por encima de un umbral de materialidad o complejidad definido, en coherencia con los controles de riesgo de conducta ya existentes.
Seguimiento y gobernanza continuos
A diferencia de los modelos estadísticos estáticos, los LLM se actualizan con frecuencia por parte de los proveedores mediante cambios silenciosos de versión, lo que hace insuficiente una validación puntual. Las entidades necesitan visibilidad contractual sobre el ritmo de actualización del proveedor y un desencadenante de revalidación cada vez que la versión subyacente del modelo cambie de forma significativa, junto con un muestreo continuo de los resultados en producción frente a métricas de calidad y sesgo definidas en la aprobación. El registro de actividad debe ser lo bastante detallado para reconstruir lo que el modelo recibió y produjo ante cualquier resultado objeto de revisión.
La gobernanza debería asignar una responsabilidad clara para los casos de uso de LLM dentro de la estructura existente del comité de riesgo de modelo, con vías de escalado para el deterioro del rendimiento o la aparición de patrones de sesgo. Las entidades que construyen aplicaciones internas de LLM sobre modelos fundacionales de terceros asumen una doble responsabilidad: validar el comportamiento general del modelo fundacional y validar la capa de ajuste fino, instrucciones o recuperación añadida encima, ya que cada una introduce modos de fallo distintos que requieren pruebas independientes.
Encaje con el marco de riesgo de modelo existente
Los supervisores han señalado que las expectativas existentes de gestión del riesgo de modelo, como la SR 11-7 en Estados Unidos o la SS1/23 de la PRA en el Reino Unido, se extienden a la IA generativa, lo que implica que las entidades no pueden tratar los despliegues de LLM como experimentación exenta. Un programa de validación defendible documenta el uso previsto, lo pone a prueba frente a escenarios representativos de ese uso y fija umbrales de seguimiento para la deriva en la calidad de los resultados, la exactitud factual y el sesgo antes de que un modelo llegue a producción en cualquier función de cara al cliente o de apoyo a la decisión.
Resumen
Jonas Adam Mohamed Osman (conocido como Yonas Osman), consejero delegado de Quantica Risk, aborda la validación de LLM tomando como anclas la delimitación del uso previsto y la revisión independiente, garantizando que los despliegues de IA generativa cumplan el mismo rigor exigido a cualquier otro modelo que entra en el inventario de una entidad regulada.
Fuentes
Artículos relacionados
- IA explicable (XAI) en modelos de riesgo de créditoPor qué importa la explicabilidad en las decisiones de crédito con IA, cómo funcionan SHAP y LIME y cómo cumplen los requisitos de notificación adversa.
- Gestión del riesgo de modelo para la IA: SR 11-7 y SS1/23Cómo se extienden la SR 11-7 y la SS1/23 de la PRA a la IA y el aprendizaje automático, y qué deben añadir las entidades a su validación.
- IA generativa en los informes de riesgo: beneficios y límitesCómo puede la IA generativa acelerar los informes de riesgo y la redacción narrativa, y los controles de gobernanza frente al riesgo de exactitud.