SHAP, LIME y sus limitaciones
Los valores SHAP, basados en la teoría de juegos cooperativos, atribuyen la predicción de un modelo a cada variable de entrada de una forma que satisface propiedades de consistencia atractivas para los auditores, lo que los convierte en la opción por defecto más defendible para decisiones de crédito reguladas. LIME construye un modelo sustituto local más sencillo en torno a una predicción concreta y puede calcularse más rápido, pero sus explicaciones pueden ser menos estables entre entradas similares, lo que supone un problema cuando dos clientes con perfiles casi idénticos deben recibir un razonamiento demostrablemente coherente.
Ambos métodos son aproximaciones y pueden inducir a error cuando las variables están muy correlacionadas, ya que atribuir el crédito entre variables correlacionadas resulta matemáticamente algo arbitrario, aunque sea intuitivo para un analista de crédito. Los equipos de validación deberían comprobar la estabilidad de las explicaciones ante pequeñas perturbaciones de entrada y contrastarlas con el conocimiento del negocio, señalando los casos en los que el razonamiento del modelo contradiga la intuición de riesgo de crédito establecida, para una investigación posterior antes del despliegue.
Cumplir las exigencias de notificación adversa y regulatorias
Los requisitos de notificación de decisión adversa son anteriores al aprendizaje automático, pero se le aplican plenamente: un solicitante rechazado tiene derecho a conocer los motivos principales de la decisión, y afirmaciones genéricas como «puntuación del modelo demasiado baja» no satisfacen ese umbral. Las entidades suelen vincular las variables mejor valoradas por SHAP a una biblioteca preaprobada de códigos de motivo en lenguaje llano, garantizando que los códigos reflejen factores genuinamente influyentes y no marcadores arbitrarios elegidos por conveniencia, algo que los supervisores pueden y suelen comprobar durante las inspecciones.
Más allá de las notificaciones individuales, los consejos y comités de riesgo de modelo necesitan revisiones periódicas de explicabilidad global para confirmar que el modelo no se apoya en variables sustitutas de características protegidas, una preocupación especialmente relevante cuando entran en el conjunto de variables fuentes de datos conductuales o alternativos. Documentar esta revisión junto con el seguimiento estándar del rendimiento del modelo ofrece tanto a auditoría interna como a los supervisores externos un rastro claro que demuestra que la explicabilidad se ha puesto a prueba, no solo afirmado.
La explicabilidad como requisito de diseño
La explicabilidad es ya un requisito de diseño para los modelos de crédito, no un ejercicio de justificación posterior, y las entidades que la incorporan desde la selección de variables evitan costosos rediseños cuando un modelo complejo resulta imposible de explicar satisfactoriamente a supervisores o tribunales. Las herramientas han madurado lo suficiente como para que hoy haya poca excusa para desplegar en producción un modelo de crédito inexplicable.
Resumen
Jonas Adam Mohamed Osman (conocido como Yonas Osman), consejero delegado de Quantica Risk, aborda la explicabilidad como una disciplina de validación por derecho propio, comprobando si el razonamiento declarado de un modelo resiste tanto el escrutinio estadístico como el sentido común del negocio antes de que llegue a un cliente.
Fuentes
Artículos relacionados
- Validar grandes modelos de lenguaje en servicios financierosUn enfoque práctico de validación de grandes modelos de lenguaje en banca y seguros: riesgo de alucinaciones, pruebas y seguimiento continuo.
- Sesgo y equidad de la IA en la suscripción de segurosCómo entra el sesgo en los modelos de suscripción con IA a través de variables proxy y datos, y los marcos de prueba que usan las aseguradoras.
- Gestión del riesgo de modelo para la IA: SR 11-7 y SS1/23Cómo se extienden la SR 11-7 y la SS1/23 de la PRA a la IA y el aprendizaje automático, y qué deben añadir las entidades a su validación.