Ejercicios de capacitación sobre riesgos de modelos: cómo diseñar laboratorios de pruebas de estrés que enseñen a los analistas a cuestionar las suposiciones.

Un modelo de riesgo crediticio ha funcionado correctamente durante tres años. Su prueba retrospectiva es impecable, sus resultados se encuentran dentro de los límites de tolerancia y la empresa confía en él. En un laboratorio de capacitación, un analista modifica una suposición de entrada aprobada, la tasa de recuperación esperada para una clase de préstamos, a un valor menos favorable. El resultado principal apenas varía. Dos segmentos, en cambio, experimentan grandes variaciones. El analista debe decidir qué significa esto, qué comunicar al responsable del modelo y para qué no debería utilizarse.

Este es un escenario ilustrativo, no un caso real de un cliente. Muestra la habilidad que deben desarrollar los ejercicios de capacitación en riesgo de modelos: probar supuestos, explicar limitaciones y justificar una decisión cuando un modelo parece estable. Esta guía está dirigida a los responsables de capacitación en riesgo y a los líderes de cumplimiento y riesgo de modelos que son quienes deben responder las preguntas. Cubre únicamente el diseño de la capacitación. Un ejercicio de capacitación no valida un modelo financiero real, y un especialista en riesgo de modelos debe revisar cada caso antes de su uso.

¿Qué son los ejercicios de entrenamiento de riesgo de modelos?

Los ejercicios de capacitación sobre riesgos de modelos son tareas prácticas estructuradas en las que los analistas ponen a prueba un modelo, generalmente simplificado o sintético, modificando supuestos y datos de entrada. Posteriormente, interpretan los resultados y explican las limitaciones del modelo. Un laboratorio de pruebas de estrés es la versión práctica de este ejercicio: un modelo seguro, un conjunto de cambios aprobados y la necesidad de justificar las conclusiones.

Datos Rápidos

1. Describa el problema de rendimiento.

Comencemos con la decisión. ¿Qué debe hacer un analista cuando un modelo parece correcto? Redáctelo en una sola oración con un verbo en mente: "Cambiar una suposición aprobada, observar los cambios, explicar la limitación que esto revela e indicar para qué se debe y no se debe usar el modelo".

Los supervisores nombran esta habilidad. La Reserva Federal de los Estados Unidos y la Oficina del Contralor de la Moneda emitieron SR 11-7, Guía de supervisión sobre la gestión del riesgo de los modelosEl 4 de abril de 2011, se describió el riesgo del modelo como el potencial de consecuencias adversas derivadas de decisiones basadas en resultados incorrectos o mal utilizados del modelo, y se estableció como principio rector el "análisis crítico efectivo": un análisis crítico realizado por partes objetivas e informadas que puedan identificar las limitaciones y suposiciones del modelo y proponer los cambios pertinentes. Esta es una guía estadounidense, no una norma aplicable a todas las jurisdicciones, por lo que conviene consultar los requisitos que le correspondan. Se trata de una descripción bastante precisa del desempeño que se debe fomentar con la capacitación.

2. Diagnosticar las deficiencias de aprendizaje y contexto.

Compara las exigencias del puesto con las prácticas y evaluaciones de tu formación actual.

1. ¿Qué prácticas desempeñan actualmente los analistas? Si la capacitación consiste en una conferencia sobre gobernanza de modelos más una lista de verificación de documentación, han aprendido el vocabulario. No han practicado rompiendo un modelo a propósito.
2. ¿Cuál es la demanda cognitiva? En la taxonomía revisada de Bloom, realizar una prueba es aplicación, interpretar por qué falló el modelo es análisis, juzgar si el modelo es apto para un uso es evaluación y diseñar una nueva prueba de estrés es creación. Nuestra guía para relacionar las actividades de aprendizaje con la taxonomía de Bloom. Explica cómo interpretar estas demandas.
3. ¿Hay algo más que habilidad que lo impida? Primero, verifique la dotación de personal, las herramientas y los procedimientos. Si los analistas no tienen tiempo para cuestionar, no tienen acceso a los supuestos del modelo ni una vía para señalar una limitación, un laboratorio no cambiará lo que suceda el lunes.
4. ¿Se aceptan los retos? Si cuestionar un modelo implica criticar a su creador, la gente guardará silencio. Acuerden cómo se recibirá el cuestionamiento antes de prepararse para ello.

3. Diseñar una preparación y práctica con un propósito definido.

Asigna a cada etapa su propia función.

Preparación: compruebe los requisitos previos. Un breve diagnóstico autodirigido sobre el propósito del modelo, sus principales entradas y los conceptos estadísticos que necesita el laboratorio. Esta comprobación de conocimientos solo confirma los requisitos previos. No lo reporte como una capacidad demostrada.

Práctica: simular laboratorios de pruebas de estrés. Construya un modelo pequeño y seguro, o utilice uno sintético aprobado, y proporcione a los alumnos un menú de modificaciones aprobadas. Tres ejercicios en orden creciente de dificultad:

• Cambia una suposición. El alumno mueve una entrada aprobada y registra qué salidas se mueven, en qué medida y cuáles no.
• Encuentra el segmento que se interrumpe. El alumno mira debajo del número principal y encuentra dónde el modelo es menos estable, y luego indica para qué no lo usaría.
• Diseña la siguiente prueba. El alumno propone una prueba de estrés adicional, indica qué resultado cambiaría su opinión y cuánto costaría llevarla a cabo.

Retroalimentación vinculada a las decisiones. «Informaste sobre el cambio de titular y no verificaste los dos segmentos que más se movieron» es más útil que una puntuación. Indica la decisión, la evidencia utilizada o no utilizada y el criterio aprobado.

¿Intervención del instructor en directo o revisión asíncrona? La retroalimentación en tiempo real aporta mayor valor cuando un especialista en riesgo de modelos explica por qué una limitación es importante o por qué una prueba fue deficiente. La revisión asíncrona es suficiente para comprender los conceptos, verificar los resultados de las pruebas con una clave y obtener declaraciones escritas sobre las limitaciones que un especialista pueda consultar posteriormente. Una combinación común consiste en preparación a ritmo propio, un laboratorio guiado y, finalmente, la evaluación supervisada de un modelo real por parte de un colega con más experiencia.

4. Analice un ejemplo realista.

A modo de ejemplo, un especialista en riesgos del modelo debe validar el caso y los criterios de respuesta antes de su uso.

El caso. Un modelo simplificado de pérdidas crediticias utiliza una tasa de recuperación esperada del 60 por ciento. Las pruebas retrospectivas son satisfactorias. El escenario de estrés aprobado modifica la tasa al 40 por ciento para los préstamos sin garantía. La estimación de pérdidas de la cartera aumenta un 4 por ciento en general. Dos segmentos, ambos de préstamos sin garantía para pequeñas empresas, experimentan un aumento superior al 30 por ciento.

La tarea. El alumno expone lo que muestra la prueba, explica la limitación y recomienda una decisión.

Un primer intento. "El cambio global es de tan solo un 4 por ciento, por lo que el modelo es sólido ante esta suposición."

Comentarios y reintento. El facilitador pregunta qué segmentos se movieron más, qué tamaño representan en la cartera y qué oculta la cifra global. El segundo intento solicita la interpretación, la limitación y la recomendación.

Un intento más enérgico. La cifra principal apenas varía porque los segmentos afectados representan una pequeña parte de la cartera. Dentro de ellos, la estimación aumenta en más del 30 %, por lo que el modelo es muy sensible al supuesto de recuperación para los préstamos sin garantía a pequeñas empresas. No me fiaría de la cifra única del 60 % para esos segmentos. Recomendaría supuestos de recuperación a nivel de segmento y un rango de sensibilidad documentado, e informaría al responsable del modelo que solo he probado una entrada. No he probado la correlación ni la calidad de los datos.

Explicar por qué cada respuesta es defendible o incompleta. Evalúe cada caso según los criterios aprobados, no según la preferencia del facilitador. El primer intento analiza el conjunto y se detiene. El intento más riguroso identifica los puntos débiles del modelo, señala una limitación asociada a un uso, recomienda una acción específica e indica qué aspectos aún no se han probado. No afirma que el modelo sea erróneo.

5. Evaluar la capacidad y planificar la transferencia

La evidencia de capacidad es una respuesta a un nuevo caso modelo que el alumno no ha visto. Califique una rúbrica breve de 0 a 2 por criterio, definido con su especialista. Nuestra guía para evaluar el juicio y la resolución de problemas en la formación Cubre los puntos de anclaje y la calibración de los evaluadores.

Anclajes: 0 significa ausente o sin respaldo, 1 significa parcial con omisiones relevantes y 2 significa completo y justificado según los criterios acordados. Defina los errores críticos por separado; por ejemplo, presentar el resultado de una prueba de estrés como validación de un modelo en funcionamiento, de modo que una buena puntuación general no pueda ocultar uno. Esta rúbrica es un punto de partida propuesto, no un estándar de preparación validado.

Seguimiento en el lugar de trabajo. Tras un periodo adecuado, asigne un nuevo caso modelo o revise un desafío supervisado en un modelo real y compárelo con la línea base en las mismas dos medidas: calidad de las pruebas de estrés e interpretación de fallos. Defina la población, el denominador y el momento de antemano, y registre qué casos vieron los participantes durante la capacitación para poder distinguir entre recuerdo y transferencia.

¿Qué pruebas demostrarían que la formación ha funcionado?

Busque analistas que, basándose en un modelo que no han visto, modifiquen deliberadamente una suposición, analicen la información que se encuentra debajo del titular, indiquen una limitación relacionada con un uso y mencionen lo que no han probado. Añada lo que revela una revisión de sus notas de desafío: limitaciones específicas en lugar de advertencias genéricas.

Tenga cuidado con los resultados, como el número de observaciones. Un nuevo inventario de modelos, una auditoría regulatoria o un cambio en la persona que revisa el trabajo podrían modificarlos en el mismo período. Un mayor número de observaciones podría implicar una revisión más rigurosa o un cambio en el umbral, así que verifique antes de acreditar la capacitación.

Donde la entrega interactiva ayuda

Los formatos interactivos son útiles cuando todos deben comprometerse con una predicción antes de que el grupo vea el resultado. En una sesión en vivo, un facilitador puede describir un cambio, pedir a cada analista que prediga qué resultados se modificarán y luego revelar el resultado, lo que evidencia la gran diferencia entre la intuición y el modelo. Los mismos casos pueden practicarse a ritmo individual como preparación. AhaSlides Admite el aprendizaje interactivo y la alternancia entre la impartición en directo y a ritmo propio. Comprueba cualquier función de autoría, retroalimentación o informes que planees utilizar, comparándola con tu propio flujo de trabajo. Considera los simuladores, la realidad virtual, la IA y las integraciones de sistemas como herramientas externas o no confirmadas hasta que hayas comprobado su funcionamiento. Un laboratorio con un modelo seguro es una práctica, no un sustituto de la validación en un entorno real.

Lo que la capacitación no solucionará

• Gobernanza débil. Si nadie se responsabiliza del seguimiento de un desafío, los resultados caducarán. Primero, hay que acordar a los responsables.
• No hay tiempo para impugnar. Las personas a las que se les evalúa en función de su rendimiento no realizarán pruebas adicionales.
• Modelos cerrados. Si los analistas no pueden ver los supuestos, no pueden comprobarlos.
• Límites de la evidencia. Una puntuación obtenida en un conjunto de casos no describe todos los desafíos a los que se enfrentará un analista, y ningún ejercicio de capacitación valida un modelo financiero real.

Comuniquen estos problemas a los patrocinadores con anticipación y acuerden quién se encarga de solucionarlos.

Preguntas frecuentes

¿Qué son los ejercicios de entrenamiento de riesgo de modelos?

Ejercicios prácticos en los que los analistas modifican supuestos en un modelo seguro, interpretan los cambios y explican las limitaciones y los usos apropiados del modelo.

¿Puede un laboratorio de entrenamiento validar un modelo en vivo?

No. El laboratorio enseña un método en un modelo seguro o sintético. La validación en un modelo real se rige por sus propias normas y las directrices pertinentes.

¿Los analistas necesitan saber programar para ejecutar estos laboratorios?

No necesariamente. Un modelo de hoja de cálculo o una herramienta aprobada con un menú de cambios de tensión es suficiente. La habilidad que se enseña es la interpretación, no la programación.

¿Cómo se evalúan las habilidades para superar desafíos de manera justa?

Utilice un caso nuevo, una rúbrica breve y criterios de evaluación acordados, y pida a un especialista en riesgos del modelo que calibre la puntuación.

Por dónde empezar

Solicite a un especialista en riesgos de modelos un modelo pequeño y seguro, junto con tres cambios de supuestos aprobados. Elabore la rúbrica de tres criterios, realice el ejercicio de "cambiar un supuesto" con un equipo y, a continuación, evalúe un nuevo caso antes de implementarlo.

Para ver cómo un laboratorio de predicción y revelación como este podría ejecutarse en vivo y reutilizarse a su propio ritmo posteriormente, explore AhaSlides.