Un modèle de risque de crédit a bien fonctionné pendant trois ans. Son backtest est concluant, ses résultats se situent largement dans les limites de tolérance et l'entreprise lui fait confiance. Dans un environnement de formation, un analyste modifie une hypothèse d'entrée approuvée, le taux de recouvrement attendu d'une catégorie de prêts, en lui attribuant une valeur moins rassurante. Le résultat principal reste quasiment inchangé. Deux segments, en revanche, fluctuent considérablement. L'analyste doit alors interpréter ces variations, déterminer les informations à communiquer au responsable du modèle et identifier les cas où ce dernier ne devrait pas être utilisé.
Il s'agit d'un scénario illustratif, et non d'un cas client documenté. Il met en lumière les compétences que les exercices de formation à la gestion des risques liés aux modèles doivent développer : tester les hypothèses, expliquer les limites et justifier une décision lorsqu'un modèle semble stable. Ce guide s'adresse aux responsables de la formation à la gestion des risques ainsi qu'aux responsables de la conformité et de la gestion des risques liés aux modèles qui sont chargés de répondre aux questions. Il traite uniquement de la conception des formations. Un exercice de formation ne valide pas un modèle financier en production, et un spécialiste de la gestion des risques liés aux modèles doit examiner chaque cas avant son utilisation.
Que sont les exercices de formation à la gestion des risques liés aux modèles ?
Les exercices de formation à l'évaluation des risques liés aux modèles sont des tâches pratiques structurées au cours desquelles les analystes testent un modèle, généralement simplifié ou synthétique, en modifiant les hypothèses et les données d'entrée, puis interprètent les résultats et expliquent les limites du modèle. Un laboratoire de tests de résistance constitue la forme pratique de cet exercice : un modèle sûr, un ensemble de modifications approuvées et l'obligation de justifier les conclusions.
Faits rapides
| Questionne toi | Réponse courte |
|---|---|
| Quelle est la tâche ? | Tester les hypothèses et expliquer les limites d'un modèle. |
| Quel est votre score ? | La qualité des tests de résistance et l'interprétation des défaillances. |
| Le laboratoire valide-t-il un modèle en conditions réelles ? | Non. Elle enseigne une méthode sur un modèle sûr ou synthétique. |
| Qui approuve le dossier ? | Un spécialiste des risques liés aux modèles, pas le formateur. |
| En direct ou à votre propre rythme ? | Apprentissage à son propre rythme pour les concepts et les outils, en direct ou avec un facilitateur pour l'interprétation. |
| Qu'est-ce que la formation ne peut pas résoudre ? | Gouvernance défaillante, absence de temps pour contester et propriété floue. |
| Comment savez-vous que cela a fonctionné ? | Un nouveau cas modèle ou une revue supervisée après une interruption, évaluée selon la grille d'évaluation. |
1. Décrivez le problème de performance
Commencez par la décision. Que doit faire un analyste lorsqu'un modèle semble correct ? Rédigez-le en une seule phrase commençant par un verbe : « Modifier une hypothèse approuvée, observer les changements, expliquer la limite que cela révèle et indiquer à quoi le modèle peut et ne peut pas servir. »
Les superviseurs désignent cette compétence. La Réserve fédérale américaine et le Bureau du contrôleur de la monnaie ont publié SR 11-7, Orientations de surveillance sur la gestion des risques liés aux modèlesLe 4 avril 2011, ce document définit le risque lié aux modèles comme le risque de conséquences néfastes découlant de décisions fondées sur des résultats de modèles incorrects ou mal utilisés. Il qualifie de principe directeur le « contrôle efficace » : une analyse critique menée par des parties objectives et informées, capables d’identifier les limites et les hypothèses du modèle et d’y apporter les modifications appropriées. Il s’agit d’une recommandation américaine, et non d’une règle applicable à toutes les juridictions ; il convient donc de vérifier les exigences qui vous concernent. Ce document décrit fidèlement les compétences que la formation devrait développer.
2. Diagnostiquer les lacunes en matière d'apprentissage et de contexte
Comparez les exigences du poste avec les pratiques et évaluations de votre formation actuelle.
- Quelles sont les pratiques actuelles des analystes ? Si la formation se résume à un cours magistral sur la gouvernance des modèles et à une liste de contrôle de la documentation, les participants auront appris le vocabulaire. Ils n'auront pas appris à contourner volontairement un modèle.
- Quelle est la demande cognitive ? Dans la taxonomie révisée de Bloom, l'exécution d'un test correspond à l'application, l'interprétation des raisons de l'échec du modèle à l'analyse, l'évaluation de l'adéquation du modèle à un usage donné à l'application à l'utilisation prévue à l'aide de l'analyse, et la conception d'un nouveau test de résistance à l'aide de l'analyse de la résistance à l'utilisation prévue ... faire correspondre les activités d'apprentissage à la taxonomie de Bloom explique comment interpréter ces demandes.
- Y a-t-il autre chose que le talent qui fait obstacle ? Vérifiez d'abord les effectifs, les outils et les procédures. Si les analystes n'ont ni le temps de contester, ni accès aux hypothèses du modèle, ni aucun moyen de signaler une limitation, le laboratoire ne pourra rien changer aux résultats de lundi.
- Les défis sont-ils les bienvenus ? Si contester un modèle revient à critiquer son propriétaire, les gens resteront silencieux. Définissez clairement la manière dont la contestation sera perçue avant de vous y préparer.
3. Concevoir une préparation et une pratique ciblées
Attribuez à chaque étape sa propre fonction.
Préparation : vérifiez les prérequis. Un bref diagnostic à réaliser à votre rythme sur l'objectif du modèle, ses principales données d'entrée et les concepts statistiques nécessaires au laboratoire. Ce type de vérification confirme uniquement les prérequis. Ne le considérez pas comme une évaluation des capacités.
Exercice : simulation de laboratoires de tests de résistance. Construisez un petit modèle sécurisé, ou utilisez un modèle synthétique homologué, et proposez aux apprenants une liste de modifications autorisées. Trois exercices par ordre de difficulté croissante :
- Changer une hypothèse. L'apprenant déplace une entrée approuvée et enregistre quelles sorties se déplacent, de combien et lesquelles ne se déplacent pas.
- Trouvez le segment qu'il interrompt. L'apprenant regarde sous le chiffre principal et repère les points faibles du modèle, puis indique à quoi il ne l'utiliserait pas.
- Concevez le prochain test. L'apprenant propose un test de résistance supplémentaire, indique quel résultat modifierait son point de vue et quel en serait le coût.
Retour d'information lié aux décisions. « Vous avez signalé le changement de titre sans vérifier les deux segments ayant connu la plus forte variation » est plus utile qu'une note. Indiquez la décision prise, les éléments de preuve utilisés ou non, et le critère retenu.
Intervention en direct de l'instructeur ou révision asynchrone ? L'intervention en direct est particulièrement précieuse lorsqu'un spécialiste des risques liés aux modèles explique l'importance d'une limitation ou les faiblesses d'un test. La révision asynchrone suffit pour assimiler les concepts, vérifier les résultats des tests par rapport à une clé de référence et consulter ultérieurement les énoncés de limitations écrits. Une approche courante consiste en une préparation à son propre rythme, un atelier pratique animé, puis une mise à l'épreuve supervisée d'un modèle réel par un collègue plus expérimenté.
4. Travaillez sur un exemple réaliste
À titre d'exemple, un spécialiste des risques liés aux modèles devrait valider le cas et les critères de réponse avant toute utilisation.
L'affaire. Un modèle simplifié de pertes sur prêts utilise un taux de recouvrement attendu de 60 %. Les tests rétrospectifs sont concluants. Le scénario de crise approuvé ramène ce taux à 40 % pour les prêts non garantis. L'estimation des pertes du portefeuille augmente globalement de 4 %. Deux segments, tous deux dédiés aux prêts non garantis aux petites entreprises, enregistrent une hausse de plus de 30 %.
La tâche. L'apprenant expose les résultats du test, explique ses limites et recommande une décision.
Une première tentative. « La variation globale n'est que de 4 %, le modèle est donc robuste face à cette hypothèse. »
Commentaires et nouvelle tentative. L'animateur demande quels segments ont le plus fluctué, leur importance dans le portefeuille et ce que le chiffre global dissimule. Le participant demande ensuite l'interprétation, les limites et la recommandation.
Une tentative plus convaincante. « Le chiffre principal varie peu car les segments concernés ne représentent qu'une faible part du portefeuille. Au sein de ces segments, l'estimation augmente de plus de 30 %, ce qui rend le modèle très sensible à l'hypothèse de recouvrement des prêts non garantis aux petites entreprises. Je ne me fierais pas au chiffre unique de 60 % pour ces segments. Je recommanderais des hypothèses de recouvrement par segment et une fourchette de sensibilité documentée, et j'informerais le responsable du modèle que je n'ai testé qu'une seule donnée d'entrée. Je n'ai pas testé la corrélation ni la qualité des données. »
Pourquoi chaque réponse est défendable ou incomplète. Évaluez chaque élément selon les critères approuvés, et non selon les préférences de l'animateur. La première analyse se limite à l'ensemble des données. La seconde identifie les points faibles du modèle, précise les limitations liées à son utilisation, recommande une action ciblée et indique les éléments qui restent à tester. Elle ne remet pas en cause la validité du modèle.
5. Évaluer les capacités et planifier le transfert
La preuve de compétence réside dans la réponse à un cas modèle inédit pour l'apprenant. Évaluez chaque critère à l'aide d'une grille d'évaluation concise, de 0 à 2, définie avec votre spécialiste. Consultez notre guide. évaluer le jugement et la résolution de problèmes en formation couvre les ancrages et les évaluateurs d'étalonnage.
| Critère | Preuves observables |
|---|---|
| Exécution des tâches | Effectue des tests de résistance approuvés et consigne les actions entreprises ainsi que les preuves les justifiant. |
| Raisonnement | Explique ce qui a échoué, la limite que cela met en évidence et ce qui n'a pas été testé, y compris l'interprétation de l'échec. |
| Frontières | Utilise les procédures approuvées et demande de l'aide lorsque des informations ou une autorité font défaut. |
Ancrages : 0 signifie absent ou non étayé, 1 signifie partiel avec des omissions pertinentes, et 2 signifie complet et justifié selon des critères convenus. Définissez les erreurs critiques séparément, par exemple en présentant le résultat d’un test de charge comme validation d’un modèle en production, afin qu’une bonne note globale ne puisse pas masquer une erreur. Cette grille d’évaluation est un point de départ proposé, et non une norme de préparation validée.
Suivi en milieu de travail. Après une période appropriée, présentez un nouveau cas modèle ou révisez un exercice supervisé sur un modèle réel et comparez-le à la situation de référence selon les deux mêmes critères : la qualité des tests de contrainte et l’interprétation des défaillances. Définissez à l’avance la population, le dénominateur et le calendrier, et notez les cas vus par les participants pendant la formation afin de distinguer la mémorisation du transfert.
Quelles preuves démontreraient l'efficacité de la formation ?
Recherchez les analystes qui, sur un modèle qu'ils n'ont pas examiné, modifient volontairement une hypothèse, analysent en profondeur les informations sous-jacentes, signalent une limitation liée à une utilisation et précisent ce qu'ils n'ont pas testé. Ajoutez ce que révèle l'examen de leurs notes de synthèse : des limitations spécifiques plutôt que des mises en garde génériques.
Soyez prudent avec des résultats tels que le nombre de constats relevés. Un nouvel inventaire de modèles, un examen réglementaire ou un changement de responsable de l'évaluation pourraient avoir une incidence sur ces résultats au cours de la même période. Un plus grand nombre de constats pourrait indiquer un contrôle plus rigoureux ou un seuil modifié ; il est donc conseillé de vérifier avant de valider la formation.
Là où la livraison interactive est utile
Les formats interactifs sont utiles car ils incitent chaque participant à formuler une prédiction avant que le groupe ne découvre le résultat. Lors d'une session en direct, un animateur peut décrire un changement, demander à chaque analyste de prédire quelles données évolueront, puis révéler le résultat, ce qui met en évidence l'écart entre l'intuition et le modèle. Ces mêmes cas peuvent être traités individuellement à titre d'entraînement. AhaSlides Il favorise l'apprentissage interactif et l'alternance entre les sessions en direct et les formations à votre rythme. Vérifiez que les fonctions de création, de retour d'information ou de reporting que vous prévoyez d'utiliser correspondent bien à votre flux de travail. Considérez les simulateurs, la réalité virtuelle, l'IA et les intégrations système comme externes ou non validées tant que vous n'avez pas constaté leur fonctionnement. Un essai en laboratoire sur un modèle sécurisé est un exercice pratique, mais ne remplace pas la validation sur un modèle réel.
Ce que la formation ne résoudra pas
- Faible gouvernance. Si personne n'est responsable du suivi d'un défi, les résultats seront caducs. Il faut d'abord désigner les responsables.
- Pas le temps de contester. Les personnes dont le rendement est évalué ne réaliseront pas de tests supplémentaires.
- Modèles fermés. Si les analystes ne peuvent pas voir les hypothèses, ils ne peuvent pas les tester.
- Limites des preuves. L'attribution d'un score sur une série d'études de cas ne décrit pas tous les défis auxquels un analyste sera confronté, et aucun exercice de formation ne valide un modèle financier réel.
Communiquez-les rapidement aux sponsors et convenez qui s'occupera de chaque problème.
Foire aux questions
Que sont les exercices de formation à la gestion des risques liés aux modèles ?
Exercices pratiques où les analystes modifient les hypothèses d'un modèle sûr, interprètent les changements observés et expliquent les limites et les utilisations appropriées du modèle.
Un laboratoire de formation peut-il valider un modèle en production ?
Non. Le laboratoire enseigne une méthode sur un modèle sûr ou synthétique. La validation d'un modèle réel est soumise à votre propre gouvernance et aux directives pertinentes.
Les analystes ont-ils besoin de savoir programmer pour faire fonctionner ces laboratoires ?
Pas nécessairement. Un tableur ou un outil approuvé proposant différents réglages de stress suffit. L'objectif de l'apprentissage est l'interprétation, et non la programmation.
Comment évaluer équitablement les compétences en situation de défi ?
Utilisez un nouveau cas, une grille d'évaluation concise et des points de repère convenus, et faites calibrer la notation par un spécialiste de la gestion des risques.
Par où commencer
Demandez à un spécialiste des risques liés aux modèles de vous fournir un modèle simple et sûr, ainsi que trois modifications d'hypothèses approuvées. Élaborez la grille d'évaluation à trois critères, réalisez l'exercice « modification d'une hypothèse » avec une équipe, puis évaluez un nouveau cas avant de le déployer.
Pour découvrir comment un laboratoire de prédiction puis de révélation comme celui-ci pourrait fonctionner en direct et être réutilisé à son propre rythme par la suite, explorez AhaSlides.
