Modelleringsoefeningen voor risicobeheer: hoe ontwerp je stresstestomgevingen die analisten leren aannames ter discussie te stellen?

Een kredietrisicomodel heeft zich drie jaar lang goed gedragen. De backtest is foutloos, de resultaten vallen ruim binnen de tolerantiegrenzen en het bedrijf heeft er vertrouwen in. In een trainingsomgeving wijzigt een analist één goedgekeurde inputaanname, het verwachte herstelpercentage van een bepaalde categorie leningen, naar een minder gunstige waarde. De belangrijkste uitkomst verandert nauwelijks. Twee segmenten veranderen echter aanzienlijk. De analist moet bepalen wat dit betekent, wat hij de eigenaar van het model moet vertellen en waarvoor het model niet meer gebruikt mag worden.

Dit is een illustratief scenario, geen gedocumenteerde klantcase. Het laat zien welke vaardigheden training in modelrisicobeheer moet ontwikkelen: het testen van aannames, het uitleggen van beperkingen en het rechtvaardigen van een beslissing wanneer een model stabiel lijkt. Deze handleiding is bedoeld voor hoofden van risicotraining en voor de compliance- en modelrisicomanagers die verantwoordelijk zijn voor de antwoorden. Het behandelt uitsluitend het ontwerp van de training. Een trainingsoefening valideert geen live financieel model en een modelrisicospecialist dient elke casus te beoordelen alvorens deze te gebruiken.

Wat zijn modelrisicotrainingsoefeningen?

Modelrisicotrainingen zijn gestructureerde oefentaken waarbij analisten een model, meestal een vereenvoudigd of synthetisch model, onderzoeken door aannames en invoerwaarden te wijzigen. Vervolgens interpreteren ze de resultaten en leggen ze de grenzen uit van wat het model kan ondersteunen. Een stresstestlab is de praktische variant hiervan: een veilig model, een reeks goedgekeurde wijzigingen en de verplichting om conclusies te onderbouwen.

Faktenüberblick

1. Beschrijf het prestatieprobleem

Begin met de beslissing. Wat moet een analist doen als een model er goed uitziet? Formuleer het in één zin met een werkwoord aan het begin: "Wijzig een goedgekeurde aanname, observeer wat er verandert, leg de beperking uit die dit aan het licht brengt en geef aan waarvoor het model wel en niet gebruikt mag worden."

Leidinggevenden geven deze vaardigheid een naam. De Amerikaanse Federal Reserve en het Office of the Comptroller of the Currency hebben een dergelijke vaardigheidsrichtlijn uitgegeven. SR 11-7, Richtlijnen voor toezicht op modelrisicobeheerOp 4 april 2011 werd een richtlijn gepubliceerd. Deze beschrijft modelrisico als de potentiële negatieve gevolgen van beslissingen die gebaseerd zijn op onjuiste of verkeerd gebruikte modeluitkomsten, en noemt "effectieve kritische analyse" een leidend principe: kritische analyse door objectieve, geïnformeerde partijen die de beperkingen en aannames van het model kunnen identificeren en passende wijzigingen kunnen aanbrengen. Dit is een richtlijn voor de VS, geen regel voor elke jurisdictie, dus controleer de vereisten die voor u gelden. Het is een goede beschrijving van de prestaties die de training zou moeten opleveren.

2. Stel de leer- en contexthiaten vast.

Vergelijk de eisen van de functie met de huidige trainingsmethoden en beoordelingscriteria.

1. Wat doen analisten tegenwoordig? Als de training bestaat uit een lezing over modelbeheer plus een checklist voor documentatie, hebben ze de terminologie geleerd. Ze hebben echter niet geoefend met het opzettelijk doorbreken van een model.
2. Wat is de cognitieve belasting? In de herziene taxonomie van Bloom is het uitvoeren van een test toepassing, het interpreteren van de reden waarom het model faalde is analyse, het beoordelen of het model geschikt is voor een bepaald gebruik is evaluatie, en het ontwerpen van een nieuwe stresstest is creatie. Onze gids voor Leeractiviteiten afstemmen op de taxonomie van Bloom legt uit hoe je deze eisen moet interpreteren.
3. Is er naast vaardigheid nog iets anders dat in de weg staat? Controleer eerst de personeelsbezetting, de tools en de procedures. Als analisten geen tijd hebben om kritische vragen te stellen, geen toegang hebben tot de aannames van het model of geen mogelijkheid hebben om een ​​beperking aan te kaarten, zal een laboratorium niets veranderen aan wat er maandag gebeurt.
4. Is uitdaging welkom? Als het uitdagen van een model betekent dat je de eigenaar ervan bekritiseert, zullen mensen zwijgen. Spreek daarom van tevoren af ​​hoe kritiek wordt ontvangen voordat je erop traint.

3. Ontwerp doelgerichte voorbereiding en oefening

Wijs elke fase een eigen taak toe.

Voorbereiding: controleer de vereisten. Een korte, zelfstandige diagnostische test over het doel van het model, de belangrijkste invoergegevens en de statistische concepten die het lab nodig heeft. Een dergelijke controle bevestigt alleen de vereisten. Rapporteer dit niet als competentie.

Praktijkvoorbeeld: stresstestlaboratoria met modellen. Bouw een klein, veilig model, of gebruik een goedgekeurd synthetisch model, en geef de leerlingen een lijst met goedgekeurde aanpassingen. Drie oefeningen in oplopende volgorde van moeilijkheidsgraad:

• Verander één aanname. De leerling verplaatst één goedgekeurde invoer en registreert welke uitvoeren veranderen, hoeveel en welke niet veranderen.
• Zoek het segment dat onderbroken wordt. De leerling kijkt onder het kopnummer en vindt de plek waar het model het minst stabiel is, en geeft vervolgens aan waarvoor hij het niet zou gebruiken.
• Ontwerp de volgende test. De cursist stelt een aanvullende stresstest voor, geeft aan welk resultaat zijn of haar mening zou veranderen en wat de kosten van de test zouden zijn.

Feedback gekoppeld aan beslissingen. "U meldde de wijziging van de kop, maar controleerde niet de twee segmenten die het meest bewogen" is nuttiger dan een score. Benoem de beslissing, het gebruikte of gemiste bewijsmateriaal en het goedgekeurde criterium.

Live begeleiding door de docent of asynchroon nakijken? Live feedback is het meest waardevol wanneer een specialist op het gebied van modelrisico's uitlegt waarom een ​​beperking van belang is, of waarom een ​​test zwak was. Asynchrone beoordeling is voldoende voor de concepten, voor het controleren van testresultaten aan de hand van een sleutel en voor schriftelijke verklaringen van beperkingen die een specialist later kan lezen. Een veelvoorkomende combinatie is zelfstudie, een begeleid lab en vervolgens een gecontroleerde toetsing van een echt model door een meer ervaren collega.

4. Werk een realistisch voorbeeld uit.

Ter illustratie. Een specialist op het gebied van modelrisico's dient de casus en de antwoordcriteria te valideren alvorens deze te gebruiken.

De zaak. Een vereenvoudigd model voor kredietverliezen gebruikt een verwachte terugvorderingsratio van 60 procent. De backtesting is positief. De goedgekeurde stresstest wijzigt de ratio naar 40 procent voor ongedekte leningen. De geschatte portefeuilleverliezen stijgen met 4 procent in totaal. Twee segmenten, beide ongedekte leningen aan kleine bedrijven, laten een stijging zien van meer dan 30 procent.

De taak. De cursist beschrijft wat de test aantoont, legt de beperkingen uit en doet een aanbeveling voor een beslissing.

Een eerste poging. "De totale verandering bedraagt ​​slechts 4 procent, dus het model is robuust ten opzichte van deze aanname."

Feedback en opnieuw proberen. De begeleider vraagt ​​welke segmenten het meest bewogen hebben, hoe groot ze zijn binnen de portefeuille en wat het totale cijfer verbergt. Bij de herhaling wordt gevraagd naar de interpretatie, de beperkingen en de aanbeveling.

Een serieuzere poging. "Het belangrijkste cijfer verandert weinig omdat de getroffen segmenten een klein deel van de portefeuille uitmaken. Binnen deze segmenten stijgt de schatting echter met meer dan 30 procent, waardoor het model zeer gevoelig is voor de aanname van het herstelpercentage voor ongedekte leningen aan kleine bedrijven. Ik zou niet vertrouwen op het enkele cijfer van 60 procent voor die segmenten. Ik zou herstelaannames op segmentniveau aanbevelen, met een gedocumenteerde gevoeligheidsmarge, en ik zou de eigenaar van het model laten weten dat ik slechts één invoerparameter heb getest. Ik heb geen correlatie of datakwaliteit getest."

Waarom elk antwoord verdedigbaar of onvolledig is. Beoordeel elk model aan de hand van de goedgekeurde criteria, niet aan de hand van de voorkeur van de begeleider. De eerste poging leest het totaalbeeld en stopt. De sterkere poging identificeert waar het model gevoelig is, benoemt een beperking die aan een specifiek gebruik is gekoppeld, adviseert een afgebakende actie en geeft aan wat nog niet is getest. Het beweert niet dat het model onjuist is.

5. Beoordeel de capaciteit en plan de overdracht.

Bewijs van bekwaamheid is een reactie op een nieuwe casus die de leerling nog niet eerder heeft gezien. Beoordeel een korte rubric van 0 tot 2 punten per criterium, in overleg met uw specialist. Onze handleiding voor het beoordelen van oordeelsvermogen en probleemoplossend vermogen tijdens de training Dit omvat onderwerpen zoals ankers en het kalibreren van beoordelaars.

Ankers: 0 betekent afwezig of niet onderbouwd, 1 betekent gedeeltelijk met relevante weglatingen, en 2 betekent volledig en gerechtvaardigd op basis van overeengekomen criteria. Definieer kritieke fouten afzonderlijk, bijvoorbeeld het presenteren van een stresstestresultaat als validatie van een werkend model, zodat een goede algemene score een kritieke fout niet kan verbergen. Deze rubric is een voorgesteld uitgangspunt, geen gevalideerde gereedheidsnorm.

Opvolging op de werkplek. Geef na een geschikte periode een nieuwe modelcasus of bespreek een begeleide oefening met een live model en vergelijk deze met de basislijn op dezelfde twee criteria: kwaliteit van de stresstests en interpretatie van de fouten. Definieer vooraf de populatie, de noemer en het tijdstip, en registreer welke casussen de deelnemers tijdens de training hebben gezien, zodat je onderscheid kunt maken tussen herinnering en overdracht.

Welk bewijs zou aantonen dat de training effectief was?

Zoek naar analisten die, op basis van een model dat ze niet hebben gezien, opzettelijk een aanname wijzigen, verder kijken dan de kop, een beperking noemen die aan een specifiek gebruik is gekoppeld en aangeven wat ze niet hebben getest. Voeg toe wat een analyse van hun toelichtingen laat zien: specifieke beperkingen in plaats van algemene waarschuwingen.

Wees voorzichtig met uitkomsten zoals het aantal bevindingen. Een nieuwe modelinventarisatie, een reguleringsonderzoek of een wijziging in wie het werk beoordeelt, kunnen binnen dezelfde periode gevolgen hebben. Meer bevindingen kunnen duiden op een scherpere toetsing of een gewijzigde drempelwaarde, dus controleer dit voordat u de training waardeert.

Waar interactieve levering helpt

Interactieve formats zijn nuttig wanneer iedereen zich vastlegt op een voorspelling voordat de groep het resultaat ziet. In een live sessie kan een facilitator een verandering beschrijven, elke analist vragen te voorspellen welke outputs zullen veranderen en vervolgens het resultaat onthullen. Dit laat zien hoe ver intuïtie en het model van elkaar afwijken. Dezelfde casussen kunnen in eigen tempo worden doorlopen ter voorbereiding. AhaSlides Ondersteunt interactief leren en de afwisseling tussen live en zelfgestuurd leren. Controleer alle functies voor het maken van content, feedback of rapportage die u wilt gebruiken aan de hand van uw eigen workflow. Beschouw simulators, virtual reality, AI en systeemintegraties als extern of onbevestigd totdat u ze in de praktijk hebt gezien. Een oefening met een veilig model is bedoeld om te oefenen, niet om de validatie in een live omgeving te vervangen.

Wat training niet zal oplossen

• Zwak bestuur. Als niemand de verantwoordelijkheid neemt voor het vervolgonderzoek naar een uitdaging, zullen de bevindingen verloren gaan. Spreek eerst af wie verantwoordelijk is.
• Geen tijd voor discussie. Mensen die worden beoordeeld op hun doorvoer zullen geen extra tests uitvoeren.
• Gesloten modellen. Als analisten de aannames niet kunnen zien, kunnen ze die ook niet toetsen.
• Beperkingen van het bewijsmateriaal. Een score op een reeks casussen beschrijft niet elke uitdaging waar een analist mee te maken krijgt, en geen enkele trainingsoefening valideert een echt financieel model.

Geef deze problemen vroegtijdig door aan de sponsors en spreek af wie voor elk probleem verantwoordelijk is.

Veelgestelde vragen

Wat zijn modelrisicotrainingsoefeningen?

Oefenopdrachten waarbij analisten aannames in een veilig model wijzigen, de veranderingen interpreteren en de beperkingen en het juiste gebruik van het model uitleggen.

Kan een trainingslab een werkend model valideren?

Nee. Het lab doceert een methode op een veilig of synthetisch model. Validatie van een levend model vindt plaats volgens uw eigen procedures en de relevante richtlijnen.

Moeten analisten kunnen programmeren om deze labs te kunnen uitvoeren?

Niet per se. Een spreadsheetmodel of een goedgekeurd hulpmiddel met een menu voor spanningsveranderingen is voldoende. De vaardigheid die wordt aangeleerd is interpretatie, niet programmeren.

Hoe beoordeel je vaardigheden op een eerlijke manier?

Gebruik een nieuwe casus, een korte beoordelingscriteria en overeengekomen referentiewaarden, en laat een specialist op het gebied van modelrisico's de score kalibreren.

Waar te beginnen

Vraag een specialist in modelrisicobeheer om één klein, veilig model en drie goedgekeurde wijzigingen in de aannames. Stel een beoordelingsschema met drie criteria op, voer de oefening "wijzig één aanname" uit met één team en beoordeel vervolgens een nieuwe casus voordat u deze implementeert.

Om te zien hoe een voorspellings- en onthullingslab zoals dit live kan worden uitgevoerd en daarna in eigen tempo kan worden hergebruikt, kunt u verder lezen. AhaSlides.