Övningar i modellrisk: hur man utformar stresstestlabb som lär analytiker att utmana antaganden

En kreditriskmodell har uppfört sig väl i tre år. Dess backtest är rent, dess utdata ligger bekvämt inom toleransgränserna och verksamheten litar på den. I ett träningslabb ändrar en analytiker ett godkänt indataantagande, den förväntade återhämtningsgraden på en låneklass, till ett mindre bekvämt värde. Det totala utdatat rör sig knappt. Två segment rör sig mycket. Analytikern måste bestämma vad det betyder, vad han ska berätta för modellägaren och vad modellen inte ska användas till.

Detta är ett illustrativt scenario, inte ett dokumenterat kundfall. Det visar den färdighet som modellriskträningsövningar måste bygga upp: testa antaganden, förklara begränsningar och motivera ett beslut när en modell ser stabil ut. Denna guide är för chefer för riskutbildning och för de ansvariga för compliance och modellrisk som äger svaren. Den täcker endast utbildningsdesign. En utbildningsövning validerar inte en aktiv finansiell modell, och en modellriskspecialist bör granska varje fall före användning.

Vad är modellriskträningsövningar?

Modellriskträningsövningar är strukturerade övningsuppgifter där analytiker undersöker en modell, vanligtvis en förenklad eller syntetisk modell, genom att ändra antaganden och indata, och sedan tolkar vad som händer och förklarar gränserna för vad modellen kan stödja. Ett stresstestlabb är den praktiska formen av detta: en säker modell, en uppsättning godkända ändringar och ett krav på att motivera slutsatser.

Snabb fakta

1. Beskriv prestandaproblemet

Börja med beslutet. Vad måste en analytiker göra när en modell ser bra ut? Skriv det som en verbledd mening: "Ändra ett godkänt antagande, observera vad som rör sig, förklara den begränsning detta avslöjar och säg vad modellen bör och inte bör användas till."

Tillsynsmyndigheter namnger denna färdighet. Den amerikanska centralbanken Federal Reserve och Office of the Comptroller of the Currency utfärdade SR 11-7, Tillsynsvägledning om modellriskhantering, den 4 april 2011. Den beskriver modellrisk som potentialen för negativa konsekvenser av beslut baserade på felaktiga eller missbrukade modellresultat, och den kallar "effektiv utmaning" en vägledande princip: kritisk analys av objektiva, informerade parter som kan identifiera modellens begränsningar och antaganden och göra lämpliga ändringar. Det är amerikansk vägledning, inte en regel för varje jurisdiktion, så kontrollera de krav som gäller för dig. Det är en noggrann beskrivning av den prestanda som utbildningen ska bygga upp.

2. Diagnostisera inlärnings- och kontextuella luckor

Jämför vad rollen kräver med vad din nuvarande utbildning praktiserar och bedömer.

1. Vad utövar analytiker nuförtiden? Om utbildningen är en föreläsning om modellstyrning plus en checklista för dokumentation, har de lärt sig vokabulären. De har inte övat på att avsiktligt förstöra en modell.
2. Vad är det kognitiva kravet? I Blooms reviderade taxonomi är det att genomföra ett test en tillämpning, att tolka varför modellen misslyckades en analys, att bedöma om modellen är lämplig för ett visst ändamål en utvärdering och att utforma ett nytt stresstest en skapelse. Vår guide till matcha läraktiviteter med Blooms taxonomi förklarar hur man läser dessa krav.
3. Är något annat än skicklighet i vägen? Kontrollera personal, verktyg och rutiner först. Om analytikerna inte har tid att ifrågasätta, inte har tillgång till modellens antaganden eller ingen möjlighet att ställa en begränsning, kommer ett labb inte att ändra vad som händer på måndag.
4. Är utmaningen välkommen? Om man utmanar en modell innebär att man kritiserar dess ägare, kommer folk att förbli tysta. Kom överens om hur utmaningar ska tas emot innan ni tränar inför dem.

3. Utforma målinriktad förberedelse och övning

Ge varje steg sin egen uppgift.

Förberedelse: kontrollera förkunskapskraven. En kort självstudie om modellens syfte, dess huvudsakliga indata och de statistiska idéer som labbet behöver. En sådan här återkallelsekontroll bekräftar endast förutsättningarna. Rapportera den inte som förmåga.

Övning: modellera stresstestlabb. Bygg en liten, säker modell, eller använd en godkänd syntetisk modell, och ge eleverna en meny med godkända ändringar. Tre övningar i stigande ordning efter behov:

• Ändra ett antagande. Eleven flyttar en godkänd ingång och registrerar vilka utgångar som flyttas, med hur mycket och vilka som inte gör det.
• Hitta segmentet den bryter. Eleven tittar under rubriknumret och hittar var modellen är minst stabil, och anger sedan vad de inte skulle använda den till.
• Designa nästa test. Eleven föreslår ytterligare ett stresstest, säger vilket resultat som skulle ändra deras åsikt och vad det skulle kosta att köra.

Feedback kopplad till beslut. "Du rapporterade rubrikändringen och kontrollerade inte de två segment som rörde sig mest" är mer användbart än en poäng. Namnge beslutet, de bevis som använts eller missats och det godkända kriteriet.

Live input från läraren eller asynkron granskning? Live-input ger mest värde när en modellriskspecialist förklarar varför en begränsning är viktig, eller varför ett test var svagt. Asynkron granskning räcker för koncepten, för att kontrollera testresultat mot en nyckel och för skriftliga begränsningsförklaringar som en specialist kan läsa senare. En vanlig blandning är förberedelser i egen takt, en handledd labb och sedan övervakad utmaning av en verklig modell av en mer erfaren kollega.

4. Arbeta igenom ett realistiskt exempel

Illustrativt. En modellriskspecialist bör validera fallet och svarskriterierna före användning.

Fallet. En förenklad modell för kreditförluster använder en förväntad återvinningsgrad på 60 procent. Utfallstestning är ren. Den godkända stressfaktorn ändrar räntan till 40 procent för lån utan säkerhet. Uppskattningen av portföljförluster ökar med totalt 4 procent. Två segment, båda småföretag utan säkerhet, ökar med mer än 30 procent.

Uppgiften. Eleven anger vad testet visar, förklarar begränsningen och rekommenderar ett beslut.

Ett första försök. "Den totala förändringen är bara 4 procent, så modellen är robust mot detta antagande."

Feedback och försök igen. Handledaren frågar vilka segment som rörde sig mest, hur stora de är i portföljen och vad den totala siffran döljer. I det nya försöket efterfrågas tolkningen, begränsningen och rekommendationen.

Ett starkare försök. "Huvudsiffran rör sig lite eftersom de berörda segmenten utgör en liten andel av portföljen. Inom dem stiger uppskattningen med mer än 30 procent, så modellen är mycket känslig för återhämtningsantagandet för osäkrade utlåning till småföretag. Jag skulle inte förlita mig på den enda siffran på 60 procent för dessa segment. Jag skulle rekommendera återhämtningsantaganden på segmentnivå och ett dokumenterat känslighetsintervall, och jag skulle berätta för modellägaren att jag bara har testat en indata. Jag har inte testat korrelation eller datakvalitet."

Varför varje svar är försvarbart eller ofullständigt. Bedöm varje försök utifrån de godkända kriterierna, inte handledarens preferenser. Det första försöket läser aggregatet och stannar. Det starkare försöket hittar var modellen är känslig, anger en begränsning kopplad till en användning, rekommenderar en begränsad åtgärd och säger vad som återstår oprövad. Det påstår inte att modellen är fel.

5. Bedöm kapacitet och planöverföring

Bevis på förmåga är ett svar på ett nytt modellfall som eleven inte har sett. Poängsätt en kort matris från 0 till 2 per kriterium, definierat tillsammans med din specialist. Vår guide till utvärdering av omdöme och problemlösning i utbildning täcker ankare och kalibrerande bedömare.

Ankare: 0 betyder frånvarande eller utan stöd, 1 betyder delvis med relevanta utelämnanden och 2 betyder fullständig och motiverad mot överenskomna kriterier. Definiera kritiska fel separat, till exempel genom att presentera ett stresstestresultat som validering av en realtidsmodell, så att ett bra övergripande resultat inte kan dölja ett. Denna bedömningsmatris är en föreslagen utgångspunkt, inte en validerad beredskapsstandard.

Uppföljning på arbetsplatsen. Efter en lämplig period, ge ett nytt modellfall eller granska en övervakad utmaning på en verklig modell och jämför den med baslinjen på samma två mått: kvaliteten på stresstester och tolkning av fel. Definiera populationen, nämnaren och tidpunkten i förväg, och registrera vilka fall folk såg i utbildningen så att du kan skilja på återkallelse från överföring.

Vilka bevis skulle visa att träningen fungerade?

Leta efter analytiker som, baserat på en modell de inte har sett, ändrar ett antagande med flit, tittar under rubriken, anger en begränsning kopplad till en användning och säger vad de inte har testat. Lägg till vad en granskning av deras utmaningsanteckningar visar: specifika begränsningar snarare än generiska reservationer.

Var försiktig med resultat som antalet upptäckta resultat. En ny modellinventering, en regulatorisk granskning eller en förändring av vem som granskar arbetet kan påverka dem under samma period. Fler resultat kan innebära skarpare utmaningar eller en ändrad tröskel, så kontrollera innan du tillgodoräknar utbildningen.

Där interaktiv leverans hjälper

Interaktiva format hjälper, där alla bör förbinda sig till en förutsägelse innan gruppen ser resultatet. I en live-session kan en handledare beskriva en förändring, be varje analytiker att förutsäga vilka resultat som kommer att förändras och sedan avslöja resultatet, vilket visar hur mycket intuition och modell skiljer sig åt. Samma fall kan köras i egen takt som förberedelse. AhaSlides stöder interaktivt lärande och växling mellan live- och självstudier. Kontrollera alla funktioner för författande, feedback eller rapportering som du planerar att förlita dig på mot ditt eget arbetsflöde. Behandla simulatorer, virtuell verklighet, AI och systemintegrationer som externa eller obekräftade tills du har sett dem fungera. Ett labb på en säker modell är övning, inte en ersättning för validering av en livemodell.

Vad träning inte kommer att lösa

• Svag samhällsstyrning. Om ingen äger uppföljningen av en utmaning kommer resultaten att förfalla. Kom överens om ägarna först.
• Ingen tid att utmana. Personer som mäts på genomströmning kommer inte att köra extra tester.
• Slutna modeller. Om analytiker inte kan se antagandena kan de inte testa dem.
• Bevisgränser. En poäng på en uppsättning fall beskriver inte varje utmaning en analytiker kommer att ställa, och ingen träningsövning validerar en verklig finansiell modell.

Nämn dessa för sponsorerna tidigt och kom överens om vem som reparerar var och en.

Vanliga frågor och svar

Vad är modellriskträningsövningar?

Övningsuppgifter där analytiker ändrar antaganden i en säker modell, tolkar vad som rör sig och förklarar modellens begränsningar och lämpliga användningsområden.

Kan ett träningslabb validera en realtidsmodell?

Nej. Labbet lär ut en metod på en säker eller syntetisk modell. Validering av en realtidsmodell följer er egen styrning och relevant vägledning.

Behöver analytiker koda för att köra dessa labb?

Inte nödvändigtvis. En kalkylbladsmodell eller ett godkänt verktyg med en meny med stressförändringar räcker. Färdigheten som lärs ut är tolkning, inte programmering.

Hur bedömer du utmaningsförmåga rättvist?

Använd ett nytt fall, en kort matris och överenskomna ankare, och låt en modellriskspecialist kalibrera poängsättningen.

Var ska man börja

Be en modellriskspecialist om en liten, säker modell och tre godkända antagandeändringar. Utarbeta en rubrik med tre kriterier, kör övningen "ändra ett antagande" med ett team och poängsätt sedan ett nytt fall innan du lanserar det.

För att se hur ett förutsäg-sedan-avslöja-labb som detta skulle kunna köras live och återanvändas i egen takt efteråt, utforska AhaSlides.