Træningsøvelser i modelrisiko: Sådan designer du stresstestlaboratorier, der lærer analytikere at udfordre antagelser

En kreditrisikomodel har opført sig godt i tre år. Dens backtest er ren, dens output ligger komfortabelt inden for tolerancen, og virksomheden har tillid til den. I et træningslaboratorium ændrer en analytiker én godkendt inputantagelse, den forventede inddrivelsesrate på en låneklasse, til en mindre komfortabel værdi. Det overordnede output bevæger sig næsten ikke. To segmenter bevæger sig meget. Analytikeren skal beslutte, hvad det betyder, hvad han skal fortælle modelejeren, og hvad modellen ikke skal bruges til.

Dette er et illustrativt scenarie, ikke en dokumenteret kundecase. Det viser den færdighed, som modelrisikotræningsøvelser skal opbygge: test af antagelser, forklaring af begrænsninger og begrundelse af en beslutning, når en model ser stabil ud. Denne vejledning er til ledere af risikotræning og til de compliance- og modelrisikoledere, der ejer svarene. Den dækker kun træningsdesign. En træningsøvelse validerer ikke en aktiv finansiel model, og en modelrisikospecialist bør gennemgå hver case før brug.

Hvad er træningsøvelser i modelrisiko?

Modelrisikotræningsøvelser er strukturerede øvelsesopgaver, hvor analytikere undersøger en model, normalt en forenklet eller syntetisk model, ved at ændre antagelser og input, og derefter fortolker, hvad der sker, og forklarer grænserne for, hvad modellen kan understøtte. Et stresstestlaboratorium er den praktiske form for dette: en sikker model, et sæt godkendte ændringer og et krav om at begrunde konklusioner.

hurtige fakta

1. Beskriv ydeevneproblemet

Start med beslutningen. Hvad skal en analytiker gøre, når en model ser fin ud? Skriv det som én sætning med et verbum: "Ændr en godkendt antagelse, observer hvad der bevæger sig, forklar den begrænsning, dette afslører, og angiv, hvad modellen bør og ikke bør bruges til."

Tilsynsførende navngiver denne færdighed. Den amerikanske centralbank Federal Reserve og Office of the Comptroller of the Currency udstedte SR 11-7, Tilsynsvejledning om modelrisikostyring, den 4. april 2011. Den beskriver modelrisiko som potentialet for negative konsekvenser af beslutninger baseret på ukorrekte eller misbrugte modeloutput, og den kalder "effektiv udfordring" et vejledende princip: kritisk analyse foretaget af objektive, informerede parter, der kan identificere modellens begrænsninger og antagelser og foretage passende ændringer. Det er amerikansk vejledning, ikke en regel for alle jurisdiktioner, så tjek de krav, der gælder for dig. Det er en præcis beskrivelse af den præstation, som træningen skal opbygge.

2. Diagnosticer lærings- og kontekstmanglerne

Sammenlign, hvad rollen kræver, med hvad din nuværende træning praktiserer og vurderer.

1. Hvad praktiserer analytikere nu? Hvis træningen er en forelæsning om modelstyring plus en dokumentationstjekliste, har de lært ordforrådet. De har ikke øvet sig i at ødelægge en model med vilje.
2. Hvad er den kognitive efterspørgsel? I Blooms reviderede taksonomi er det at køre en test en anvendelse, at fortolke hvorfor modellen fejlede en analyse, at vurdere om modellen er egnet til et bestemt formål en evaluering, og at designe en ny stresstest en oprettelse. Vores guide til Matching af læringsaktiviteter med Blooms taksonomi forklarer, hvordan man læser disse krav.
3. Er der noget andet end færdigheder i vejen? Tjek først personale, værktøjer og procedurer. Hvis analytikerne ikke har tid til at udfordre, ikke har adgang til modellens antagelser eller ingen mulighed for at hævde en begrænsning, vil et laboratorium ikke ændre, hvad der sker på mandag.
4. Er udfordring velkommen? Hvis det at udfordre en model betyder at kritisere dens ejer, vil folk tie stille. Bliv enige om, hvordan udfordringen skal modtages, før I træner til den.

3. Design målrettet forberedelse og øvelse

Giv hvert trin sin egen opgave.

Forberedelse: tjek forudsætningerne. En kort selvstuderet diagnosticering af modellens formål, dens primære input og de statistiske ideer, som laboratoriet har brug for. En sådan genkendelseskontrol bekræfter kun forudsætninger. Rapporter den ikke som en evne.

Øvelse: model stresstestlaboratorier. Byg en lille, sikker model, eller brug en godkendt syntetisk model, og giv eleverne en menu med godkendte ændringer. Tre øvelser i stigende rækkefølge efter behov:

• Ændr én antagelse. Den lærende flytter ét godkendt input og registrerer, hvilke output der flytter sig, hvor meget, og hvilke der ikke gør.
• Find det segment, det bryder. Eleven kigger under overskriftstallet og finder, hvor modellen er mindst stabil, og angiver derefter, hvad de ikke ville bruge den til.
• Design den næste test. Den studerende foreslår en yderligere stresstest, siger hvilket resultat der ville ændre deres synspunkt, og hvad det ville koste at køre.

Feedback knyttet til beslutninger. "Du rapporterede ændringen i overskriften og kontrollerede ikke de to segmenter, der bevægede sig mest" er mere nyttigt end en score. Nævn beslutningen, den anvendte eller manglende dokumentation og det godkendte kriterium.

Live instruktørinput eller asynkron gennemgang? Live input tilføjer mest værdi, når en modelrisikospecialist forklarer, hvorfor en begrænsning er vigtig, eller hvorfor en test var svag. Asynkron gennemgang er tilstrækkelig til koncepterne, til at kontrollere testresultater i forhold til en nøgle og til skriftlige begrænsningserklæringer, som en specialist kan læse senere. En almindelig blanding er forberedelse i eget tempo, et faciliteret laboratoriearbejde og derefter overvåget udfordring af en rigtig model af en mere erfaren kollega.

4. Arbejd dig igennem et realistisk eksempel

Illustrativt. En modelrisikospecialist bør validere casen og besvare kriterierne før brug.

Sagen. En forenklet model for tab på udlån bruger en forventet inddrivelsesrate på 60 procent. Backtesting er ren. Den godkendte stressfaktor ændrer satsen til 40 procent for usikrede lån. Estimatet for porteføljetab stiger med 4 procent samlet set. To segmenter, begge usikrede for små virksomheder, stiger med mere end 30 procent.

Opgaven. Den studerende angiver, hvad testen viser, forklarer begrænsningen og anbefaler en beslutning.

Et første forsøg. "Den samlede ændring er kun 4 procent, så modellen er robust over for denne antagelse."

Feedback og forsøg igen. Facilitatoren spørger, hvilke segmenter der bevægede sig mest, hvor store de er i porteføljen, og hvad det samlede tal skjuler. I det nye forsøg spørges der om fortolkningen, begrænsningen og anbefalingen.

Et stærkere forsøg. "Det overordnede tal ændrer sig kun lidt, fordi de berørte segmenter udgør en lille andel af porteføljen. Inden for dem stiger estimatet med mere end 30 procent, så modellen er meget følsom over for antagelsen om genopretning for usikrede udlån til små virksomheder. Jeg ville ikke stole på det enkelte tal på 60 procent for disse segmenter. Jeg ville anbefale antagelser om genopretning på segmentniveau og et dokumenteret følsomhedsområde, og jeg ville fortælle modelejeren, at jeg kun har testet ét input. Jeg har ikke testet korrelation eller datakvalitet."

Hvorfor hvert svar er forsvarligt eller ufuldstændigt. Bedøm hver enkelt ud fra de godkendte kriterier, ikke facilitatorens præference. Det første forsøg læser aggregatet og stopper. Det stærkere forsøg finder, hvor modellen er følsom, angiver en begrænsning knyttet til en anvendelse, anbefaler en begrænset handling og siger, hvad der forbliver utestet. Det hævder ikke, at modellen er forkert.

5. Vurder kapacitet og planoverførsel

Bevis for evner er en respons på en ny modelcase, som den lærende ikke har set. Giv en kort rubrik fra 0 til 2 pr. kriterium, defineret sammen med din specialist. Vores guide til vurdering af dømmekraft og problemløsning i træning dækker ankre og kalibrerende assessorer.

Ankre: 0 betyder fraværende eller ikke-understøttet, 1 betyder delvis med relevante udeladelser, og 2 betyder fuldstændig og begrundet i forhold til aftalte kriterier. Definer kritiske fejl separat, for eksempel ved at præsentere et stresstestresultat som validering af en livemodel, så en god samlet score ikke kan skjule en. Denne rubrik er et foreslået udgangspunkt, ikke en valideret parathedsstandard.

Opfølgning på arbejdspladsen. Efter en passende periode, giv en ny modelcase eller gennemgå en overvåget udfordring på en livemodel, og sammenlign den med baseline på de samme to målinger: kvaliteten af ​​stresstest og fortolkning af fejl. Definer populationen, nævneren og timingen på forhånd, og registrer hvilke cases folk så i træning, så du kan skelne genkaldelse fra overførsel.

Hvilke beviser ville vise, at træningen virkede?

Led efter analytikere, der med vilje ændrer en antagelse på en model, de ikke har set, kigger under overskriften, angiver en begrænsning knyttet til en anvendelse og siger, hvad de ikke har testet. Tilføj, hvad en gennemgang af deres udfordringsnotater viser: specifikke begrænsninger snarere end generiske forbehold.

Vær forsigtig med resultater såsom antallet af fremkomne fund. En ny modelopgørelse, en regulatorisk undersøgelse eller en ændring i, hvem der gennemgår arbejdet, kan ændre dem i samme periode. Flere fund kan betyde en skarpere udfordring eller en ændret tærskel, så tjek det, før du krediterer træningen.

Hvor interaktiv levering hjælper

Interaktive formater hjælper, hvor alle bør forpligte sig til en forudsigelse, før gruppen ser resultatet. I en live-session kan en facilitator beskrive en ændring, bede hver analytiker om at forudsige, hvilke output der vil ændre sig, og derefter afsløre resultatet, hvilket afslører, hvor meget intuition og model adskiller sig. De samme cases kan køres i eget tempo som forberedelse. AhaSlides understøtter interaktiv læring og skift mellem live og selvstudier. Sammenlign enhver redigerings-, feedback- eller rapporteringsfunktion, du planlægger at bruge, med din egen arbejdsgang. Behandl simulatorer, virtual reality, AI og systemintegrationer som eksterne eller ubekræftede, indtil du har set dem virke. Et laboratorium på en sikker model er øvelse, ikke en erstatning for validering af en live model.

Hvad træning ikke vil løse

• Svag regeringsførelse. Hvis ingen tager ejerskab over opfølgningen på en udfordring, bortfalder resultaterne. Bliv først enige om ejerne.
• Ingen tid til at udfordre. Personer, der måles på gennemløbshastighed, vil ikke udføre ekstra tests.
• Lukkede modeller. Hvis analytikerne ikke kan se antagelserne, kan de ikke teste dem.
• Bevisgrænser. En score på et sæt af cases beskriver ikke alle udfordringer, en analytiker vil stille, og ingen træningsøvelse validerer en aktiv finansiel model.

Nævn disse for sponsorerne tidligt, og aftal, hvem der reparerer hver enkelt.

Ofte stillede spørgsmål

Hvad er træningsøvelser i modelrisiko?

Øvelsesopgaver, hvor analytikere ændrer antagelser i en sikker model, fortolker, hvad der bevæger sig, og forklarer modellens begrænsninger og passende anvendelser.

Kan et træningslaboratorium validere en livemodel?

Nej. Laboratoriet underviser i en metode baseret på en sikker eller syntetisk model. Validering af en livemodel følger din egen styring og relevante retningslinjer.

Skal analytikere kode for at køre disse laboratorier?

Ikke nødvendigvis. En regnearksmodel eller et godkendt værktøj med en menu af stressændringer er nok. Den færdighed, der læres, er fortolkning, ikke programmering.

Hvordan vurderer du udfordrende færdigheder retfærdigt?

Brug en ny case, en kort rubrik og aftalte ankre, og få en modelrisikospecialist til at kalibrere scoringen.

Hvor skal man begynde

Bed en modelrisikospecialist om én lille, sikker model og tre godkendte antagelsesændringer. Udarbejd rubrikken med tre kriterier, kør øvelsen "ændr én antagelse" med ét team, og giv derefter en ny casevurdering, før du ruller den ud.

For at se, hvordan et "forudsig-og-afslør"-laboratorium som dette kan køre live og genbruges i dit eget tempo bagefter, kan du udforske AhaSlides.