Modellrisikotreningsøvelser: hvordan designe stresstestlaboratorier som lærer analytikere å utfordre antagelser

En kredittrisikomodell har oppført seg bra i tre år. Backtesten er ren, resultatene ligger komfortabelt innenfor toleransen, og virksomheten stoler på den. I et treningslaboratorium endrer en analytiker én godkjent inputforutsetning, den forventede inndrivingsraten på en låneklasse, til en mindre komfortabel verdi. Hovedresultatet beveger seg knapt. To segmenter beveger seg mye. Analytikeren må bestemme hva det betyr, hva han skal fortelle modellens eier og hva modellen ikke skal brukes til.

Dette er et illustrerende scenario, ikke et dokumentert kundecase. Det viser ferdighetene som modellrisikotreningsøvelser må bygge: testing av antagelser, forklaring av begrensninger og begrunnelse av en beslutning når en modell ser stabil ut. Denne veiledningen er for ledere for risikoopplæring og for ledere for compliance og modellrisiko som eier svarene. Den dekker kun opplæringsdesign. En opplæringsøvelse validerer ikke en aktiv finansiell modell, og en modellrisikospesialist bør gjennomgå alle caser før bruk.

Hva er treningsøvelser for modellrisiko?

Modellrisikotreningsøvelser er strukturerte øvingsoppgaver der analytikere undersøker en modell, vanligvis en forenklet eller syntetisk modell, ved å endre forutsetninger og input, og deretter tolker hva som skjer og forklarer grensene for hva modellen kan støtte. Et stresstestlaboratorium er den praktiske formen for dette: en sikker modell, et sett med godkjente endringer og et krav om å begrunne konklusjoner.

Kjappe fakta

1. Beskriv ytelsesproblemet

Start med avgjørelsen. Hva må en analytiker gjøre når en modell ser fin ut? Skriv det som én verbbasert setning: «Endre en godkjent antagelse, observer hva som beveger seg, forklar begrensningen dette avdekker og si hva modellen bør og ikke bør brukes til.»

Tilsynsmyndighetene kaller denne ferdigheten. Den amerikanske sentralbanken og valutakontrolløren utstedte SR 11-7, Tilsynsveiledning om modellrisikostyring, 4. april 2011. Den beskriver modellrisiko som potensialet for negative konsekvenser av beslutninger basert på feil eller misbrukte modellutdata, og den kaller «effektiv utfordring» et veiledende prinsipp: kritisk analyse utført av objektive, informerte parter som kan identifisere modellens begrensninger og antagelser og gjøre passende endringer. Det er amerikansk veiledning, ikke en regel for alle jurisdiksjoner, så sjekk kravene som gjelder for deg. Det er en nøyaktig beskrivelse av ytelsen opplæringen skal bygge opp.

2. Diagnostiser lærings- og konteksthullene

Sammenlign hva rollen krever med hva din nåværende opplæring praktiserer og vurderer.

1. Hva praktiserer analytikere nå? Hvis opplæringen er en forelesning om modellstyring pluss en sjekkliste for dokumentasjon, har de lært vokabularet. De har ikke øvd på å ødelegge en modell med vilje.
2. Hva er den kognitive etterspørselen? I Blooms reviderte taksonomi er det å kjøre en test anvendelse, å tolke hvorfor modellen feilet er analyse, å vurdere om modellen er egnet for et bestemt bruksområde er evaluering, og å designe en ny stresstest er opprettelse. Vår guide til matche læringsaktiviteter med Blooms taksonomi forklarer hvordan man skal lese disse kravene.
3. Er det noe annet enn ferdigheter som står i veien? Sjekk bemanning, verktøy og prosedyrer først. Hvis analytikerne ikke har tid til å utfordre, ikke har tilgang til modellens forutsetninger eller ingen måte å heve en begrensning på, vil ikke et laboratorium endre det som skjer på mandag.
4. Er utfordring velkommen? Hvis det å utfordre en modell betyr å kritisere eieren, vil folk tie stille. Bli enige om hvordan utfordringen skal mottas før dere trener på den.

3. Utform målrettet forberedelse og øvelse

Gi hvert trinn sin egen oppgave.

Forberedelse: sjekk forutsetningene. En kort selvstudium av modellens formål, dens viktigste inndata og de statistiske ideene laboratoriet trenger. En slik tilbakekallingssjekk bekrefter kun forutsetninger. Ikke rapporter den som evne.

Øvelse: modell av stresstestlaboratorier. Bygg en liten, trygg modell, eller bruk en godkjent syntetisk modell, og gi elevene en meny med godkjente endringer. Tre øvelser i stigende rekkefølge etter behov:

• Endre én antagelse. Læreren flytter én godkjent inndata og registrerer hvilke utdata som flyttes, hvor mye og hvilke som ikke gjør det.
• Finn segmentet den bryter. Eleven ser under overskriftstallet og finner hvor modellen er minst stabil, og oppgir deretter hva de ikke ville brukt den til.
• Design den neste testen. Eleven foreslår en ytterligere stresstest, sier hvilket resultat som ville endret synet deres og hva det ville koste å kjøre.

Tilbakemeldinger knyttet til beslutninger. «Du rapporterte endringen i overskriften og sjekket ikke de to segmentene som beveget seg mest» er mer nyttig enn en poengsum. Nevn avgjørelsen, bevisene som ble brukt eller ikke, og det godkjente kriteriet.

Live instruktørinnspill eller asynkron gjennomgang? Live input gir mest verdi når en modellrisikospesialist forklarer hvorfor en begrensning er viktig, eller hvorfor en test var svak. Asynkron gjennomgang er nok for konseptene, for å sjekke testresultater mot en nøkkel og for skriftlige begrensningserklæringer som en spesialist kan lese senere. En vanlig blanding er forberedelse i eget tempo, en tilrettelagt lab, deretter veiledet utfordring av en ekte modell av en mer erfaren kollega.

4. Arbeid deg gjennom et realistisk eksempel

Illustrativt. En modellrisikospesialist bør validere tilfellet og svare på kriteriene før bruk.

Saken. En forenklet modell for tap på utlån bruker en forventet gjenvinningsrate på 60 prosent. Backtesting er ren. Den godkjente stressfaktoren endrer satsen til 40 prosent for usikrede lån. Porteføljetapsanslaget øker med 4 prosent totalt. To segmenter, begge usikrede for små bedrifter, øker med mer enn 30 prosent.

Oppgaven. Eleven oppgir hva testen viser, forklarer begrensningen og anbefaler en avgjørelse.

Et første forsøk. «Den totale endringen er bare 4 prosent, så modellen er robust overfor denne antagelsen.»

Tilbakemelding og prøv på nytt. Tilretteleggeren spør hvilke segmenter som beveget seg mest, hvor store de er i porteføljen og hva det totale tallet skjuler. Det nye forsøket spør om tolkningen, begrensningen og anbefalingen.

Et sterkere forsøk. «Hovedtallet beveger seg lite fordi de berørte segmentene utgjør en liten andel av porteføljen. Innenfor dem stiger estimatet med mer enn 30 prosent, så modellen er svært følsom for antagelsen om gjenoppretting for usikrede utlån til små bedrifter. Jeg ville ikke stole på det enkle tallet på 60 prosent for disse segmentene. Jeg ville anbefale antagelser om gjenoppretting på segmentnivå og et dokumentert følsomhetsområde, og jeg ville fortalt modellens eier at jeg bare har testet én inndata. Jeg har ikke testet korrelasjon eller datakvalitet.»

Hvorfor hvert svar er forsvarlig eller ufullstendig. Bedøm hver av dem mot de godkjente kriteriene, ikke fasilitatorens preferanse. Det første forsøket leser aggregatet og stopper. Det sterkere forsøket finner hvor modellen er sensitiv, angir en begrensning knyttet til en bruk, anbefaler en begrenset handling og sier hva som forblir uprøvd. Det hevder ikke at modellen er feil.

5. Vurder kapasitet og planoverføring

Bevis på evne er en respons på et nytt modelltilfelle som eleven ikke har sett. Gi en kort rubrikk fra 0 til 2 per kriterium, definert med spesialisten din. Vår veiledning til vurdering av dømmekraft og problemløsning i opplæring dekker ankere og kalibrerende vurderere.

Ankere: 0 betyr fraværende eller ikke støttet, 1 betyr delvis med relevante utelatelser, og 2 betyr fullstendig og begrunnet mot avtalte kriterier. Definer kritiske feil separat, for eksempel å presentere et stresstestresultat som validering av en live-modell, slik at en god totalpoengsum ikke kan skjule en. Denne rubrikken er et foreslått utgangspunkt, ikke en validert beredskapsstandard.

Oppfølging på arbeidsplassen. Etter en passende periode, gi et nytt modelltilfelle eller gjennomgå en veiledet utfordring på en live-modell, og sammenlign den med grunnlinjen på de samme to målene: kvaliteten på stresstester og tolkning av feil. Definer populasjonen, nevneren og tidspunktet på forhånd, og registrer hvilke tilfeller folk så i opplæring slik at du kan skille mellom tilbakekalling og overføring.

Hvilke bevis ville vise at treningen fungerte?

Se etter analytikere som, på en modell de ikke har sett, endrer en antagelse med vilje, ser under overskriften, oppgir en begrensning knyttet til en bruk og sier hva de ikke har testet. Legg til hva en gjennomgang av deres utfordringsnotater viser: spesifikke begrensninger snarere enn generiske forbehold.

Vær forsiktig med utfall som antall funn som blir gjort. En ny modellinventarisering, en regulatorisk undersøkelse eller en endring i hvem som gjennomgår arbeidet kan endre dem i samme periode. Flere funn kan bety skarpere utfordringer eller en endret terskel, så sjekk før du gir godskrivning for opplæringen.

Der interaktiv levering hjelper

Interaktive formater hjelper der alle bør forplikte seg til en prediksjon før gruppen ser resultatet. I en live-sesjon kan en fasilitator beskrive en endring, be hver analytiker om å forutsi hvilke resultater som vil endre seg, og deretter avsløre resultatet, som avslører hvor mye intuisjon og modell skiller seg fra hverandre. De samme casene kan kjøres i eget tempo som forberedelse. AhaSlides støtter interaktiv læring og veksling mellom live og selvstyrt levering. Sjekk eventuelle redigerings-, tilbakemeldings- eller rapporteringsfunksjoner du planlegger å stole på mot din egen arbeidsflyt. Behandle simulatorer, virtuell virkelighet, AI og systemintegrasjoner som eksterne eller ubekreftede inntil du har sett dem fungere. En lab på en sikker modell er praksis, ikke en erstatning for validering av en live modell.

Hva trening ikke vil fikse

• Svak styring. Hvis ingen tar ansvar for oppfølgingen av en utfordring, vil funnene bortfalle. Bli enige om eierne først.
• Ingen tid til å utfordre. Personer som måles på gjennomstrømning vil ikke kjøre ekstra tester.
• Lukkede modeller. Hvis analytikerne ikke kan se forutsetningene, kan de ikke teste dem.
• Bevisgrenser. En poengsum på et sett med saker beskriver ikke alle utfordringer en analytiker vil komme med, og ingen opplæringsøvelse validerer en aktiv finansiell modell.

Nevn disse til sponsorene tidlig og bli enige om hvem som reparerer hver enkelt.

Ofte stilte spørsmål

Hva er treningsøvelser for modellrisiko?

Øvingsoppgaver der analytikere endrer forutsetninger i en sikker modell, tolker hva som beveger seg og forklarer modellens begrensninger og passende bruksområder.

Kan et treningslaboratorium validere en live-modell?

Nei. Laboratoriet lærer en metode basert på en sikker eller syntetisk modell. Validering av en aktiv modell følger din egen styring og relevante retningslinjer.

Må analytikere kode for å kjøre disse laboratoriene?

Ikke nødvendigvis. En regnearkmodell eller et godkjent verktøy med en meny med stressendringer er nok. Ferdigheten som læres er tolkning, ikke programmering.

Hvordan vurderer du utfordringsferdigheter rettferdig?

Bruk et nytt case, en kort rubrikk og avtalte ankere, og få en modellrisikospesialist til å kalibrere poengsettingen.

Hvor skal jeg starte

Be en modellrisikospesialist om én liten, sikker modell og tre godkjente endringer i antagelser. Utarbeid rubrikken med tre kriterier, kjør øvelsen «endre én antagelse» med ett team, og poengser deretter et nytt tilfelle før du ruller det ut.

For å se hvordan et forutsi-og-avslør-laboratorium som dette kan kjøres live og gjenbrukes i ditt eget tempo etterpå, utforsk AhaSlides.