Vježbe za obuku o modeliranju rizika: kako dizajnirati laboratorije za testiranje otpornosti na stres koji uče analitičare da osporavaju pretpostavke

Model kreditnog rizika dobro se ponašao tri godine. Njegovo back-testiranje je čisto, njegovi rezultati se udobno nalaze unutar tolerancije i tvrtka mu vjeruje. U laboratoriju za obuku, analitičar mijenja jednu odobrenu ulaznu pretpostavku, očekivanu stopu naplate za klasu kredita, na manje ugodnu vrijednost. Glavni rezultat se jedva mijenja. Dva segmenta se jako mijenjaju. Analitičar mora odlučiti što to znači, što reći vlasniku modela i za što se model ne bi trebao koristiti.

Ovo je ilustrativni scenarij, a ne dokumentirani slučaj klijenta. Pokazuje vještinu koju moraju izgraditi vježbe obuke za upravljanje rizikom modela: testiranje pretpostavki, objašnjavanje ograničenja i opravdavanje odluke kada model izgleda stabilno. Ovaj vodič namijenjen je voditeljima obuke za upravljanje rizikom i voditeljima usklađenosti i upravljanja rizikom modela koji posjeduju odgovore. Obuhvaća samo dizajn obuke. Vježba obuke ne validira stvarni financijski model, a stručnjak za upravljanje rizikom modela trebao bi pregledati svaki slučaj prije upotrebe.

Što su vježbe obuke za modeliranje rizika?

Vježbe za obuku o riziku modela su strukturirani praktični zadaci u kojima analitičari ispituju model, obično pojednostavljeni ili sintetički, promjenom pretpostavki i ulaznih podataka, zatim interpretiraju što se događa i objašnjavaju ograničenja onoga što model može podržati. Laboratorij za testiranje otpornosti na stres praktični je oblik ovoga: siguran model, skup odobrenih promjena i zahtjev za opravdanjem zaključaka.

Brze činjenice

1. Opišite problem s performansama

Započnite s odlukom. Što analitičar mora učiniti kada model izgleda dobro? Napišite to kao jednu rečenicu vođenu glagolom: "Promijenite odobrenu pretpostavku, promatrajte što se mijenja, objasnite ograničenje koje to otkriva i recite za što bi se model trebao, a za što ne bi trebao koristiti."

Nadzornici imenuju ovu vještinu. Američke Federalne rezerve i Ured kontrolora valute izdali su SR 11-7, Nadzorne smjernice o upravljanju rizikom modela, 4. travnja 2011. Opisuje rizik modela kao potencijal za negativne posljedice odluka temeljenih na netočnim ili zloupotrijebljenim rezultatima modela, a "učinkovito osporavanje" naziva vodećim načelom: kritička analiza objektivnih, informiranih stranaka koje mogu identificirati ograničenja i pretpostavke modela te proizvesti odgovarajuće promjene. To su smjernice SAD-a, a ne pravilo za svaku jurisdikciju, stoga provjerite zahtjeve koji se na vas primjenjuju. To je detaljan opis performansi koju bi obuka trebala izgraditi.

2. Dijagnosticirajte nedostatke u učenju i kontekstu

Usporedite što uloga zahtijeva s onim što vaša trenutna obuka prakticira i procjenjuje.

1. Što analitičari sada prakticiraju? Ako je obuka predavanje o upravljanju modelom plus kontrolna lista dokumentacije, naučili su vokabular. Nisu vježbali namjerno kršenje modela.
2. Što je kognitivna potražnja? U Bloomovoj revidiranoj taksonomiji, provođenje testa je primjena, tumačenje zašto model nije uspio je analiza, procjena je li model prikladan za upotrebu je evaluacija, a dizajniranje novog testa opterećenja je stvaranje. Naš vodič za usklađivanje aktivnosti učenja s Bloomovom taksonomijom objašnjava kako čitati ove zahtjeve.
3. Je li nešto osim vještine na putu? Prvo provjerite osoblje, alate i postupke. Ako analitičari nemaju vremena za osporavanje, nemaju pristup pretpostavkama modela ili nemaju način da postave ograničenje, laboratorij neće promijeniti ono što se događa u ponedjeljak.
4. Je li izazov dobrodošao? Ako izazivanje modela znači kritiziranje njegovog vlasnika, ljudi će šutjeti. Dogovorite se kako se izazov prihvaća prije nego što počnete trenirati za njega.

3. Osmislite svrsishodnu pripremu i praksu

Dajte svakoj fazi svoj zadatak.

Priprema: provjerite preduvjete. Kratka dijagnostika kojom se samostalno rješava svrha modela, njegovi glavni ulazni podaci i statističke ideje koje su potrebne laboratoriju. Provjera opoziva poput ove potvrđuje samo preduvjete. Nemojte to prijaviti kao sposobnost.

Vježba: modeliranje laboratorija za testiranje opterećenja. Izradite mali, siguran model ili upotrijebite odobreni sintetički model i učenicima dajte popis odobrenih promjena. Tri vježbe u rastućem redoslijedu potražnje:

• Promijenite jednu pretpostavku. Učenik pomiče jedan odobreni ulaz i bilježi koji se izlazi pomiču, za koliko, a koji ne.
• Pronađite segment koji lomi. Učenik gleda ispod glavnog broja i pronalazi gdje je model najmanje stabilan, a zatim navodi za što ga ne bi koristio.
• Osmislite sljedeći test. Učenik predlaže daljnji test opterećenja, kaže koji bi rezultat promijenio njihovo stajalište i koliko bi koštalo njegovo provođenje.

Povratne informacije povezane s odlukama. "Prijavili ste promjenu naslova i niste provjerili dva segmenta koja su se najviše pomaknula" korisnije je od ocjene. Navedite odluku, korištene ili propuštene dokaze i odobreni kriterij.

Unos instruktora uživo ili asinkroni pregled? Uživo doprinos dodaje najveću vrijednost kada stručnjak za model rizika objašnjava zašto je ograničenje važno ili zašto je test bio slab. Asinkroni pregled je dovoljan za koncepte, za provjeru rezultata testova u odnosu na ključ i za pisane izjave o ograničenjima koje stručnjak može pročitati kasnije. Uobičajena kombinacija je priprema vlastitim tempom, vođeni laboratorij, a zatim nadzirani izazov stvarnog modela od strane iskusnijeg kolege.

4. Razradite realističan primjer

Ilustracija. Specijalist za model rizika trebao bi validirati slučaj i odgovoriti na kriterije prije upotrebe.

Slučaj. Pojednostavljeni model gubitka po kreditima koristi očekivanu stopu naplate od 60 posto. Povratno testiranje je čisto. Odobreni stres mijenja stopu na 40 posto za neosigurane kredite. Procjena gubitka portfelja ukupno raste za 4 posto. Dva segmenta, oba neosigurana mala poduzeća, rastu za više od 30 posto.

Zadatak. Učenik navodi što test pokazuje, objašnjava ograničenja i predlaže odluku.

Prvi pokušaj. "Ukupna promjena je samo 4 posto, tako da je model robustan na ovu pretpostavku."

Povratne informacije i ponovni pokušaj. Facilitator pita koji su se segmenti najviše pomicali, koliko su veliki u portfelju i što ukupna brojka skriva. Ponovni pokušaj traži interpretaciju, ograničenja i preporuku.

Jači pokušaj. „Glavna brojka se malo mijenja jer pogođeni segmenti čine mali udio portfelja. Unutar njih, procjena raste za više od 30 posto, pa je model vrlo osjetljiv na pretpostavku oporavka za neosigurane kredite malim poduzećima. Ne bih se oslanjao na jednu brojku od 60 posto za te segmente. Preporučio bih pretpostavke oporavka na razini segmenta i dokumentirani raspon osjetljivosti te bih vlasniku modela rekao da sam testirao samo jedan ulaz. Nisam testirao korelaciju ili kvalitetu podataka.“

Zašto je svaki odgovor opravdan ili nepotpun. Svaki primjer ocjenjujte prema odobrenim kriterijima, a ne prema preferencijama voditelja. Prvi pokušaj čita agregat i zaustavlja se. Jači pokušaj pronalazi gdje je model osjetljiv, navodi ograničenje vezano uz upotrebu, preporučuje ograničenu radnju i navodi što ostaje neprovjereno. Ne tvrdi da je model pogrešan.

5. Procijenite kapacitete i planirajte prijenos

Dokaz sposobnosti je odgovor na novi model slučaja koji učenik nije vidio. Bodujte kratku rubriku od 0 do 2 po kriteriju, definiranu sa svojim stručnjakom. Naš vodič za procjenjivanje prosudbe i rješavanje problema u obuci obuhvaća sidra i kalibracijske procjenitelje.

Sidra: 0 znači odsutno ili nepotkrijepljeno, 1 znači djelomično s relevantnim izostavkama, a 2 znači potpuno i opravdano prema dogovorenim kriterijima. Kritične pogreške definirajte zasebno, na primjer, predstavljajući rezultat testa otpornosti na stres kao validaciju živog modela, tako da dobar ukupni rezultat ne može sakriti jedan. Ova rubrika je predložena početna točka, a ne validirani standard spremnosti.

Praćenje na radnom mjestu. Nakon odgovarajućeg razdoblja, zadajte novi modelni slučaj ili pregledajte nadzirani izazov na živom modelu i usporedite ga s početnim vrijednostima za iste dvije mjere: kvalitetu testova otpornosti na stres i interpretaciju neuspjeha. Unaprijed definirajte populaciju, nazivnik i vrijeme te zabilježite koje su slučajeve ljudi vidjeli tijekom obuke kako biste mogli razlikovati prisjećanje od transfera.

Koji bi dokazi pokazali da je obuka bila uspješna?

Tražite analitičare koji, na modelu koji nisu vidjeli, namjerno mijenjaju pretpostavku, gledaju ispod naslova, navode ograničenje vezano uz upotrebu i kažu što nisu testirali. Dodajte ono što pokazuje pregled njihovih bilješki o izazovima: specifična ograničenja, a ne generička upozorenja.

Budite oprezni s ishodima kao što je broj iznesenih nalaza. Novi popis modela, regulatorni pregled ili promjena u tome tko pregledava rad mogli bi ih pomaknuti u istom razdoblju. Više nalaza moglo bi značiti oštrije izazove ili promijenjeni prag, stoga provjerite prije nego što priznate obuku.

Gdje interaktivna dostava pomaže

Interaktivni formati pomažu tamo gdje bi se svi trebali obvezati na predviđanje prije nego što grupa vidi rezultat. U sesiji uživo, facilitator može opisati promjenu, zamoliti svakog analitičara da predvidi koji će se rezultati promijeniti, a zatim otkriti rezultat, što otkriva koliko se intuicija i model razlikuju. Isti slučajevi mogu se odvijati vlastitim tempom kao i priprema. AhaSlides podržava interaktivno učenje i prelazak između nastave uživo i nastave vlastitim tempom. Usporedite sve funkcije autorstva, povratnih informacija ili izvještavanja na koje se planirate osloniti u odnosu na vlastiti tijek rada. Tretirajte simulatore, virtualnu stvarnost, umjetnu inteligenciju i sistemske integracije kao vanjske ili nepotvrđene dok ih ne vidite kako rade. Laboratorij na sigurnom modelu je praksa, a ne zamjena za validaciju rada uživo.

Što trening neće popraviti

• Slabo upravljanje. Ako nitko ne preuzima odgovornost za praćenje izazova, nalazi će propasti. Prvo se dogovorite s vlasnicima.
• Nema vremena za izazivanje. Ljudi kojima se mjeri propusnost neće provoditi dodatne testove.
• Zatvoreni modeli. Ako analitičari ne mogu vidjeti pretpostavke, ne mogu ih ni testirati.
• Ograničenja dokaza. Rezultat na skupu slučajeva ne opisuje svaki izazov koji će analitičar postaviti, a nijedna vježba ne potvrđuje stvarni financijski model.

Imenujte ih sponzorima unaprijed i dogovorite se tko će popravljati svaki od njih.

Često postavljana pitanja

Što su vježbe obuke za modeliranje rizika?

Vježbajte zadatke u kojima analitičari mijenjaju pretpostavke u sigurnom modelu, interpretirajte što se pomiče te objasnite ograničenja modela i odgovarajuće upotrebe.

Može li laboratorij za obuku validirati živi model?

Ne. Laboratorij podučava metodu na sigurnom ili sintetičkom modelu. Validacija živog modela slijedi vaše vlastito upravljanje i relevantne smjernice.

Trebaju li analitičari programirati za vođenje ovih laboratorija?

Ne nužno. Dovoljan je model proračunske tablice ili odobreni alat s izbornikom promjena naprezanja. Vještina koja se uči je interpretacija, a ne programiranje.

Kako pravedno procjenjujete vještine suočavanja s izazovima?

Koristite novi slučaj, kratku rubriku i dogovorena sidra te neka stručnjak za model rizika kalibrira bodovanje.

Gdje započeti

Zamolite stručnjaka za modeliranje rizika za jedan mali, siguran model i tri odobrene promjene pretpostavki. Izradite rubriku s tri kriterija, provedite vježbu "promijeni jednu pretpostavku" s jednim timom, a zatim ocijenite novi slučaj prije nego što ga uvedete.

Da biste vidjeli kako bi laboratorij za predviđanje, a zatim otkrivanje poput ovog mogao raditi uživo i ponovno se koristiti vlastitim tempom nakon toga, istražite AhaSlides.