Model kreditného rizika sa tri roky správal dobre. Jeho spätné testovanie je čisté, jeho výstupy sa pohodlne nachádzajú v rámci tolerancie a podnik mu dôveruje. V tréningovom laboratóriu analytik zmení jeden schválený vstupný predpoklad, očakávanú mieru návratnosti určitej triedy úverov, na menej pohodlnú hodnotu. Celkový výstup sa sotva mení. Dva segmenty sa menia výrazne. Analytik sa musí rozhodnúť, čo to znamená, čo povedať vlastníkovi modelu a na čo by sa model nemal používať.
Toto je ilustratívny scenár, nie zdokumentovaný prípad zákazníka. Ukazuje zručnosť, ktorú si musia vybudovať tréningové cvičenia pre modelové riziká: testovanie predpokladov, vysvetľovanie obmedzení a zdôvodňovanie rozhodnutí, keď sa model javí ako stabilný. Táto príručka je určená pre vedúcich tréningov pre riziká a pre vedúcich oddelení dodržiavania predpisov a modelových rizík, ktorí majú odpovede na otázky. Zahŕňa iba návrh školenia. Tréningové cvičenie neoveruje živý finančný model a špecialista na modelové riziká by mal pred použitím skontrolovať každý prípad.
Čo sú to tréningové cvičenia modelového rizika?
Tréningové cvičenia pre modelové riziko sú štruktúrované praktické úlohy, v ktorých analytici skúmajú model, zvyčajne zjednodušený alebo syntetický, zmenou predpokladov a vstupov, potom interpretujú, čo sa deje, a vysvetľujú limity toho, čo model dokáže podporovať. Laboratórium stresového testovania je praktickou formou tohto: bezpečný model, súbor schválených zmien a požiadavka na zdôvodnenie záverov.
Rýchle fakty
| Otázka | Stručná odpoveď |
|---|---|
| Aká je úloha? | Otestujte predpoklady a vysvetlite obmedzenia modelu. |
| Aké skóre dosiahnete? | Kvalita záťažových testov a interpretácia toho, čo zlyhalo. |
| Validuje laboratórium živý model? | Nie. Učí metódu na bezpečnom alebo syntetickom modeli. |
| Kto schvaľuje prípad? | Špecialista na modelové riziká, nie tréner. |
| Naživo alebo vlastným tempom? | Vlastné tempo pre koncepty a nástroje, výklad naživo alebo s vedením. |
| Čo tréning nedokáže vyriešiť? | Slabá správa vecí verejných, nedostatok času na spochybňovanie a nejasné vlastníctvo. |
| Ako vieš, že to fungovalo? | Nový modelový prípad alebo kontrolované preskúmanie po prestávke, hodnotené podľa rubriky. |
1. Popíšte problém s výkonom
Začnite s rozhodnutím. Čo musí analytik urobiť, keď model vyzerá dobre? Napíšte to ako jednu vetu riadenú slovesami: „Zmeňte schválený predpoklad, pozorujte, čo sa mení, vysvetlite obmedzenie, ktoré to odhaľuje, a povedzte, na čo by sa model mal a nemal používať.“
Túto zručnosť pomenovali supervízori. Federálny rezervný systém USA a Úrad kontrolóra meny vydali SR 11-7, Usmernenia dohľadu týkajúce sa riadenia modelového rizika, 4. apríla 2011. Opisuje modelové riziko ako potenciál nepriaznivých dôsledkov rozhodnutí založených na nesprávnych alebo zneužitých výstupoch modelu a za hlavnú zásadu nazýva „efektívnu výzvu“: kritickú analýzu objektívnymi, informovanými stranami, ktoré dokážu identifikovať obmedzenia a predpoklady modelu a vykonať vhodné zmeny. Toto je usmernenie USA, nie pravidlo pre každú jurisdikciu, preto si overte požiadavky, ktoré sa na vás vzťahujú. Ide o podrobný opis výkonu, ktorý by malo školenie vybudovať.
2. Diagnostikovať medzery vo vzdelávaní a kontexte
Porovnajte si požiadavky danej pozície s tým, čo sa v rámci vášho súčasného školenia precvičuje a hodnotí.
- Čo teraz robia analytici? Ak je školenie prednáškou o správe modelov a kontrolným zoznamom dokumentácie, naučili sa slovnú zásobu. Necvičili úmyselné porušenie modelu.
- Aký je kognitívny dopyt? V Bloomovej revidovanej taxonómii je spustenie testu aplikácia, interpretácia zlyhania modelu analýza, posúdenie vhodnosti modelu na použitie hodnotenie a návrh nového záťažového testu tvorba. Náš sprievodca priraďovanie vzdelávacích aktivít k Bloomovej taxonómii vysvetľuje, ako čítať tieto požiadavky.
- Prekáža v tom niečo iné ako zručnosť? Najprv skontrolujte personálne obsadenie, nástroje a postupy. Ak analytici nemajú čas na spochybnenie, nemajú prístup k predpokladom modelu alebo nemajú spôsob, ako nastoliť obmedzenie, laboratórium nezmení, čo sa v pondelok stane.
- Je výzva vítaná? Ak spochybňovanie modelu znamená kritizovanie jeho majiteľa, ľudia budú mlčať. Dohodnite sa, ako bude výzva prijatá, ešte predtým, ako na ňu začnete trénovať.
3. Navrhnite zmysluplnú prípravu a prax
Dajte každej fáze jej vlastnú úlohu.
Príprava: skontrolujte si predpoklady. Krátka diagnostická analýza účelu modelu, jeho hlavných vstupov a štatistických nápadov, ktoré laboratórium potrebuje, vlastným tempom. Takáto kontrola opakovaného použitia potvrdzuje iba predpoklady. Neuvádzajte ju ako spôsobilosť.
Cvičenie: modelové laboratóriá so záťažovým testovaním. Vytvorte malý, bezpečný model alebo použite schválený syntetický model a poskytnite študentom zoznam schválených zmien. Tri cvičenia zoradené podľa vzostupnej náročnosti:
- Zmeňte jeden predpoklad. Študent posunie jeden schválený vstup a zaznamená, ktoré výstupy sa posunú, o koľko a ktoré nie.
- Nájdite úsečku, ktorú zlomí. Študent sa pozrie pod hlavné číslo a nájde, kde je model najmenej stabilný, potom uvedie, na čo by ho nepoužil.
- Navrhnite ďalší test. Študent navrhne ďalší záťažový test, povie, aký výsledok by zmenil jeho názor a koľko by stálo jeho vykonanie.
Spätná väzba spojená s rozhodnutiami. „Nahlásili ste zmenu titulku a neskontrolovali ste dva segmenty, ktoré sa najviac posunuli“ je užitočnejšie ako skóre. Uveďte rozhodnutie, použité alebo prehliadnuté dôkazy a schválené kritérium.
Živý vstup inštruktora alebo asynchrónna kontrola? Živý vstup je najhodnotnejší, keď špecialista na modelové riziká vysvetlí, prečo je obmedzenie dôležité alebo prečo bol test slabý. Asynchrónna kontrola je postačujúca pre koncepty, pre porovnanie výsledkov testov s kľúčom a pre písomné vyhlásenia o obmedzeniach, ktoré si špecialista môže prečítať neskôr. Bežnou kombináciou je príprava vlastným tempom, facilitované laboratórne cvičenie a následné kontrolované preverenie skutočného modelu skúsenejším kolegom.
4. Vypracujte realistický príklad
Ilustrácia. Špecialista na modelové riziká by mal pred použitím overiť prípad a odpovedať na kritériá.
Púzdro. Zjednodušený model straty z úverov používa očakávanú mieru návratnosti 60 percent. Spätné testovanie je bezchybné. Schválený stresový model mení mieru na 40 percent pre nezabezpečené úvery. Odhad straty portfólia sa celkovo zvyšuje o 4 percentá. Dva segmenty, oba nezabezpečené pre malé podniky, rastú o viac ako 30 percent.
Úloha. Študent uvedie, čo test ukazuje, vysvetlí obmedzenia a odporučí rozhodnutie.
Prvý pokus. „Celková zmena je iba 4 percentá, takže model je voči tomuto predpokladu robustný.“
Spätná väzba a pokus znova. Facilitátor sa pýta, ktoré segmenty sa najviac pohli, aké sú veľké v portfóliu a čo sa skrýva za celkovým číslom. Opakovaný pokus sa pýta na interpretáciu, obmedzenia a odporúčania.
Silnejší pokus. „Hlavná hodnota sa mení len málo, pretože postihnuté segmenty tvoria malý podiel portfólia. V rámci nich sa odhad zvyšuje o viac ako 30 percent, takže model je vysoko citlivý na predpoklad oživenia nezabezpečených úverov malým podnikom. Pre tieto segmenty by som sa nespoliehal na jediné 60-percentné číslo. Odporúčam predpoklady oživenia na úrovni segmentov a zdokumentovaný rozsah citlivosti a vlastníkovi modelu by som povedal, že som testoval iba jeden vstup. Netestoval som koreláciu ani kvalitu údajov.“
Prečo je každá odpoveď obhájiteľná alebo neúplná. Každý model posúďte podľa schválených kritérií, nie podľa preferencií facilitátora. Prvý pokus prečíta súhrn a zastaví sa. Silnejší pokus zistí, kde je model citlivý, uvedie obmedzenie viazané na použitie, odporučí ohraničenú akciu a povie, čo zostalo neotestované. Netvrdí, že model je nesprávny.
5. Posúdenie spôsobilosti a plánovanie prenosu
Dôkazom o schopnostiach je reakcia na nový modelový prípad, ktorý študent ešte nevidel. Každé kritérium ohodnoťte krátkym hodnotením od 0 do 2, ktoré definujete so svojím špecialistom. Náš sprievodca hodnotenie úsudku a riešenia problémov v tréningu Zahŕňa kotvy a kalibračných hodnotiteľov.
| kritérium | Pozorovateľné dôkazy |
|---|---|
| Vykonanie úlohy | Vykonáva schválené záťažové testy a zaznamenáva priebeh a dôkazy, ktoré za ním stoja. |
| uvažovanie | Vysvetľuje, čo zlyhalo, aké to obmedzenia ukazuje a čo nie je otestované, vrátane interpretácie zlyhania. |
| Hranice | Používa schválené postupy a vyhľadáva pomoc, keď chýbajú informácie alebo oprávnenia. |
Kotvy: 0 znamená chýbajúce alebo nepodložené, 1 znamená čiastočné s relevantnými opomenutiami a 2 znamená úplné a odôvodnené podľa dohodnutých kritérií. Kritické chyby definujte samostatne, napríklad prezentujte výsledok záťažového testu ako validáciu živého modelu, aby dobré celkové skóre nemohlo zakryť chybu. Táto rubrika je navrhovaným východiskovým bodom, nie validovaným štandardom pripravenosti.
Sledovanie na pracovisku. Po vhodnom čase zadajte nový modelový prípad alebo si prezrite kontrolovaný test na živom modeli a porovnajte ho s východiskovým stavom na základe rovnakých dvoch ukazovateľov: kvalita záťažových testov a interpretácia zlyhania. Vopred definujte populáciu, menovateľa a načasovanie a zaznamenajte si, ktoré prípady ľudia videli počas tréningu, aby ste vedeli rozlíšiť medzi spomienkami a prenosom.
Aké dôkazy by preukázali, že tréning fungoval?
Hľadajte analytikov, ktorí na modeli, ktorý nevideli, zámerne zmenia predpoklad, pozrú sa pod nadpis, uvedú obmedzenie spojené s použitím a povedia, čo netestovali. Pridajte to, čo ukazuje prehľad ich poznámok k výzvam: konkrétne obmedzenia, a nie všeobecné výhrady.
Buďte opatrní s výsledkami, ako je počet zistených zistení. Nový inventár modelov, regulačná kontrola alebo zmena v tom, kto prácu kontroluje, by ich mohli posunúť v rovnakom období. Viac zistení by mohlo znamenať prísnejšie požiadavky alebo zmenu prahu, preto si to pred priznaním zápočtu školenia overte.
Kde pomáha interaktívne doručovanie
Interaktívne formáty pomáhajú, keď by sa každý mal zaviazať k predpovedi skôr, ako skupina uvidí výsledok. V živom stretnutí môže facilitátor opísať zmenu, požiadať každého analytika, aby predpovedal, ktoré výstupy sa budú meniť, a potom odhaliť výsledok, ktorý odhalí, ako veľmi sa intuícia a model líšia. Tie isté prípady môžu prebiehať vlastným tempom ako príprava. AhaSlides podporuje interaktívne učenie a prechod medzi živým a vlastným tempom výučby. Porovnajte všetky funkcie tvorby obsahu, spätnej väzby alebo reportovania, na ktoré sa plánujete spoľahnúť, s vaším vlastným pracovným postupom. Považujte simulátory, virtuálnu realitu, umelú inteligenciu a systémové integrácie za externé alebo nepotvrdené, kým ich neuvidíte v praxi. Laboratórium na bezpečnom modeli je prax, nie náhrada za validáciu živého modelu.
Čo tréning neopraví
- Slabá správa vecí verejných. Ak nikto nenesie zodpovednosť za následné kroky po výzve, zistenia prepadnú. Najprv sa dohodnite s vlastníkmi.
- Nie je čas na výzvy. Ľudia, u ktorých sa meria priepustnosť, nebudú vykonávať ďalšie testy.
- Uzavreté modely. Ak analytici nevidia predpoklady, nemôžu ich ani otestovať.
- Obmedzenia dôkazov. Skóre na základe súboru prípadov nepopisuje každú výzvu, ktorú analytik nastolí, a žiadne tréningové cvičenie neoveruje živý finančný model.
Včas ich pomenujte sponzorom a dohodnite sa, kto každý z nich opraví.
Často kladené otázky
Čo sú to tréningové cvičenia modelového rizika?
Praktické úlohy, v ktorých analytici menia predpoklady v bezpečnom modeli, interpretujú, čo sa hýbe, a vysvetľujú obmedzenia modelu a vhodné použitie.
Môže tréningové laboratórium overiť živý model?
Nie. Laboratórium vyučuje metódu na bezpečnom alebo syntetickom modeli. Validácia živého modelu sa riadi vašimi vlastnými zásadami riadenia a príslušnými pokynmi.
Potrebujú analytici kódovať, aby mohli tieto laboratóriá prevádzkovať?
Nie nevyhnutne. Stačí tabuľkový model alebo schválený nástroj s ponukou zmien napätia. Zručnosť, ktorá sa vyučuje, je interpretácia, nie programovanie.
Ako spravodlivo hodnotíte zručnosti pri riešení náročných úloh?
Použite nový prípad, krátku rubriku a dohodnuté kotvy a nechajte špecialistu na modelové riziko kalibrovať skóre.
Kde začať
Požiadajte špecialistu na modelové riziká o jeden malý, bezpečný model a tri schválené zmeny predpokladov. Vypracujte rubriku s tromi kritériami, spustite cvičenie „zmena jedného predpokladu“ s jedným tímom a potom pred jeho spustením ohodnoťte nový prípad.
Ak chcete vidieť, ako by sa takéto laboratórium typu „predpovedať a potom odhaliť“ mohlo prevádzkovať naživo a následne ho opätovne použiť vlastným tempom, preskúmajte AhaSlides.
