Mudelriski koolitusharjutused: kuidas kujundada stressitestimise laboreid, mis õpetavad analüütikutele eeldusi vaidlustama

Krediidiriski mudel on kolm aastat hästi käitunud. Selle tagasiulatuv testimine on puhas, väljundid jäävad mugavalt tolerantsi piiresse ja ettevõte usaldab seda. Koolituslaboris muudab analüütik ühte heakskiidetud sisendi eeldust – laenuklassi eeldatavat sissenõudmismäära – vähem mugavaks väärtuseks. Peamine väljund muutub vaevu. Kaks segmenti muutuvad väga palju. Analüütik peab otsustama, mida see tähendab, mida mudeli omanikule öelda ja milleks mudelit ei tohiks kasutada.

See on illustreeriv stsenaarium, mitte dokumenteeritud kliendijuhtum. See näitab oskusi, mida mudelriski koolitusharjutused peavad arendama: eelduste testimine, piirangute selgitamine ja otsuse põhjendamine stabiilsena näiva mudeli korral. See juhend on mõeldud riskikoolituse juhtidele ning vastavus- ja mudelriski juhtidele, kelle vastutusalasse kuuluvad vastused. See hõlmab ainult koolituse ülesehitust. Koolitusharjutus ei valideeri reaalajas finantsmudelit ja mudelriski spetsialist peaks enne kasutamist iga juhtumi üle vaatama.

Mis on mudelriski koolitusharjutused?

Mudeliriski koolitusharjutused on struktureeritud harjutusülesanded, mille käigus analüütikud uurivad mudelit, tavaliselt lihtsustatud või sünteetilist mudelit, muutes eeldusi ja sisendeid, seejärel tõlgendavad toimuvat ja selgitavad mudeli toetatavuse piire. Stressitestimise labor on selle praktiline vorm: turvaline mudel, heakskiidetud muudatuste kogum ja nõue järeldusi põhjendada.

Quick faktid

1. Kirjeldage jõudlusprobleemi

Alusta otsusest. Mida peab analüütik tegema, kui mudel tundub hea? Kirjuta see ühe tegusõnadega juhitud lausena: "Muuda heakskiidetud eeldust, jälgi, mis muutub, selgita piirangut, mida see paljastab, ja ütle, milleks mudelit peaks ja milleks mitte kasutama."

Juhendajad nimetavad seda oskust. USA Föderaalreserv ja valuutakontrolöri büroo on välja andnud SR 11-7, Järelevalvealased juhised mudeliriski juhtimise kohta, 4. aprillil 2011. See kirjeldab mudeli riski kui potentsiaalselt kahjulikke tagajärgi otsustest, mis põhinevad ebaõigetel või väärkasutatud mudeli väljunditel, ning nimetab juhtpõhimõtteks „tõhusat vaidlustamist“: kriitiline analüüs objektiivsete ja informeeritud osapoolte poolt, kes suudavad tuvastada mudeli piirangud ja eeldused ning teha asjakohaseid muudatusi. See on USA juhis, mitte iga jurisdiktsiooni reegel, seega kontrollige teile kehtivaid nõudeid. See on täpne kirjeldus tulemuslikkusest, mida koolitus peaks looma.

2. Õppimis- ja kontekstilünga diagnoosimine

Võrdle rolli nõudmisi oma praeguste väljaõppepraktikate ja -hindamistega.

1. Mida analüütikud nüüd praktiseerivad? Kui koolitus on loeng mudeli haldamisest koos dokumentatsiooni kontrollnimekirjaga, on nad sõnavara selgeks õppinud. Nad pole harjutanud mudeli tahtlikku rikkumist.
2. Mis on kognitiivne nõudlus? Bloomi muudetud taksonoomias on testi käivitamine rakendamine, mudeli ebaõnnestumise põhjuste tõlgendamine analüüs, mudeli kasutuskõlblikkuse hindamine hindamine ja uue stresstesti kavandamine loomine. Meie juhend ... õppetegevuste sobitamine Bloomi taksonoomiaga selgitab, kuidas neid nõudmisi lugeda.
3. Kas peale oskuste on teel midagi muud? Kontrollige kõigepealt personali, tööriistu ja protseduure. Kui analüütikutel pole aega vaidlustada, neil pole juurdepääsu mudeli eeldustele või pole võimalust piirangut tõstatada, siis labor esmaspäeval toimunut ei muuda.
4. Kas väljakutse on teretulnud? Kui mudeli vaidlustamine tähendab selle omaniku kritiseerimist, siis inimesed jäävad vait. Enne kui te selle jaoks treenite, leppige kokku, kuidas väljakutset vastu võetakse.

3. Planeeri sihipärane ettevalmistus ja harjutamine

Anna igale etapile oma ülesanne.

Ettevalmistus: kontrollige eeltingimusi. Lühike iseseisvalt teostatav diagnostika mudeli eesmärgi, peamiste sisendite ja labori jaoks vajalike statistiliste ideede kohta. Selline tagasikutsumise kontroll kinnitab ainult eeltingimusi. Ärge kajastage seda võimekusena.

Praktika: mudelstresstestide laborid. Ehita väike ja turvaline mudel või kasuta heakskiidetud sünteetilist mudelit ning anna õppijatele heakskiidetud muudatuste menüü. Kolm harjutust nõudluse kasvavas järjekorras:

• Muutke ühte eeldust. Õppija liigutab ühte heakskiidetud sisendit ja registreerib, millised väljundid liiguvad, kui palju ja millised mitte.
• Leia lõik, mille see katkestab. Õppija vaatab pealkirja numbri alla ja leiab, kus mudel on kõige vähem stabiilne, ning seejärel märgib, milleks ta seda ei kasutaks.
• Koostage järgmine test. Õppija teeb ettepaneku täiendavaks stressitestiks, ütleb, milline tulemus muudaks tema vaadet ja kui palju selle läbiviimine maksma läheks.

Otsustega seotud tagasiside. Väljend „Te teatasite pealkirja muudatusest ja ei kontrollinud kahte kõige enam muutunud segmenti” on kasulikum kui punktisumma. Nimetage otsus, kasutatud või kasutamata tõendid ja heakskiidetud kriteerium.

Reaalajas juhendaja sisend või asünkroonne arvustus? Reaalajas sisend lisab kõige rohkem väärtust siis, kui mudeli riski spetsialist selgitab, miks piirang on oluline või miks test oli nõrk. Asünkroonsest ülevaatusest piisab kontseptsioonide, testi tulemuste kontrollimise võtme suhtes ja kirjalike piirangulausete puhul, mida spetsialist saab hiljem lugeda. Levinud kombinatsioon on iseseisvas tempos ettevalmistus, juhendatud labor ja seejärel reaalse mudeli kontrollimine kogenuma kolleegi poolt.

4. Töötage läbi realistlik näide

Illustreeriv näide. Mudeliriski spetsialist peaks enne kasutamist juhtumi valideerima ja vastama kriteeriumidele.

Juhul. Lihtsustatud laenukahjude mudel kasutab eeldatavat sissenõudmismäära 60 protsenti. Tagasiulatuv testimine on puhas. Heakskiidetud stress muudab tagatiseta laenude määra 40 protsendini. Portfelli kahjumi hinnang tõuseb kokku 4 protsenti. Kahe segmendi, mõlemad väikeettevõtete tagatiseta laenude puhul, tõusevad enam kui 30 protsenti.

Ülesanne. Õppija ütleb, mida test näitab, selgitab piirangut ja soovitab otsust.

Esimene katse. "Üldine muutus on vaid 4 protsenti, seega on mudel selle eelduse suhtes kindel."

Tagasiside ja proovi uuesti. Koolitaja küsib, millised segmendid kõige rohkem liikusid, kui suured need portfoolios on ja mida üldine näitaja varjab. Uuesti proovides küsitakse tõlgendust, piirangut ja soovitust.

Tugevam katse. „Peamine näitaja muutub vähe, kuna mõjutatud segmendid moodustavad portfellist väikese osa. Nende sees tõuseb hinnang enam kui 30 protsenti, seega on mudel väikeettevõtete tagatiseta laenude taastumiseelduse suhtes väga tundlik. Ma ei tugineks nende segmentide puhul ühele 60-protsendilisele näitajale. Soovitaksin segmendi tasemel taastumiseeldusi ja dokumenteeritud tundlikkusvahemikku ning ütleksin mudeli omanikule, et olen testinud ainult ühte sisendit. Ma ei ole testinud korrelatsiooni ega andmete kvaliteeti.“

Miks iga vastus on õigustatud või mittetäielik. Hinnake igaüht heakskiidetud kriteeriumide, mitte juhendaja eelistuste alusel. Esimese katsega loetakse koondandmeid ja see peatub. Tugevam katse leiab, kus mudel on tundlik, määrab kasutusega seotud piirangu, soovitab piiratud tegevust ja ütleb, mis jääb testimata. See ei väida, et mudel on vale.

5. Hinnake võimekust ja plaanige üleandmist

Võimekuse tõend on vastus uuele näidisjuhtumile, mida õppija pole varem näinud. Hinnake lühikest skaalat 0 kuni 2 iga kriteeriumi kohta, mis on koos teie spetsialistiga määratletud. Meie juhend... otsustusvõime ja probleemide lahendamise hindamine koolitusel hõlmab ankruid ja kalibreerivaid hindajaid.

Ankrud: 0 tähendab puudumist või toetuseta olemist, 1 tähendab osalist oluliste puudujääkidega ja 2 tähendab täielikku ja kokkulepitud kriteeriumide alusel põhjendatud olemist. Määratlege kriitilised vead eraldi, näiteks esitage koormustesti tulemus reaalajas mudeli valideerimisena, nii et hea üldskoor ei saa neid varjata. See rubriik on soovituslik lähtepunkt, mitte valideeritud valmisoleku standard.

Töökoha järelkontroll. Sobiva aja möödudes andke uus mudeljuhtum või vaadake üle reaalajas mudelil teostatud järelevalve all tehtud väljakutse ja võrrelge seda algtasemega samade kahe näitaja alusel: stresstestide kvaliteet ja ebaõnnestumise tõlgendamine. Määrake eelnevalt kindlaks populatsioon, nimetaja ja ajastus ning registreerige, milliseid juhtumeid inimesed koolitusel nägid, et saaksite eristada tagasikutsumist üleviimisest.

Millised tõendid näitaksid, et koolitus toimis?

Otsi analüütikuid, kes mudeli puhul, mida nad pole näinud, muudavad meelega eeldust, vaatavad pealkirjast allapoole, toovad välja kasutusalaga seotud piirangu ja ütlevad, mida nad pole testinud. Lisa, mida näitab nende väljakutsemärkmete ülevaade: konkreetsed piirangud, mitte üldised hoiatused.

Olge ettevaatlik selliste tulemustega nagu leitud leidude arv. Uus mudeliinventuur, regulatiivne läbivaatamine või töö läbivaataja muutus võivad need samale perioodile nihutada. Rohkem leide võib tähendada teravamat vaidlustamist või muutunud lävendit, seega kontrollige enne koolituse arvestamist.

Kus interaktiivne edastamine aitab

Interaktiivsed formaadid aitavad, kus kõik peaksid enne tulemuse nägemist ennustusele pühenduma. Otseülekande sessioonil saab moderaator kirjeldada muutust, paluda igal analüütikul ennustada, millised väljundid muutuvad, ja seejärel tulemuse avaldada, mis näitab, kui palju intuitsioon ja mudel erinevad. Samad juhtumid võivad ettevalmistusena läbi viia iseseisvalt. AhaSlides toetab interaktiivset õppimist ja liikumist reaalajas ja iseseisvalt toimuva õppe vahel. Kontrollige kõiki autori-, tagasiside- või aruandlusfunktsioone, millele kavatsete oma töövoogu arvestades toetuda. Käsitlege simulaatoreid, virtuaalreaalsust, tehisintellekti ja süsteemiintegratsioone väliste või kinnitamata allikatena, kuni olete näinud neid töötamas. Ohutu mudeli labor on harjutamine, mitte reaalajas mudeli valideerimise asendaja.

Mida treening ei lahenda

• Nõrk valitsemine. Kui keegi ei vastuta vaidlustuse järelmeetmete eest, siis tulemused aeguvad. Lepi kõigepealt kokku omanikes.
• Pole aega vaidlustada. Inimesed, kelle läbilaskevõimet mõõdetakse, ei tee lisateste.
• Suletud mudelid. Kui analüütikud ei näe eeldusi, ei saa nad neid ka testida.
• Tõendite piirid. Juhtumite komplekti põhjal antud punktisumma ei kirjelda iga väljakutset, mida analüütik esitab, ja ükski koolitusharjutus ei valideeri reaalajas finantsmudelit.

Nimetage need sponsoritele varakult ja leppige kokku, kes igaüht parandab.

Korduma kippuvad küsimused

Mis on mudelriski koolitusharjutused?

Harjuta ülesandeid, kus analüütikud muudavad turvalise mudeli eeldusi, tõlgendavad muutusi ning selgitavad mudeli piiranguid ja sobivaid kasutusviise.

Kas koolituslabor saab valideerida reaalajas mudelit?

Ei. Laboris õpetatakse meetodit ohutul või sünteetilisel mudelil. Elusa mudeli valideerimine toimub teie enda juhtimissüsteemi ja asjakohaste juhiste järgi.

Kas analüütikud peavad nende laborite käitamiseks kodeerima?

Mitte tingimata. Piisab arvutustabeli mudelist või heakskiidetud tööriistast, millel on rõhumuutuste menüü. Õpetatav oskus on tõlgendamine, mitte programmeerimine.

Kuidas hinnata väljakutseoskusi õiglaselt?

Kasutage uut juhtumit, lühikest rubriiki ja kokkulepitud aluspõhimõtteid ning laske mudeliriski spetsialistil punktiarvestust kalibreerida.

Kust alustada

Küsi mudeli riskispetsialistilt ühte väikest, turvalist mudelit ja kolme kinnitatud eelduse muudatust. Koosta kolmekriteeriumiline rubriik, vii ühe meeskonnaga läbi harjutus „muuda ühte eeldust“ ja seejärel hinda uut juhtumit enne selle kasutuselevõttu.

Et näha, kuidas sellist ennusta-siis-avalikusta laborit saaks reaalajas käivitada ja hiljem iseseisvalt uuesti kasutada, uurige AhaSlides.