Mga pagsasanay sa modelo ng panganib: kung paano magdisenyo ng mga laboratoryo ng stress-testing na nagtuturo sa mga analyst na hamunin ang mga pagpapalagay

Ang isang modelo ng panganib sa kredito ay mahusay na kumilos sa loob ng tatlong taon. Malinis ang back-test nito, ang mga output nito ay komportable sa loob ng tolerance at pinagkakatiwalaan ito ng negosyo. Sa isang training lab, binabago ng isang analyst ang isang inaprubahang input assumption, ang inaasahang recovery rate sa isang klase ng mga pautang, sa isang hindi gaanong komportableng halaga. Halos hindi nagbabago ang headline output. Dalawang segment ang nagbabago nang malaki. Kailangang magpasya ang analyst kung ano ang ibig sabihin nito, kung ano ang sasabihin sa may-ari ng modelo at kung para saan hindi dapat gamitin ang modelo.

Ito ay isang naglalarawang senaryo, hindi isang dokumentadong kaso ng customer. Ipinapakita nito ang kasanayang kailangang mabuo ng mga pagsasanay sa modelo ng panganib: pagsubok sa mga pagpapalagay, pagpapaliwanag ng mga limitasyon at pagbibigay-katwiran sa isang desisyon kapag ang isang modelo ay mukhang matatag. Ang gabay na ito ay para sa mga pinuno ng pagsasanay sa panganib at para sa mga compliance at model risk lead na nagmamay-ari ng mga sagot. Saklaw lamang nito ang disenyo ng pagsasanay. Ang isang pagsasanay ay hindi nagpapatunay ng isang live na modelo ng pananalapi, at dapat suriin ng isang espesyalista sa modelo ng panganib ang bawat kaso bago gamitin.

Ano ang mga pagsasanay sa modelo ng panganib?

Ang mga pagsasanay sa panganib ng modelo ay mga nakabalangkas na gawain kung saan sinusuri ng mga analyst ang isang modelo, kadalasan ay isang pinasimple o sintetiko, sa pamamagitan ng pagbabago ng mga pagpapalagay at input, pagkatapos ay binibigyang-kahulugan ang nangyayari at ipinapaliwanag ang mga limitasyon ng kung ano ang kayang suportahan ng modelo. Ang isang stress-testing lab ay ang praktikal na anyo nito: isang ligtas na modelo, isang hanay ng mga naaprubahang pagbabago at isang kinakailangan upang bigyang-katwiran ang mga konklusyon.

Mabilis na katotohanan

1. Ilarawan ang problema sa pagganap

Magsimula sa desisyon. Ano ang dapat gawin ng isang analyst kapag maganda ang itsura ng isang modelo? Isulat ito bilang isang pangungusap na pinangungunahan ng pandiwa: "Baguhin ang isang naaprubahang palagay, obserbahan kung ano ang gumagalaw, ipaliwanag ang limitasyong inilalantad nito at sabihin kung para saan dapat at hindi dapat gamitin ang modelo."

Pinangalanan ng mga superbisor ang kasanayang ito. Nag-isyu ang US Federal Reserve at ang Office of the Comptroller of the Currency ng SR 11-7, Patnubay sa Pagsubaybay sa Pamamahala ng Modelo ng Panganib, noong ika-4 ng Abril 2011. Inilalarawan nito ang panganib ng modelo bilang ang potensyal para sa masamang bunga mula sa mga desisyon batay sa hindi tama o maling paggamit ng mga output ng modelo, at tinatawag nitong gabay na prinsipyo ang "epektibong hamon": kritikal na pagsusuri ng mga obhetibo at may kaalamang partido na maaaring matukoy ang mga limitasyon at pagpapalagay ng modelo at makagawa ng mga naaangkop na pagbabago. Iyan ang gabay ng US, hindi isang patakaran para sa bawat hurisdiksyon, kaya suriin ang mga kinakailangan na naaangkop sa iyo. Ito ay isang malapit na paglalarawan ng pagganap na dapat buuin ng pagsasanay.

2. Suriin ang mga kakulangan sa pagkatuto at konteksto

Ihambing ang hinihingi ng tungkulin sa kung ano ang ginagawa at sinusuri ng iyong kasalukuyang pagsasanay.

1. Ano ang ginagawa ng mga analyst ngayon? Kung ang pagsasanay ay isang lektura tungkol sa pamamahala ng modelo kasama ang isang checklist ng dokumentasyon, natutunan na nila ang bokabularyo. Hindi nila sinasadyang magsanay na sirain ang isang modelo.
2. Ano ang pangangailangang kognitibo? Sa binagong taxonomy ni Bloom, ang pagpapatakbo ng isang pagsubok ay aplikasyon, ang pagbibigay-kahulugan kung bakit nabigo ang modelo ay pagsusuri, ang paghusga kung ang modelo ay angkop para sa isang paggamit ay pagsusuri, at ang pagdidisenyo ng isang bagong stress test ay paglikha. Ang aming gabay sa pagtutugma ng mga aktibidad sa pagkatuto sa taksonomiya ni Bloom nagpapaliwanag kung paano basahin ang mga kahilingang ito.
3. Mayroon bang ibang bagay na nakaharang bukod sa kasanayan? Suriin muna ang mga tauhan, kagamitan, at pamamaraan. Kung walang oras ang mga analyst para hamunin ang mga ito, walang access sa mga pagpapalagay ng modelo, o walang paraan para magtaas ng limitasyon, hindi mababago ng isang laboratoryo ang mangyayari sa Lunes.
4. Tinatanggap ba ang hamon? Kung ang paghamon sa isang modelo ay nangangahulugang pagpuna sa may-ari nito, mananahimik na lang ang mga tao. Sumang-ayon ka kung paano tinatanggap ang hamon bago ka magsanay para dito.

3. Magdisenyo ng may layuning paghahanda at pagsasanay

Bigyan ang bawat yugto ng sarili nitong trabaho.

Paghahanda: suriin ang mga kinakailangan. Isang maikling pagsusuri sa sarili nitong bilis tungkol sa layunin ng modelo, mga pangunahing input nito, at mga ideyang pang-estadistika na kailangan ng laboratoryo. Kinukumpirma lamang ng recall check na tulad nito ang mga kinakailangan. Huwag itong iulat bilang kakayahan.

Pagsasanay: mga modelo ng laboratoryo ng stress-testing. Gumawa ng isang maliit at ligtas na modelo, o gumamit ng isang aprubadong sintetiko, at bigyan ang mga mag-aaral ng isang listahan ng mga aprubadong pagbabago. Tatlong pagsasanay sa tumataas na pagkakasunud-sunod ng demand:

• Baguhin ang isang palagay. Ililipat ng mag-aaral ang isang inaprubahang input at itatala kung aling mga output ang gumagalaw, kung gaano karami at alin ang hindi.
• Hanapin ang segment na pinaghihiwalay nito. Titingnan ng mag-aaral ang ibaba ng numero ng headline at hahanapin kung saan ang modelo ay hindi gaanong matatag, pagkatapos ay sasabihin kung para saan nila ito hindi gagamitin.
• Idisenyo ang susunod na pagsubok. Magmumungkahi ang mag-aaral ng karagdagang stress test, sasabihin kung anong resulta ang magpapabago sa kanilang pananaw at kung magkano ang magagastos para maisagawa ito.

Feedback na may kaugnayan sa mga desisyon. Mas kapaki-pakinabang ang "Iniulat mo ang pagbabago sa headline at hindi mo tiningnan ang dalawang segment na pinakamadalas gumalaw" kaysa sa isang iskor. Pangalanan ang desisyon, ang ebidensyang ginamit o hindi ginamit, at ang naaprubahang pamantayan.

Live na input ng instruktor o asynchronous na pagsusuri? Ang live input ay nagdaragdag ng pinakamalaking halaga kapag ipinaliwanag ng isang model risk specialist kung bakit mahalaga ang isang limitasyon, o kung bakit mahina ang isang pagsubok. Sapat na ang asynchronous review para sa mga konsepto, para sa pagsusuri ng mga resulta ng pagsubok laban sa isang susi at para sa mga nakasulat na pahayag ng limitasyon na maaaring basahin ng isang espesyalista sa ibang pagkakataon. Ang isang karaniwang kombinasyon ay ang self-paced na paghahanda, isang pinadali na lab, pagkatapos ay pinangangasiwaang hamon ng isang tunay na modelo ng isang mas may karanasang kasamahan.

4. Gumawa ng isang makatotohanang halimbawa

Paglalarawan. Dapat patunayan ng isang espesyalista sa panganib ng modelo ang kaso at sagutin ang mga pamantayan bago gamitin.

Ang kaso. Ang isang pinasimpleng modelo ng pagkalugi sa pautang ay gumagamit ng inaasahang rate ng pagbawi na 60 porsyento. Malinis ang back-testing. Binabago ng inaprubahang stress ang rate sa 40 porsyento para sa mga unsecured loan. Ang pagtatantya ng pagkalugi sa portfolio ay tumaas ng 4 na porsyento sa pangkalahatan. Dalawang segment, parehong maliliit na negosyong unsecured, ay tumaas ng mahigit 30 porsyento.

Ang gawain. Ipapahayag ng mag-aaral kung ano ang ipinapakita ng pagsusulit, ipapaliwanag ang limitasyon at magrerekomenda ng desisyon.

Isang unang pagsubok. "Ang kabuuang pagbabago ay 4 na porsyento lamang, kaya ang modelo ay matatag sa palagay na ito."

Magbigay ng feedback at subukan muli. Itatanong ng tagapagpadaloy kung aling mga segment ang pinakamalaki ang ginalaw, gaano kalaki ang mga ito sa portfolio at ano ang nakatago sa kabuuang bilang. Hihingi ng interpretasyon, limitasyon, at rekomendasyon ang muling pagsubok.

Isang mas malakas na pagtatangka. "Maliit lang ang pagbabago sa pangunahing datos dahil ang mga apektadong segment ay maliit na bahagi lamang ng portfolio. Sa loob ng mga ito, ang pagtatantya ay tumaas ng mahigit 30 porsyento, kaya ang modelo ay lubos na sensitibo sa palagay ng pagbawi para sa maliliit na negosyong walang seguridad na pagpapautang. Hindi ako aasa sa iisang 60 porsyentong datos para sa mga segment na iyon. Irerekomenda ko ang mga palagay ng pagbawi sa antas ng segment at isang dokumentadong saklaw ng sensitivity, at sasabihin ko sa may-ari ng modelo na isa lang ang input na sinubukan ko. Hindi ko pa nasubukan ang ugnayan o kalidad ng datos."

Kung bakit ang bawat tugon ay maipagtatanggol o hindi kumpleto. Husgahan ang bawat isa batay sa naaprubahang pamantayan, hindi ang kagustuhan ng tagapagpadaloy. Binabasa ng unang pagtatangka ang pinagsama-samang resulta at humihinto. Tinutukoy ng mas malakas na pagtatangka kung saan sensitibo ang modelo, nagsasaad ng limitasyon na nakatali sa isang paggamit, nagrerekomenda ng isang may hangganang aksyon at sinasabi kung ano ang nananatiling hindi pa nasusubukan. Hindi nito inaangkin na mali ang modelo.

5. Suriin ang kakayahan at planuhin ang paglipat

Ang ebidensya ng kakayahan ay isang tugon sa isang bagong modelo ng kaso na hindi pa nakikita ng mag-aaral. Bigyan ng maikling rubric mula 0 hanggang 2 bawat pamantayan, na tinukoy kasama ng iyong espesyalista. Ang aming gabay sa pagtatasa ng paghatol at paglutas ng problema sa pagsasanay sumasaklaw sa mga angkla at mga tagasuri ng pagkakalibrate.

Mga Anchor: Ang 0 ay nangangahulugang wala o hindi sinusuportahan, ang 1 ay nangangahulugang bahagyang may mga kaugnay na kakulangan, at ang 2 ay nangangahulugang kumpleto at makatwiran batay sa napagkasunduang pamantayan. Hiwalay na tukuyin ang mga kritikal na error, halimbawa ang paglalahad ng resulta ng stress test bilang pagpapatunay ng isang live na modelo, kaya hindi ito maaaring itago ng isang mahusay na pangkalahatang iskor. Ang rubric na ito ay isang iminungkahing panimulang punto, hindi isang napatunayang pamantayan ng kahandaan.

Pagsubaybay sa lugar ng trabaho. Pagkatapos ng angkop na panahon, magbigay ng isang bagong kaso ng modelo o repasuhin ang isang pinangangasiwaang hamon sa isang live na modelo, at ihambing ito sa baseline sa parehong dalawang sukatan: kalidad ng mga stress test at interpretasyon ng pagkabigo. Tukuyin ang populasyon, ang denominator at ang tiyempo nang maaga, at itala kung aling mga kaso ang nakita ng mga tao sa pagsasanay upang matukoy mo ang naalala mula sa paglilipat.

Anong ebidensya ang magpapatunay na epektibo ang pagsasanay?

Maghanap ng mga analyst na, sa isang modelong hindi pa nila nakikita, sinasadyang binabago ang isang palagay, tumitingin sa ibaba ng headline, nagsasaad ng isang limitasyon na nauugnay sa isang gamit at nagsasabi ng mga bagay na hindi pa nila nasusubukan. Idagdag kung ano ang ipinapakita ng isang pagsusuri sa kanilang mga tala ng hamon: mga partikular na limitasyon sa halip na mga pangkalahatang paalala.

Mag-ingat sa mga kinalabasan tulad ng bilang ng mga natuklasang naisampa. Ang isang imbentaryo ng bagong modelo, isang pagsusuri sa regulasyon o isang pagbabago sa kung sino ang susuri sa gawain ay maaaring maglipat ng mga ito sa parehong panahon. Ang mas maraming natuklasan ay maaaring mangahulugan ng mas matinding hamon o isang pagbabago sa limitasyon, kaya suriin bago i-credit ang pagsasanay.

Kung saan nakakatulong ang interactive na paghahatid

Nakakatulong ang mga interaktibong format kung saan dapat mangako ang lahat sa isang hula bago pa man makita ng grupo ang resulta. Sa isang live na sesyon, maaaring ilarawan ng isang facilitator ang isang pagbabago, hilingin sa bawat analyst na hulaan kung aling mga output ang magbabago at pagkatapos ay ibunyag ang resulta, na naglalantad kung gaano kalayo ang pagkakaiba ng intuwisyon at ng modelo. Ang parehong mga kaso ay maaaring tumakbo nang kusa bilang paghahanda. AhaSlides Sinusuportahan ang interactive na pagkatuto at paglipat sa pagitan ng live at self-paced na paghahatid. Suriin ang anumang function ng pag-author, feedback o pag-uulat na plano mong asahan laban sa iyong sariling daloy ng trabaho. Ituring ang mga simulator, virtual reality, AI at mga integrasyon ng system bilang panlabas o hindi pa nakumpirma hanggang sa makita mo ang mga ito na gumagana. Ang isang lab sa isang ligtas na modelo ay pagsasanay, hindi kapalit ng pagpapatunay ng isang live na modelo.

Anong pagsasanay ang hindi maaayos

• Mahinang pamamahala. Kung walang nagmamay-ari ng kasunod na imbestigasyon sa isang hamon, mawawalan ng bisa ang mga natuklasan. Sumang-ayon muna ang mga may-ari.
• Walang oras para hamunin. Ang mga taong sinusukat sa throughput ay hindi magsasagawa ng mga karagdagang pagsusuri.
• Mga saradong modelo. Kung hindi makita ng mga analyst ang mga pagpapalagay, hindi nila masusubukan ang mga ito.
• Mga limitasyon ng ebidensya. Hindi inilalarawan ng iskor sa isang hanay ng mga kaso ang bawat hamong gagawin ng isang analyst, at walang pagsasanay na nagpapatunay sa isang aktwal na modelo ng pananalapi.

Banggitin ang mga ito sa mga sponsor nang maaga at pag-usapan kung sino ang mag-aayos ng bawat isa.

Mga madalas itanong

Ano ang mga pagsasanay sa modelo ng panganib?

Magsanay ng mga gawain kung saan binabago ng mga analyst ang mga pagpapalagay sa isang ligtas na modelo, binibigyang-kahulugan kung ano ang gumagalaw at ipinapaliwanag ang mga limitasyon at angkop na gamit ng modelo.

Maaari bang i-validate ng isang training lab ang isang live na modelo?

Hindi. Itinuturo ng laboratoryo ang isang pamamaraan sa isang ligtas o sintetikong modelo. Ang pagpapatunay ng isang live na modelo ay sumusunod sa iyong sariling pamamahala at sa mga kaugnay na gabay.

Kailangan ba ng mga analyst na mag-code para mapatakbo ang mga lab na ito?

Hindi naman kinakailangan. Sapat na ang isang spreadsheet model o isang aprubadong tool na may listahan ng mga pagbabago sa stress. Ang kasanayang itinuturo ay interpretasyon, hindi programming.

Paano mo makatarungang sinusuri ang mga kasanayan sa paghamon?

Gumamit ng bagong kaso, isang maikling rubric, at mga napagkasunduang anchor, at ipa-calibrate ang pagmamarka sa isang model risk specialist.

Saan magsisimula

Humingi ng isang maliit at ligtas na modelo at tatlong aprubadong pagbabago sa palagay sa isang modelo. Ibalangkas ang rubric na may tatlong pamantayan, patakbuhin ang pagsasanay na "baguhin ang isang palagay" kasama ang isang pangkat, pagkatapos ay bigyan ng marka ang isang bagong kaso bago mo ito ilunsad.

Para makita kung paano maaaring gumana nang live ang isang predict-then-reveal lab na tulad nito at magamit muli nang kusang-loob pagkatapos, tuklasin AhaSlides.