Luottoriskimalli on toiminut hyvin kolmen vuoden ajan. Sen takautuva testaus on puhdas, tulokset ovat mukavasti toleranssirajojen sisällä ja yritys luottaa siihen. Koulutuslaboratoriossa analyytikko muuttaa yhtä hyväksyttyä lähtötietoa, lainaluokan odotettua takaisinperintäastetta, vähemmän mukavaan arvoon. Tulosteen otsikko tuskin muuttuu. Kaksi segmenttiä liikkuu paljon. Analyytikon on päätettävä, mitä tämä tarkoittaa, mitä kertoa mallin omistajalle ja mihin mallia ei pitäisi käyttää.
Tämä on havainnollistava skenaario, ei dokumentoitu asiakastapaus. Se osoittaa taidot, joita malliriskikoulutuksissa on kehitettävä: oletusten testaaminen, rajoitusten selittäminen ja päätöksen perusteleminen, kun malli näyttää vakaalta. Tämä opas on tarkoitettu riskikoulutuksen päälliköille sekä compliance- ja malliriskijohtajille, jotka vastaavat vastauksista. Se kattaa vain koulutuksen suunnittelun. Koulutusharjoitus ei validoi toimivaa taloudellista mallia, ja malliriskiasiantuntijan tulisi tarkistaa jokainen tapaus ennen käyttöä.
Mitä ovat malliriskikoulutukset?
Malliriskiharjoitukset ovat strukturoituja harjoitustehtäviä, joissa analyytikot tutkivat mallia, yleensä yksinkertaistettua tai synteettistä mallia, muuttamalla oletuksia ja syötteitä, tulkitsevat sitten tapahtumia ja selittävät mallin tukemien ominaisuuksien rajoitukset. Stressitestauslaboratorio on tämän käytännönläheinen muoto: turvallinen malli, joukko hyväksyttyjä muutoksia ja vaatimus johtopäätösten perustelemiseksi.
Nopeita faktoja
| Kysymys | Lyhyt vastaus |
|---|---|
| Mikä on tehtävä? | Testaa oletuksia ja selitä mallin rajoitukset. |
| Mitä pisteitä saat? | Stressitestien laatu ja epäonnistuneiden testien tulkinta. |
| Validoiko laboratorio elävän mallin? | Ei. Se opettaa menetelmän turvallisella tai synteettisellä mallilla. |
| Kuka hyväksyy tapauksen? | Malliriskiasiantuntija, ei kouluttaja. |
| Livenä vai omaan tahtiin? | Käsitteiden ja työkalujen osalta omaan tahtiin, tulkinnan osalta livenä tai fasilitoimalla. |
| Mitä harjoitus ei korjaa? | Heikko hallinto, ei aikaa haastamiseen ja epäselvä omistajuus. |
| Mistä tiedät, että se toimi? | Uusi mallitapaus tai ohjattu arviointi tauon jälkeen, pisteytettynä arviointimatriisin perusteella. |
1. Kuvaile suorituskykyongelma
Aloita päätöksestä. Mitä analyytikon on tehtävä, kun malli näyttää hyvältä? Kirjoita se yhdeksi verbipohjaiseksi lauseeksi: "Muuta hyväksyttyä oletusta, tarkkaile muutoksia, selitä tämän paljastamat rajoitukset ja kerro, mihin mallia tulisi ja ei tulisi käyttää."
Valvojat nimeävät tämän taidon. Yhdysvaltain keskuspankki ja valuutanvalvojan toimisto laskivat liikkeeseen SR 11-7, Valvontaohjeet malliriskien hallintaan, 4. huhtikuuta 2011. Siinä malliriskiä kuvataan virheellisiin tai väärin käytettyihin mallituloksiin perustuvien päätösten mahdollisuutena aiheuttaa haitallisia seurauksia, ja siinä kutsutaan "tehokasta kyseenalaistamista" ohjaavaksi periaatteeksi: kriittiseksi analyysiksi objektiivisten, informoitujen osapuolten toimesta, jotka pystyvät tunnistamaan mallin rajoitukset ja oletukset ja tuottamaan asianmukaisia muutoksia. Tämä on Yhdysvaltojen ohjeistus, ei sääntö kaikille lainkäyttöalueille, joten tarkista itseesi sovellettavat vaatimukset. Se on tarkka kuvaus suorituskyvystä, jota koulutuksen tulisi rakentaa.
2. Diagnosoi oppimis- ja kontekstikuivat
Vertaa roolin vaatimuksia nykyisen koulutuksesi käytäntöihin ja arviointeihin.
- Mitä analyytikot nykyään tekevät? Jos koulutus on luento mallin hallinnasta ja dokumentaation tarkistuslista, he ovat oppineet sanaston. He eivät ole harjoitelleet mallin rikkomista tarkoituksella.
- Mikä on kognitiivinen vaatimus? Bloomin tarkistetussa taksonomiassa testin suorittaminen on soveltamista, mallin epäonnistumisen syiden tulkinta on analyysia, mallin käyttötarkoitukseen soveltuvuuden arviointi on arviointia ja uuden stressitestin suunnittelu on luomista. Oppaamme oppimistoimintojen yhdistäminen Bloomin taksonomiaan selittää, miten näitä vaatimuksia luetaan.
- Onko esteenä jokin muu kuin taito? Tarkista ensin henkilöstö, työkalut ja menettelytavat. Jos analyytikoilla ei ole aikaa kyseenalaistaa mallin oletuksia, heillä ei ole pääsyä mallin oletuksiin tai heillä ei ole keinoa nostaa esiin rajoituksia, laboratorio ei muuta maanantain tapahtumia.
- Onko haaste tervetullut? Jos mallin haastaminen tarkoittaa sen omistajan kritisointia, ihmiset pysyvät hiljaa. Sopikaa, miten haasteeseen suhtaudutaan, ennen kuin harjoittelette sitä varten.
3. Suunnittele tarkoituksenmukainen valmistautuminen ja harjoittelu
Anna jokaiselle vaiheelle oma tehtävänsä.
Valmistelu: Tarkista edellytykset. Lyhyt, itse tehtävä diagnostiikka mallin tarkoituksesta, sen tärkeimmistä syötteistä ja laboratorion tarvitsemista tilastollisista ideoista. Tällainen takaisinkutsutarkistus vahvistaa vain esivaatimukset. Älä raportoi sitä kyvykkyydenä.
Harjoitus: mallinnusstressitestauslaboratoriot. Rakenna pieni, turvallinen malli tai käytä hyväksyttyä synteettistä mallia ja anna oppijoille luettelo hyväksytyistä muutoksista. Kolme harjoitusta nousevassa vaativuusjärjestyksessä:
- Muuta yhtä oletusta. Oppija siirtää yhtä hyväksyttyä syötettä ja kirjaa ylös, mitkä tulosteet liikkuvat, kuinka paljon ja mitkä eivät.
- Etsi segmentti, jonka se katkaisee. Oppija katsoo otsikkonumeron alapuolelle ja etsii, missä malli on epävakaampi, ja ilmoittaa sitten, mihin hän ei käyttäisi sitä.
- Suunnittele seuraava testi. Oppija ehdottaa uutta stressitestiä, kertoo, mikä tulos muuttaisi hänen näkemystään ja mitä sen suorittaminen maksaisi.
Päätöksiin liittyvä palaute. "Ilmoitit otsikon muutoksesta etkä tarkistanut kahta eniten muuttunutta segmenttiä" on hyödyllisempi kuin pisteytys. Nimeä päätös, käytetty tai huomiotta jätetty näyttö ja hyväksytty kriteeri.
Live-ohjaajan syöte vai asynkroninen arviointi? Live-syöte tuo eniten lisäarvoa, kun malliriskiasiantuntija selittää, miksi rajoituksella on merkitystä tai miksi testi oli heikko. Asynkroninen tarkistus riittää käsitteiden, testitulosten tarkistamiseen avainta vasten ja kirjallisten rajoituslausuntojen laatimiseen, jotka asiantuntija voi lukea myöhemmin. Yleinen yhdistelmä on omaan tahtiin valmistautuminen, ohjattu laboratorioharjoitus ja sitten kokeneemman kollegan ohjaama todellisen mallin haastaminen.
4. Käytä realistista esimerkkiä
Havainnollistava. Malliriskiasiantuntijan tulisi validoida tapaus ja vastata kriteereihin ennen käyttöä.
Tapaus. Yksinkertaistetussa luottotappiomallissa käytetään 60 prosentin odotettua takaisinperintäastetta. Takautuva testaus on puhdas. Hyväksytty stressi muuttaa vakuudettomien lainojen takaisinperintäasteen 40 prosenttiin. Salkun tappioarvio nousee kokonaisuudessaan 4 prosenttia. Kahden segmentin, joista molemmat ovat pienten yritysten vakuudettomia, tappiot nousevat yli 30 prosenttia.
Tehtävä. Opiskelija kertoo, mitä testi osoittaa, selittää rajoituksen ja suosittelee päätöstä.
Ensimmäinen yritys. "Kokonaismuutos on vain neljä prosenttia, joten malli on vankka tälle oletusarvolle."
Palaute ja uudelleenyritys. Ohjaaja kysyy, mitkä segmentit liikkuivat eniten, kuinka suuria ne ovat portfoliossa ja mitä kokonaisluku peittää alta. Uusintayrityksessä kysytään tulkintaa, rajoitusta ja suositusta.
Vahvempi yritys. "Pääluku muuttuu vain vähän, koska kyseiset segmentit ovat pieni osa salkusta. Niiden sisällä arvio nousee yli 30 prosenttia, joten malli on erittäin herkkä pienten yritysten vakuudettomien lainojen takaisinperintäoletukselle. En luottaisi yksittäiseen 60 prosentin lukuun näiden segmenttien osalta. Suosittelisin segmenttitason takaisinperintäoletuksia ja dokumentoitua herkkyysaluetta, ja kertoisin mallin omistajalle, että olen testannut vain yhtä syötettä. En ole testannut korrelaatiota tai datan laatua."
Miksi kukin vastaus on puolusteltava tai epätäydellinen. Arvioi kutakin hyväksyttyjen kriteerien, ei fasilitaattorin mieltymysten, perusteella. Ensimmäinen yritys lukee aggregaatin ja pysähtyy. Vahvempi yritys löytää mallin herkkyyskohdat, toteaa käyttöön liittyvän rajoituksen, suosittelee rajattua toimenpidettä ja sanoo, mitä ei vielä testata. Se ei väitä mallin olevan väärä.
5. Arvioi kyvykkyydet ja suunnittele siirto
Kyvykkyyden osoittaminen on vastaus uuteen mallitapaukseen, jota oppija ei ole nähnyt. Pisteytä lyhyt arviointikriteeri asteikolla 0–2, joka on määritelty yhdessä asiantuntijasi kanssa. Oppaamme... harkintakyvyn ja ongelmanratkaisun arviointi koulutuksessa kattaa ankkurit ja kalibroivat arvioijat.
| Kriteeri | Havaittavissa oleva näyttö |
|---|---|
| Tehtävän suorittaminen | Suorittaa hyväksyttyjä stressitestejä ja kirjaa toimenpiteet ja niiden taustalla olevat todisteet. |
| perustelut | Selittää, mikä epäonnistui, sen osoittamat rajoitukset ja mitä ei testattu, mukaan lukien epäonnistumisen tulkinta. |
| Rajat | Käyttää hyväksyttyjä menettelytapoja ja hakee apua, kun tietoa tai valtuutusta puuttuu. |
Ankkurit: 0 tarkoittaa puuttuvaa tai ei-tuettua, 1 tarkoittaa osittaista ja olennaisia puutteita sisältävää ja 2 tarkoittaa täydellistä ja perusteltua sovittujen kriteerien perusteella. Määrittele kriittiset virheet erikseen, esimerkiksi esittämällä stressitestituloksen toimivan mallin validointina, jotta hyvä kokonaispistemäärä ei voi peittää sitä. Tämä arviointimatriisi on ehdotettu lähtökohta, ei validoitu valmiusstandardi.
Työpaikan seuranta. Sopivan ajan kuluttua anna uusi mallitapaus tai tarkastele ohjattua haastetta elävällä mallilla ja vertaa sitä lähtötasoon samojen kahden mittarin perusteella: stressitestien laatu ja epäonnistumisen tulkinta. Määrittele populaatio, nimittäjä ja ajoitus etukäteen ja kirjaa ylös, mitkä tapaukset ihmiset näkivät koulutuksessa, jotta voit erottaa palautuksen siirrosta.
Mitä todisteita osoittaisi koulutuksen toimivuudesta?
Etsi analyytikoita, jotka mallissa, jota he eivät ole nähneet, muuttavat oletusta tarkoituksella, katsovat otsikon alle, mainitsevat käyttöön liittyvän rajoituksen ja kertovat, mitä he eivät ole testanneet. Lisää myös se, mitä heidän haastemuistioidensa tarkastelu osoittaa: erityisiä rajoituksia yleisten varoitusten sijaan.
Ole varovainen sellaisten tulosten kanssa kuin tehtyjen havaintojen lukumäärä. Uusi malliluettelo, sääntelyyn liittyvä tarkastus tai työn tarkastajan muutos voivat siirtää ne samalle ajanjaksolle. Useammat havainnot voivat tarkoittaa terävämpää haastetta tai muuttunutta kynnysarvoa, joten tarkista ne ennen koulutuksen hyväksilukemista.
Missä interaktiivinen toimitus auttaa
Interaktiiviset formaatit auttavat, koska kaikkien tulisi sitoutua ennusteeseen ennen kuin ryhmä näkee tuloksen. Live-istunnossa fasilitaattori voi kuvailla muutoksen, pyytää jokaista analyytikkoa ennustamaan, mitkä tuotokset muuttuvat, ja sitten paljastaa tuloksen, mikä paljastaa, kuinka paljon intuitio ja malli eroavat toisistaan. Samat tapaukset voivat tapahtua omaan tahtiin valmistautumisen aikana. AhaSlides tukee vuorovaikutteista oppimista ja siirtymistä live-oppimisen ja omaan tahtiin tapahtuvan toteutuksen välillä. Tarkista kaikki sisällöntuotanto-, palaute- tai raportointitoiminnot, joihin aiot luottaa omassa työnkulussasi. Käsittele simulaattoreita, virtuaalitodellisuutta, tekoälyä ja järjestelmäintegraatioita ulkoisina tai vahvistamattomina, kunnes olet nähnyt niiden toimivan. Turvallisen mallin laboratorio on harjoittelua, ei korvaa live-mallin validointia.
Mitä koulutus ei korjaa
- Heikko hallinto. Jos kukaan ei omista haasteen jatkotoimia, löydökset raukeavat. Sovi omistajista ensin.
- Ei aikaa haastaa. Läpäisykyvyn perusteella mitatut ihmiset eivät suorita ylimääräisiä testejä.
- Suljetut mallit. Jos analyytikot eivät näe oletuksia, he eivät voi testata niitä.
- Todisteiden rajat. Tapauskohtainen pisteytys ei kuvaa kaikkia analyytikon kohtaamia haasteita, eikä mikään harjoitus vahvista reaaliaikaista taloudellista mallia.
Nimeä nämä sponsoreille ajoissa ja sovi, kuka korjaa kunkin.
Usein kysyttyjä kysymyksiä
Mitä ovat malliriskikoulutukset?
Harjoittele tehtäviä, joissa analyytikot muuttavat turvallisen mallin oletuksia, tulkitsevat muutoksia ja selittävät mallin rajoitukset ja asianmukaiset käyttötarkoitukset.
Voiko koulutuslaboratorio validoida live-mallin?
Ei. Laboratoriossa opetetaan menetelmää turvallisella tai synteettisellä mallilla. Elävän mallin validointi noudattaa omaa hallintotapaanne ja asiaankuuluvia ohjeitanne.
Pitääkö analyytikoiden koodata näiden laboratorioiden pyörittämiseen?
Ei välttämättä. Taulukkolaskentaohjelma tai hyväksytty työkalu, jossa on valikko stressimuutoksille, riittää. Opetettava taito on tulkintaa, ei ohjelmointia.
Miten arvioit haastetaitoja oikeudenmukaisesti?
Käytä uutta tapausta, lyhyttä arviointimatriisia ja sovittuja ankkureita ja pyydä malliriskiasiantuntijaa kalibroimaan pisteytys.
Mistä aloittaa
Pyydä malliriskiasiantuntijalta yksi pieni, turvallinen malli ja kolme hyväksyttyä oletusten muutosta. Laadi kolmen kriteerin arviointimatriisi, suorita "muuta yksi oletus" -harjoitus yhden tiimin kanssa ja pisteytä sitten uusi tapaus ennen sen käyttöönottoa.
Jos haluat nähdä, miten tällainen ennusta-ja-paljasta-laboratorio voisi toimia livenä ja sitä voitaisiin käyttää uudelleen omaan tahtiin jälkikäteen, tutustu seuraaviin aiheisiin: AhaSlides.
