Un model de risc de credit s-a comportat bine timp de trei ani. Testele sale retrospective sunt clare, rezultatele se situează confortabil în limitele toleranței, iar compania are încredere în el. Într-un laborator de antrenament, un analist modifică o ipoteză de intrare aprobată, rata de recuperare așteptată pentru o clasă de credite, la o valoare mai puțin confortabilă. Rezultatul principal se mișcă foarte puțin. Două segmente se mișcă foarte mult. Analistul trebuie să decidă ce înseamnă asta, ce să-i spună proprietarului modelului și la ce nu ar trebui folosit modelul.
Acesta este un scenariu ilustrativ, nu un caz documentat al unui client. Acesta demonstrează abilitățile pe care trebuie să le dezvolte exercițiile de instruire privind riscul de modelare: testarea ipotezelor, explicarea limitelor și justificarea unei decizii atunci când un model pare stabil. Acest ghid este destinat șefilor departamentelor de instruire privind riscul și responsabililor cu conformitatea și riscul de modelare care dețin răspunsurile. Acesta acoperă doar proiectarea instruirii. Un exercițiu de instruire nu validează un model financiar real, iar un specialist în risc de modelare ar trebui să revizuiască fiecare caz înainte de utilizare.
Ce sunt exercițiile de antrenament pentru riscul modelului?
Exercițiile de antrenament pentru riscul de model sunt sarcini structurate de practică în care analiștii investighează un model, de obicei unul simplificat sau sintetic, prin modificarea ipotezelor și a datelor de intrare, apoi interpretează ce se întâmplă și explică limitele a ceea ce poate suporta modelul. Un laborator de testare la stres este forma practică a acestui lucru: un model sigur, un set de modificări aprobate și o cerință de justificare a concluziilor.
Scurte
| Întrebare | Răspuns scurt |
|---|---|
| Care este sarcina? | Testați ipotezele și explicați limitele unui model. |
| Ce punctaj obții? | Calitatea testelor de stres și interpretarea a ceea ce a eșuat. |
| Laboratorul validează un model viu? | Nu. Predă o metodă pe un model sigur sau sintetic. |
| Cine aprobă cazul? | Un specialist în risc model, nu antrenorul. |
| Live sau în ritmul propriu? | Ritm propriu pentru concepte și instrumente, interpretare live sau facilitată. |
| Ce nu poate rezolva antrenamentul? | Guvernare slabă, lipsa timpului pentru contestații și o responsabilitate neclară. |
| De unde știi că a funcționat? | Un nou model de caz sau o revizuire supervizată după o pauză, evaluată în funcție de rubrică. |
1. Descrieți problema de performanță
Începeți cu decizia. Ce trebuie să facă un analist atunci când un model pare a fi în regulă? Scrieți-o ca o singură propoziție bazată pe verb: „Schimbați o presupunere aprobată, observați ce se mișcă, explicați limitarea expusă de aceasta și spuneți la ce ar trebui și la ce nu ar trebui folosit modelul.”
Supraveghetorii numesc această abilitate. Rezerva Federală a SUA și Oficiul Controlorului Monedei emise SR 11-7, Îndrumări de supraveghere privind gestionarea riscului de model, pe 4 aprilie 2011. Acesta descrie riscul de model ca fiind potențialul unor consecințe negative în urma deciziilor bazate pe rezultate incorecte sau utilizate greșit ale modelului și numește „provocarea eficientă” un principiu călăuzitor: analiza critică de către părți obiective și informate, care pot identifica limitele și ipotezele modelului și pot produce modificările corespunzătoare. Acestea sunt îndrumări ale SUA, nu o regulă pentru fiecare jurisdicție, așadar verificați cerințele care vi se aplică. Este o descriere detaliată a performanței pe care ar trebui să o construiască instruirea.
2. Diagnosticați lacunele de învățare și context
Compară cerințele rolului cu ceea ce practicile și evaluările tale actuale de formare.
- Ce practică analiștii acum? Dacă instruirea constă într-o lecție despre guvernanța modelului plus o listă de verificare a documentării, ei au învățat vocabularul. Nu au exersat intenționat spargerea unui model.
- Care este cererea cognitivă? În taxonomia revizuită a lui Bloom, executarea unui test este o aplicație, interpretarea motivelor pentru care modelul a eșuat este o analiză, evaluarea este evaluarea și proiectarea unui nou test de stres este o creație. Ghidul nostru pentru potrivirea activităților de învățare cu taxonomia lui Bloom explică cum se citesc aceste cerințe.
- Este ceva în afară de pricepere în cale? Verificați mai întâi personalul, instrumentele și procedurile. Dacă analiștii nu au timp să conteste, nu au acces la ipotezele modelului sau nu au o modalitate de a ridica o limită, un laborator nu va schimba ce se întâmplă luni.
- Este provocarea binevenită? Dacă a contesta un model înseamnă a-l critica pe proprietar, oamenii vor păstra tăcerea. Stabiliți cum este primită provocarea înainte de a vă antrena pentru ea.
3. Proiectați o pregătire și o practică cu scop precis
Acordă fiecărei etape propria sa sarcină.
Pregătire: verificați condițiile preliminare. O scurtă diagnosticare în ritm propriu privind scopul modelului, principalele sale date de intrare și ideile statistice de care are nevoie laboratorul. O verificare de rechemare ca aceasta confirmă doar cerințele preliminare. Nu o raportați ca fiind capabilitate.
Practică: laboratoare model pentru testarea la stres. Construiți un model mic și sigur sau folosiți unul sintetic aprobat și oferiți cursanților un meniu de modificări aprobate. Trei exerciții în ordinea crescătoare a cerințelor:
- Schimbă o presupunere. Cursantul mută o intrare aprobată și înregistrează care ieșiri se mișcă, cu cât și care nu.
- Găsiți segmentul pe care îl întrerupe. Cursantul se uită sub numărul titlului și găsește unde modelul este cel mai puțin stabil, apoi precizează la ce nu l-ar folosi.
- Proiectați următorul test. Cursantul propune un test de stres suplimentar, spune ce rezultat i-ar schimba punctul de vedere și cât ar costa derularea acestuia.
Feedback legat de decizii. „Ați raportat schimbarea titlului și nu ați verificat cele două segmente care s-au mișcat cel mai mult” este mai util decât un scor. Numiți decizia, dovezile utilizate sau omise și criteriul aprobat.
Introducerea de informații live de la instructor sau evaluare asincronă? Informațiile transmise în timp real adaugă cea mai mare valoare atunci când un specialist în riscul modelului explică de ce o limitare contează sau de ce un test a fost slab. Revizuirea asincronă este suficientă pentru concepte, pentru verificarea rezultatelor testelor în raport cu o cheie și pentru declarațiile scrise privind limitările pe care un specialist le poate citi ulterior. O combinație comună este pregătirea în ritm propriu, un laborator facilitat, apoi o provocare supravegheată a unui model real de către un coleg mai experimentat.
4. Lucrează printr-un exemplu realist
Ilustrativ. Un specialist în risc de modelare ar trebui să valideze cazul și să răspundă la criterii înainte de utilizare.
Cazul. Un model simplificat de pierderi la credite utilizează o rată de recuperare așteptată de 60%. Testarea ex post este clară. Stresul aprobat modifică rata la 40% pentru creditele negarantate. Estimarea pierderilor din portofoliu crește cu 4% în total. Două segmente, ambele negarantate pentru întreprinderi mici, cresc cu peste 30%.
Sarcina. Cursantul afirmă ce arată testul, explică limitările și recomandă o decizie.
O primă încercare. „Schimbarea generală este de doar 4%, deci modelul este robust față de această ipoteză.”
Feedback și reîncercare. Facilitatorul întreabă care segmente s-au mișcat cel mai mult, cât de mari sunt în portofoliu și ce ascunde cifra totală. Reîncercarea solicită interpretarea, limitarea și recomandarea.
O încercare mai puternică. „Cifra principală se modifică puțin deoarece segmentele afectate reprezintă o mică parte din portofoliu. În cadrul acestora, estimarea crește cu peste 30%, așadar modelul este foarte sensibil la ipoteza de recuperare pentru creditarea negarantată a întreprinderilor mici. Nu m-aș baza pe cifra unică de 60% pentru aceste segmente. Aș recomanda ipoteze de recuperare la nivel de segment și un interval de sensibilitate documentat și i-aș spune proprietarului modelului că am testat o singură intrare. Nu am testat corelația sau calitatea datelor.”
De ce fiecare răspuns este justificabil sau incomplet. Evaluează fiecare în funcție de criteriile aprobate, nu de preferințele facilitatorului. Prima încercare citește agregatul și se oprește. Încercarea mai puternică identifică unde modelul este sensibil, enunță o limitare legată de o utilizare, recomandă o acțiune delimitată și spune ce rămâne netestat. Nu susține că modelul este greșit.
5. Evaluarea capacității și planificarea transferului
Dovada capacității este un răspuns la un nou caz model pe care cursantul nu l-a văzut. Acordați un punctaj scurt de la 0 la 2 pentru fiecare criteriu, definit împreună cu specialistul dumneavoastră. Ghidul nostru pentru evaluarea judecății și a rezolvării problemelor în timpul instruirii acoperă ancorele și evaluatorii de calibrare.
| Criteriu | Dovezi observabile |
|---|---|
| Executarea sarcinilor | Execută teste de stres aprobate și înregistrează acțiunea și dovezile care stau la baza acesteia. |
| Raţionament | Explică ce a eșuat, limitările pe care le arată și ce este netestat, inclusiv interpretarea eșecului. |
| Limite | Folosește proceduri aprobate și solicită ajutor atunci când lipsesc informații sau autoritate. |
Ancore: 0 înseamnă absent sau nejustificat, 1 înseamnă parțial cu omisiuni relevante și 2 înseamnă complet și justificat conform criteriilor convenite. Definiți separat erorile critice, de exemplu, prezentând rezultatul unui test de stres ca validare a unui model real, astfel încât un scor general bun să nu poată ascunde unul. Această rubrică este un punct de plecare propus, nu un standard de pregătire validat.
Urmărirea la locul de muncă. După o perioadă adecvată, prezentați un nou caz model sau analizați o provocare supravegheată pe un model real și comparați-o cu valoarea de referință pe baza acelorași două măsuri: calitatea testelor de stres și interpretarea eșecurilor. Definiți populația, numitorul și momentul în avans și înregistrați cazurile pe care le-au văzut oamenii în timpul instruirii, astfel încât să puteți distinge între reamintire și transfer.
Ce dovezi ar demonstra că instruirea a funcționat?
Căutați analiști care, pe baza unui model pe care nu l-au văzut, schimbă intenționat o presupunere, se uită sub titlu, menționează o limitare legată de o utilizare și spun ce nu au testat. Adăugați ce arată o analiză a notelor lor de contestare: limitări specifice, mai degrabă decât avertismente generice.
Fiți atenți la rezultate precum numărul de constatări. Un nou inventar de modele, o examinare de reglementare sau o schimbare a persoanei care evaluează lucrarea ar putea să le modifice în aceeași perioadă. Mai multe constatări ar putea însemna o contestare mai ascuțită sau un prag modificat, așa că verificați înainte de a acorda credit instruirii.
Unde ajută livrarea interactivă
Formatele interactive sunt utile, deoarece toată lumea ar trebui să se angajeze să facă o predicție înainte ca grupul să vadă rezultatul. Într-o sesiune live, un facilitator poate descrie o schimbare, poate cere fiecărui analist să prezică ce rezultate vor evolua și apoi poate dezvălui rezultatul, ceea ce expune cât de mult diferă intuiția și modelul. Aceleași cazuri pot fi derulate în ritmul propriu, ca pregătire. AhaSlides susține învățarea interactivă și trecerea de la livrarea în timp real la cea în ritm propriu. Verificați orice funcție de creare, feedback sau raportare pe care intenționați să vă bazați în raport cu propriul flux de lucru. Tratați simulatoarele, realitatea virtuală, inteligența artificială și integrările de sistem ca fiind externe sau neconfirmate până când le-ați văzut funcționând. Un laborator pe un model sigur este o practică, nu un substitut pentru validarea unui model real.
Ce antrenament nu va rezolva
- Guvernare slabă. Dacă nimeni nu deține responsabilitatea pentru urmărirea unei provocări, concluziile vor fi anulate. Stabiliți mai întâi responsabilitatea pentru proprietari.
- Nu e timp de contestații. Persoanele cărora li se măsoară randamentul nu vor efectua teste suplimentare.
- Modele închise. Dacă analiștii nu pot vedea ipotezele, nu le pot testa.
- Limitele dovezilor. Un scor pe un set de cazuri nu descrie fiecare provocare cu care se va confrunta un analist și niciun exercițiu de instruire nu validează un model financiar real.
Numiți-le sponsorilor din timp și stabiliți cine le repară pe fiecare.
Întrebări frecvente
Ce sunt exercițiile de antrenament pentru riscul modelului?
Exersați sarcini în care analiștii modifică ipotezele dintr-un model sigur, interpretează ce se mișcă și explică limitele modelului și utilizările adecvate.
Poate un laborator de antrenament valida un model live?
Nu. Laboratorul predă o metodă bazată pe un model sigur sau sintetic. Validarea unui model real respectă propria guvernanță și îndrumările relevante.
Analiștii trebuie să știe să programeze pentru a rula aceste laboratoare?
Nu neapărat. Un model de foaie de calcul sau un instrument aprobat cu un meniu de modificări ale tensiunii este suficient. Abilitatea predată este interpretarea, nu programarea.
Cum evaluezi în mod corect abilitățile provocatoare?
Folosiți un caz nou, o rubrică scurtă și ancore convenite, iar un specialist în risc de modelare calibrează scorul.
Unde să încep
Cereți unui specialist în risc de model un model mic, sigur și trei modificări aprobate ale ipotezelor. Elaborați rubrica cu trei criterii, rulați exercițiul „schimbați o ipoteză” cu o echipă, apoi evaluați un nou caz înainte de a-l implementa.
Pentru a vedea cum un laborator de tip „predicție-apoi-dezvăluire” ca acesta ar putea funcționa în mod live și ar putea fi reutilizat ulterior în ritmul propriu, explorați AhaSlides.
