Model ryzyka kredytowego działał prawidłowo przez trzy lata. Jego testy wsteczne są bezbłędne, wyniki mieszczą się w granicach tolerancji, a firma ma do niego zaufanie. W laboratorium szkoleniowym analityk zmienia jedno z zatwierdzonych założeń wejściowych – oczekiwaną stopę odzysku dla danej klasy kredytów – na mniej komfortową wartość. Wynik końcowy praktycznie się nie zmienia. Dwa segmenty ulegają znacznym zmianom. Analityk musi zdecydować, co to oznacza, co powiedzieć właścicielowi modelu i do czego model nie powinien być wykorzystywany.
To przykładowy scenariusz, a nie udokumentowany przypadek klienta. Pokazuje on umiejętności, jakie rozwijają ćwiczenia szkoleniowe z zakresu ryzyka modeli: testowanie założeń, wyjaśnianie ograniczeń i uzasadnianie decyzji, gdy model wydaje się stabilny. Niniejszy przewodnik jest przeznaczony dla kierowników szkoleń z zakresu ryzyka oraz dla liderów ds. zgodności i ryzyka modeli, którzy posiadają odpowiedzi. Obejmuje on wyłącznie projektowanie szkoleń. Ćwiczenie szkoleniowe nie weryfikuje rzeczywistego modelu finansowego, a specjalista ds. ryzyka modeli powinien przeanalizować każdy przypadek przed jego użyciem.
Czym są ćwiczenia szkoleniowe w zakresie ryzyka modelu?
Ćwiczenia z zakresu ryzyka modelu to ustrukturyzowane zadania praktyczne, w których analitycy badają model, zazwyczaj uproszczony lub syntetyczny, poprzez zmianę założeń i danych wejściowych, a następnie interpretują zdarzenia i wyjaśniają ograniczenia możliwości modelu. Laboratorium testów obciążeniowych to praktyczna forma tego: bezpieczny model, zestaw zatwierdzonych zmian i wymóg uzasadnienia wniosków.
Szybkie fakty
| Question | Krótka odpowiedź |
|---|---|
| Jakie jest zadanie? | Przetestuj założenia i wyjaśnij ograniczenia modelu. |
| Jaki jest Twój wynik? | Jakość testów wytrzymałościowych i interpretacja błędów. |
| Czy laboratorium dokonuje walidacji modelu żywego? | Nie. Uczy metody na bezpiecznym lub syntetycznym modelu. |
| Kto zatwierdza sprawę? | Specjalista ds. ryzyka modelowego, nie trener. |
| Na żywo czy we własnym tempie? | Samodzielne dostosowywanie pojęć i narzędzi, na żywo lub z pomocą moderatora w celu interpretacji. |
| Czego nie naprawi szkolenie? | Słabe zarządzanie, brak czasu na kwestionowanie i niejasna struktura własnościowa. |
| Skąd wiesz, że zadziałało? | Nowy model przypadku lub nadzorowany przegląd po przerwie, oceniany na podstawie rubryki. |
1. Opisz problem z wydajnością
Zacznij od decyzji. Co musi zrobić analityk, gdy model wygląda dobrze? Zapisz to jako jedno zdanie oparte na czasowniku: „Zmień przyjęte założenie, zaobserwuj, co się zmienia, wyjaśnij ograniczenia, jakie ono ujawnia, i określ, do czego model powinien, a do czego nie powinien być używany”.
Nadzorcy nazywają tę umiejętność. Rezerwa Federalna USA i Urząd Kontrolera Waluty wydały SR 11-7, Wytyczne nadzorcze dotyczące zarządzania ryzykiem modeli, 4 kwietnia 2011 r. Opisuje ryzyko modelu jako potencjalne negatywne konsekwencje decyzji opartych na błędnych lub niewłaściwie wykorzystanych wynikach modelu i nazywa „skuteczną kwestionowalność” zasadą przewodnią: krytyczną analizę przez obiektywne, świadome strony, które potrafią zidentyfikować ograniczenia i założenia modelu oraz wprowadzić odpowiednie zmiany. Są to wytyczne obowiązujące w USA, a nie reguła obowiązująca w każdej jurysdykcji, dlatego należy sprawdzić wymagania, które mają zastosowanie w Państwa przypadku. Jest to szczegółowy opis efektywności, jaką powinno osiągnąć szkolenie.
2. Zdiagnozuj luki w nauce i kontekście
Porównaj wymagania stanowiska z tym, co obecnie stosujesz i oceniasz na szkoleniu.
- Czym zajmują się obecnie analitycy? Jeśli szkolenie polega na wykładach z zarządzania modelami i liście kontrolnej dokumentacji, to znaczy, że znają już słownictwo. Nie ćwiczyli celowego psucia modelu.
- Jakie jest zapotrzebowanie poznawcze? W zrewidowanej taksonomii Blooma, uruchomienie testu to aplikacja, interpretacja przyczyny niepowodzenia modelu to analiza, ocena przydatności modelu do użycia to ocena, a zaprojektowanie nowego testu obciążeniowego to tworzenie. Nasz przewodnik po dopasowywanie działań edukacyjnych do taksonomii Blooma wyjaśnia jak czytać te żądania.
- Czy to coś innego niż umiejętności jest przeszkodą? Najpierw sprawdź obsadę kadrową, narzędzia i procedury. Jeśli analitycy nie mają czasu na kwestionowanie, dostępu do założeń modelu ani możliwości zgłoszenia ograniczenia, laboratorium nie zmieni tego, co stanie się w poniedziałek.
- Czy wyzwania są mile widziane? Jeśli wyzwanie modela oznacza krytykę jego właściciela, ludzie będą milczeć. Uzgodnij, jak wyzwanie jest odbierane, zanim zaczniesz się do niego przygotowywać.
3. Zaprojektuj celowe przygotowanie i praktykę
Przypisz każdemu etapowi osobne zadanie.
Przygotowanie: sprawdź wymagania wstępne. Krótka, samodzielna diagnostyka celu modelu, jego głównych danych wejściowych i koncepcji statystycznych potrzebnych w laboratorium. Taka kontrola potwierdza jedynie spełnienie wymagań wstępnych. Nie zgłaszaj tego jako możliwości.
Ćwiczenie: modelowe laboratoria testów wytrzymałościowych. Zbuduj mały, bezpieczny model lub użyj zatwierdzonego modelu syntetycznego i przedstaw uczniom listę zatwierdzonych zmian. Trzy ćwiczenia w kolejności rosnącej według zapotrzebowania:
- Zmień jedno założenie. Uczący się przesuwa jeden zatwierdzony element wejściowy i zapisuje, które elementy wyjściowe przesuwają się, o ile, a które nie.
- Znajdź segment, który dzieli. Uczący się patrzy pod numer nagłówka i znajduje miejsce, w którym model jest najmniej stabilny, a następnie określa, do czego by go nie użył.
- Zaprojektuj następny test. Uczeń proponuje przeprowadzenie kolejnego testu warunków skrajnych, podaje wynik, który zmieniłby jego pogląd i ile kosztowałoby jego przeprowadzenie.
Informacje zwrotne powiązane z decyzjami. „Zgłosiłeś zmianę nagłówka i nie sprawdziłeś dwóch segmentów, które uległy największej zmianie” jest bardziej przydatne niż punktacja. Podaj nazwę decyzji, dowody wykorzystane lub pominięte oraz zatwierdzone kryterium.
Wkład instruktora na żywo czy asynchroniczny przegląd? Wkład na żywo jest najbardziej wartościowy, gdy specjalista ds. ryzyka modelu wyjaśnia, dlaczego ograniczenie ma znaczenie lub dlaczego test był słaby. Asynchroniczny przegląd wystarcza do zrozumienia pojęć, sprawdzenia wyników testów z kluczem oraz do uzyskania pisemnych oświadczeń o ograniczeniach, które specjalista może przeczytać później. Typowym połączeniem jest przygotowanie we własnym tempie, laboratorium z moderatorem, a następnie nadzorowane sprawdzenie rzeczywistego modelu przez bardziej doświadczonego kolegę.
4. Omów realistyczny przykład
Ilustrujące. Specjalista ds. ryzyka modelowego powinien zweryfikować przypadek i kryteria odpowiedzi przed ich użyciem.
Walizka. Uproszczony model strat kredytowych wykorzystuje oczekiwaną stopę odzysku na poziomie 60%. Testy wsteczne są bezbłędne. Zatwierdzony test warunków skrajnych zmienia stopę na 40% dla kredytów niezabezpieczonych. Szacunkowa strata portfela wzrasta o 4%. W dwóch segmentach, oba dla małych firm, stopa wzrostu wynosi ponad 30%.
Zadanie. Uczący się określa, co pokazuje test, wyjaśnia ograniczenia i zaleca decyzję.
Pierwsza próba. „Całkowita zmiana wyniosła zaledwie 4 procent, więc model jest odporny na to założenie”.
Prześlij opinię i spróbuj ponownie. Prowadzący pyta, które segmenty uległy największemu ruchowi, jak duże są w portfelu i co kryje się pod tą ogólną wartością. Ponowna próba wymaga interpretacji, określenia ograniczeń i sformułowania rekomendacji.
Silniejsza próba. „Wartość podstawowa zmienia się nieznacznie, ponieważ segmenty, których to dotyczy, stanowią niewielką część portfela. W ich obrębie szacunek wzrasta o ponad 30%, co oznacza, że model jest bardzo wrażliwy na założenie o odzyskiwaniu w przypadku niezabezpieczonych kredytów dla małych firm. Nie polegałbym na pojedynczej wartości 60% dla tych segmentów. Zalecałbym założenia dotyczące odzyskiwania na poziomie segmentu i udokumentowany zakres wrażliwości, a właścicielowi modelu powiedziałbym, że przetestowałem tylko jedno wejście. Nie testowałem korelacji ani jakości danych”.
Dlaczego każda odpowiedź jest możliwa do obrony lub niekompletna. Oceniaj każdą z nich pod kątem zatwierdzonych kryteriów, a nie preferencji prowadzącego. Pierwsza próba odczytuje sumę i zatrzymuje się. Silniejsza próba znajduje miejsca, w których model jest wrażliwy, określa ograniczenie związane z zastosowaniem, zaleca ograniczone działanie i wskazuje, co pozostaje nieprzetestowane. Nie twierdzi, że model jest błędny.
5. Ocena zdolności i zaplanowanie przeniesienia
Dowód zdolności to odpowiedź na nowy model przypadku, którego uczeń nie widział. Oceń krótko, od 0 do 2, za każde kryterium, zdefiniowane ze specjalistą. Nasz przewodnik po ocena osądu i rozwiązywania problemów w szkoleniu obejmuje kotwice i kalibrację oceniających.
| Kryterium | Obserwowalne dowody |
|---|---|
| Wykonanie zadania | Przeprowadza zatwierdzone testy warunków skrajnych i dokumentuje działania oraz dowody z nimi związane. |
| Rozumowanie | Wyjaśnia, co zawiodło, jakie ograniczenia to wykazało i co nie zostało przetestowane, łącznie z interpretacją niepowodzenia. |
| Granice | Stosuje zatwierdzone procedury i szuka pomocy w przypadku braku informacji lub upoważnienia. |
Kotwice: 0 oznacza brak lub brak wsparcia, 1 oznacza częściowe z istotnymi pominięciami, a 2 oznacza kompletne i uzasadnione zgodnie z ustalonymi kryteriami. Należy zdefiniować błędy krytyczne osobno, na przykład przedstawiając wynik testu obciążeniowego jako walidację modelu na żywo, aby dobry wynik ogólny nie mógł go ukryć. Ta rubryka stanowi proponowany punkt wyjścia, a nie zatwierdzony standard gotowości.
Monitorowanie miejsca pracy. Po odpowiednim czasie opracuj nowy przypadek modelowy lub przeanalizuj nadzorowane wyzwanie na modelu rzeczywistym i porównaj je z bazą pod kątem tych samych dwóch miar: jakości testów obciążeniowych i interpretacji awarii. Zdefiniuj populację, mianownik i czas z wyprzedzeniem oraz zanotuj, które przypadki uczestnicy mieli na szkoleniu, aby odróżnić przypadki z pamięci od tych z transferu.
Jakie dowody potwierdzają skuteczność szkolenia?
Szukaj analityków, którzy w modelu, którego nie widzieli, celowo zmieniają założenie, zaglądają pod nagłówek, podają ograniczenie związane z zastosowaniem i mówią, czego nie przetestowali. Dodaj to, co pokazuje przegląd ich notatek dotyczących wyzwań: konkretne ograniczenia, a nie ogólne zastrzeżenia.
Należy zachować ostrożność w przypadku wyników, takich jak liczba zgłoszonych ustaleń. Nowy inwentarz modeli, badanie regulacyjne lub zmiana osoby oceniającej pracę mogą spowodować ich przesunięcie w tym samym okresie. Więcej ustaleń może oznaczać ostrzejsze wyzwanie lub zmianę progu, dlatego należy to sprawdzić przed zaliczeniem szkolenia.
Gdzie interaktywna dostawa pomaga
Formaty interaktywne pomagają, gdy każdy powinien zobowiązać się do prognozy, zanim grupa zobaczy rezultat. Podczas sesji na żywo, facylitator może opisać zmianę, poprosić każdego analityka o przewidzenie, które wyniki ulegną zmianie, a następnie ujawnić rezultat, który pokazuje, jak bardzo intuicja i model się różnią. Te same przypadki można opracowywać we własnym tempie w ramach przygotowań. AhaSlides wspiera interaktywną naukę i przełączanie się między nauczaniem na żywo a indywidualnym tempem. Sprawdź każdą funkcję tworzenia treści, informacji zwrotnej lub raportowania, na której planujesz polegać, w kontekście własnego procesu pracy. Traktuj symulatory, rzeczywistość wirtualną, sztuczną inteligencję i integracje systemów jako zewnętrzne lub niepotwierdzone, dopóki nie przekonasz się, jak działają. Laboratorium na bezpiecznym modelu to praktyka, a nie substytut walidacji na żywo.
Czego nie naprawi szkolenie
- Słabe zarządzanie. Jeśli nikt nie będzie odpowiedzialny za kontynuację wyzwania, ustalenia stracą ważność. Najpierw uzgodnij warunki z właścicielami.
- Nie ma czasu na wyzwania. Osoby oceniane pod kątem przepustowości nie będą wykonywać dodatkowych testów.
- Modele zamknięte. Jeśli analitycy nie widzą założeń, nie mogą ich przetestować.
- Ograniczenia dowodowe. Wynik uzyskany w zestawie przypadków nie opisuje każdego wyzwania, z jakim zetknie się analityk, a żadne ćwiczenie szkoleniowe nie weryfikuje rzeczywistego modelu finansowego.
Poinformuj sponsorów o tym na wczesnym etapie i ustalcie, kto zajmie się naprawą każdego z nich.
PYTANIA I ODPOWIEDZI
Czym są ćwiczenia szkoleniowe w zakresie ryzyka modelu?
Zadania praktyczne, w których analitycy zmieniają założenia w bezpiecznym modelu, interpretują ruchy i wyjaśniają ograniczenia modelu oraz właściwe zastosowania.
Czy laboratorium szkoleniowe może dokonać walidacji modelu na żywo?
Nie. Laboratorium uczy metody na bezpiecznym lub syntetycznym modelu. Walidacja modelu na żywo odbywa się zgodnie z Twoimi własnymi zasadami zarządzania i odpowiednimi wytycznymi.
Czy analitycy muszą znać kod, aby prowadzić te laboratoria?
Niekoniecznie. Wystarczy arkusz kalkulacyjny lub sprawdzone narzędzie z menu zmian naprężeń. Uczymy interpretacji, a nie programowania.
Jak sprawiedliwie oceniać umiejętności wymagające wysiłku?
Użyj nowego przypadku, krótkiej rubryki i uzgodnionych punktów odniesienia, a następnie zleć kalibrację punktacji specjaliście ds. ryzyka modelu.
Gdzie zacząć
Poproś specjalistę ds. ryzyka modeli o jeden mały, bezpieczny model i trzy zatwierdzone zmiany założeń. Przygotuj trzy kryteria, przeprowadź ćwiczenie „zmiana jednego założenia” z jednym zespołem, a następnie oceń nowy przypadek przed jego wdrożeniem.
Aby zobaczyć, jak takie laboratorium „przewiduj, a potem ujawniaj” mogłoby działać na żywo i być ponownie wykorzystywane w tempie dostosowanym do indywidualnych potrzeb, zapoznaj się z AhaSlides.
