Latihan latihan risiko model: cara mereka bentuk makmal ujian tekanan yang mengajar penganalisis untuk mencabar andaian

Model risiko kredit telah menunjukkan prestasi yang baik selama tiga tahun. Ujian belakangnya bersih, outputnya berada dalam lingkungan toleransi yang selesa dan perniagaan mempercayainya. Dalam makmal latihan, seorang penganalisis mengubah satu andaian input yang diluluskan, iaitu kadar pemulihan yang dijangkakan untuk kelas pinjaman, kepada nilai yang kurang selesa. Output utama hampir tidak berubah. Dua segmen banyak berubah. Penganalisis perlu memutuskan apa maksudnya, apa yang perlu diberitahu kepada pemilik model dan untuk apa model tidak boleh digunakan.

Ini adalah senario ilustrasi, bukan kes pelanggan yang didokumenkan. Ia menunjukkan kemahiran yang perlu dibina oleh latihan risiko model: menguji andaian, menjelaskan batasan dan mewajarkan keputusan apabila model kelihatan stabil. Panduan ini adalah untuk ketua latihan risiko dan untuk pematuhan dan peneraju risiko model yang memiliki jawapannya. Ia merangkumi reka bentuk latihan sahaja. Latihan tidak mengesahkan model kewangan langsung dan pakar risiko model harus menyemak setiap kes sebelum digunakan.

Apakah latihan risiko model?

Latihan risiko model merupakan tugasan amalan berstruktur di mana penganalisis menyiasat model, biasanya yang dipermudahkan atau sintetik, dengan mengubah andaian dan input, kemudian mentafsir apa yang berlaku dan menjelaskan had apa yang boleh disokong oleh model tersebut. Makmal ujian tekanan merupakan bentuk amali bagi model ini: model yang selamat, satu set perubahan yang diluluskan dan keperluan untuk mewajarkan kesimpulan.

fakta Pantas

1. Huraikan masalah prestasi

Mulakan dengan keputusan. Apakah yang mesti dilakukan oleh seorang penganalisis apabila model kelihatan baik? Tuliskannya sebagai satu ayat yang dipandu oleh kata kerja: "Tukar andaian yang diluluskan, perhatikan apa yang bergerak, jelaskan batasan yang didedahkan ini dan nyatakan untuk apa model itu harus dan tidak harus digunakan."

Penyelia menamakan kemahiran ini. Rizab Persekutuan AS dan Pejabat Pengawal Kewangan Mata Wang mengeluarkan SR 11-7, Panduan Penyeliaan mengenai Pengurusan Risiko Model, pada 4 April 2011. Ia menggambarkan risiko model sebagai potensi akibat buruk daripada keputusan berdasarkan output model yang salah atau disalahgunakan, dan ia menggelarkan "cabaran berkesan" sebagai prinsip panduan: analisis kritikal oleh pihak yang objektif dan bermaklumat yang boleh mengenal pasti batasan dan andaian model serta menghasilkan perubahan yang sesuai. Itu adalah panduan AS, bukan peraturan untuk setiap bidang kuasa, jadi semak keperluan yang terpakai kepada anda. Ia adalah penerangan yang dekat tentang prestasi yang harus dibina oleh latihan.

2. Diagnosis jurang pembelajaran dan konteks

Bandingkan apa yang dituntut oleh peranan tersebut dengan apa yang diamalkan dan dinilai oleh latihan semasa anda.

1. Apakah yang diamalkan oleh penganalisis sekarang? Jika latihan merupakan kuliah tentang tadbir urus model dan senarai semak dokumentasi, mereka telah mempelajari perbendaharaan kata tersebut. Mereka tidak berlatih memecahkan model dengan sengaja.
2. Apakah permintaan kognitif? Dalam taksonomi semakan Bloom, menjalankan ujian adalah aplikasi, mentafsir mengapa model gagal adalah analisis, menilai sama ada model sesuai untuk kegunaan adalah penilaian, dan mereka bentuk ujian tekanan baharu adalah penciptaan. Panduan kami untuk memadankan aktiviti pembelajaran dengan taksonomi Bloom menerangkan cara membaca tuntutan ini.
3. Adakah sesuatu selain kemahiran yang menghalang? Semak kakitangan, peralatan dan prosedur terlebih dahulu. Jika penganalisis tidak mempunyai masa untuk mencabar, tiada akses kepada andaian model atau tiada laluan untuk mengemukakan batasan, makmal tidak akan mengubah apa yang berlaku pada hari Isnin.
4. Adakah cabaran dialu-alukan? Jika mencabar model bermaksud mengkritik pemiliknya, orang akan berdiam diri. Setuju bagaimana cabaran diterima sebelum anda berlatih untuknya.

3. Reka bentuk persediaan dan amalan yang bertujuan

Berikan setiap peringkat tugasnya sendiri.

Persediaan: semak prasyarat. Diagnostik kendiri yang ringkas tentang tujuan model, input utamanya dan idea statistik yang diperlukan oleh makmal. Pemeriksaan penarikan balik seperti ini hanya mengesahkan prasyarat. Jangan laporkannya sebagai keupayaan.

Amalan: makmal ujian tekanan model. Bina model kecil yang selamat atau gunakan model sintetik yang diluluskan dan berikan pelajar senarai perubahan yang diluluskan. Tiga latihan mengikut tertib permintaan yang semakin meningkat:

• Ubah satu andaian. Pelajar menggerakkan satu input yang diluluskan dan merekodkan output mana yang bergerak, berapa banyak dan yang tidak.
• Cari segmen yang dipecahkannya. Pelajar melihat di bawah nombor tajuk utama dan mencari di mana model paling tidak stabil, kemudian menyatakan untuk apa mereka tidak akan menggunakannya.
• Reka bentuk ujian seterusnya. Pelajar mencadangkan ujian tekanan selanjutnya, menyatakan keputusan yang akan mengubah pandangan mereka dan kos untuk menjalankannya.

Maklum balas yang berkaitan dengan keputusan. "Anda melaporkan perubahan tajuk utama dan tidak menyemak dua segmen yang paling banyak bergerak" adalah lebih berguna daripada skor. Nyatakan keputusan, bukti yang digunakan atau terlepas dan kriteria yang diluluskan.

Input pengajar secara langsung atau ulasan tak segerak? Input langsung menambah nilai paling tinggi apabila pakar risiko model menjelaskan mengapa batasan penting, atau mengapa ujian lemah. Semakan tak segerak sudah cukup untuk konsep, untuk menyemak keputusan ujian terhadap kunci dan untuk pernyataan batasan bertulis yang boleh dibaca oleh pakar kemudian. Campuran biasa ialah persediaan kendiri, makmal yang difasilitasi, kemudian cabaran model sebenar yang diselia oleh rakan sekerja yang lebih berpengalaman.

4. Gunakan contoh yang realistik

Ilustrasi. Pakar risiko model harus mengesahkan kes dan menjawab kriteria sebelum digunakan.

Kes itu. Model kerugian pinjaman yang dipermudahkan menggunakan kadar pemulihan yang dijangkakan sebanyak 60 peratus. Ujian balik adalah bersih. Tekanan yang diluluskan mengubah kadar kepada 40 peratus untuk pinjaman tidak bercagar. Anggaran kerugian portfolio meningkat sebanyak 4 peratus secara keseluruhan. Dua segmen, kedua-duanya perniagaan kecil tidak bercagar, meningkat lebih daripada 30 peratus.

Tugas itu. Pelajar menyatakan apa yang ditunjukkan oleh ujian, menerangkan batasan dan mengesyorkan keputusan.

Percubaan pertama. "Perubahan keseluruhan hanya 4 peratus, jadi model ini kukuh untuk andaian ini."

Maklum balas dan cuba semula. Fasilitator bertanya segmen mana yang paling banyak bergerak, berapa besar segmen tersebut dalam portfolio dan apa yang disembunyikan oleh angka keseluruhan. Percubaan semula meminta tafsiran, batasan dan cadangan.

Percubaan yang lebih kuat. "Angka utama tidak banyak berubah kerana segmen yang terjejas adalah sebahagian kecil daripada portfolio. Di dalamnya, anggaran meningkat lebih daripada 30 peratus, jadi model ini sangat sensitif terhadap andaian pemulihan untuk pinjaman tidak bercagar perniagaan kecil. Saya tidak akan bergantung pada angka 60 peratus tunggal untuk segmen tersebut. Saya akan mengesyorkan andaian pemulihan peringkat segmen dan julat sensitiviti yang didokumenkan, dan saya akan memberitahu pemilik model bahawa saya hanya menguji satu input. Saya belum menguji korelasi atau kualiti data."

Mengapa setiap respons boleh dipertahankan atau tidak lengkap. Nilaikan setiap satu berdasarkan kriteria yang diluluskan, bukan pilihan fasilitator. Percubaan pertama membaca agregat dan berhenti. Percubaan yang lebih kuat akan mencari di mana model sensitif, menyatakan batasan yang berkaitan dengan penggunaan, mengesyorkan tindakan yang terhad dan menyatakan apa yang masih belum diuji. Ia tidak mendakwa model itu salah.

5. Menilai keupayaan dan merancang pemindahan

Bukti keupayaan merupakan respons terhadap kes model baharu yang belum pernah dilihat oleh pelajar. Berikan markah rubrik pendek dari 0 hingga 2 setiap kriteria, yang ditakrifkan bersama pakar anda. Panduan kami untuk menilai pertimbangan dan penyelesaian masalah dalam latihan meliputi sauh dan penilai kalibrasi.

Sauh: 0 bermaksud tiada atau tidak disokong, 1 bermaksud sebahagian dengan peninggalan yang berkaitan, dan 2 bermaksud lengkap dan wajar berdasarkan kriteria yang dipersetujui. Takrifkan ralat kritikal secara berasingan, contohnya membentangkan keputusan ujian tekanan sebagai pengesahan model langsung, jadi skor keseluruhan yang baik tidak dapat menyembunyikannya. Rubrik ini adalah titik permulaan yang dicadangkan, bukan standard kesediaan yang disahkan.

Susulan di tempat kerja. Selepas tempoh yang sesuai, berikan kes model baharu atau semak cabaran yang diselia pada model langsung dan bandingkannya dengan garis dasar pada dua ukuran yang sama: kualiti ujian tekanan dan tafsiran kegagalan. Tentukan populasi, penyebut dan masa terlebih dahulu dan rekodkan kes mana yang dilihat orang dalam latihan supaya anda boleh membezakan ingatan daripada pemindahan.

Bukti apa yang akan menunjukkan latihan itu berkesan?

Cari penganalisis yang, berdasarkan model yang belum pernah mereka lihat, sengaja mengubah andaian, melihat di bawah tajuk utama, menyatakan batasan yang berkaitan dengan penggunaan dan menyatakan apa yang belum mereka uji. Tambahkan apa yang ditunjukkan oleh ulasan nota cabaran mereka: batasan khusus dan bukannya kaveat generik.

Berhati-hati dengan hasil seperti bilangan penemuan yang dibangkitkan. Inventori model baharu, pemeriksaan kawal selia atau perubahan dalam siapa yang menyemak kerja boleh mengalihkan mereka dalam tempoh yang sama. Lebih banyak penemuan boleh bermakna cabaran yang lebih tajam atau ambang yang berubah, jadi semak sebelum mengkreditkan latihan tersebut.

Di mana penghantaran interaktif membantu

Format interaktif membantu di mana setiap orang harus komited terhadap ramalan sebelum kumpulan melihat hasilnya. Dalam sesi langsung, fasilitator boleh menerangkan perubahan, meminta setiap penganalisis untuk meramalkan output yang akan berubah dan kemudian mendedahkan hasilnya, yang mendedahkan sejauh mana intuisi dan model berbeza. Kes yang sama boleh berjalan mengikut rentak sendiri sebagai persediaan. AhaSlides Menyokong pembelajaran interaktif dan beralih antara penyampaian langsung dan mengikut rentak kendiri. Semak sebarang fungsi pengarangan, maklum balas atau pelaporan yang anda rancang untuk anda andalkan berbanding aliran kerja anda sendiri. Anggap simulator, realiti maya, AI dan integrasi sistem sebagai luaran atau belum disahkan sehingga anda melihatnya berfungsi. Makmal pada model yang selamat adalah amalan, bukan pengganti pengesahan model langsung.

Latihan apa yang tidak akan diperbaiki

• Tadbir urus yang lemah. Jika tiada siapa yang memiliki susulan kepada sesuatu cabaran, penemuan akan luput. Setujui pemilik terlebih dahulu.
• Tiada masa untuk mencabar. Orang yang diukur berdasarkan daya pemprosesan tidak akan menjalankan ujian tambahan.
• Model tertutup. Jika penganalisis tidak dapat melihat andaian, mereka tidak dapat mengujinya.
• Had bukti. Skor bagi satu set kes tidak menggambarkan setiap cabaran yang akan dihadapi oleh penganalisis, dan tiada latihan yang mengesahkan model kewangan langsung.

Nyatakan perkara ini kepada penaja lebih awal dan sepakati siapa yang akan membetulkan setiap satu.

Soalan lazim

Apakah latihan risiko model?

Latihan tugasan di mana penganalisis mengubah andaian dalam model yang selamat, mentafsir apa yang bergerak dan menerangkan batasan model serta kegunaan yang sesuai.

Bolehkah makmal latihan mengesahkan model langsung?

Tidak. Makmal ini mengajar kaedah mengenai model yang selamat atau sintetik. Pengesahan model langsung mematuhi tadbir urus anda sendiri dan panduan yang berkaitan.

Adakah penganalisis perlu membuat kod untuk menjalankan makmal ini?

Tidak semestinya. Model hamparan atau alat yang diluluskan dengan menu perubahan tekanan sudah memadai. Kemahiran yang diajar adalah tafsiran, bukan pengaturcaraan.

Bagaimanakah anda menilai kemahiran cabaran secara adil?

Gunakan kes baharu, rubrik pendek dan sauh yang dipersetujui, dan minta pakar risiko model menentukur pemarkahan.

Di mana untuk bermula

Tanya pakar risiko model untuk satu model kecil yang selamat dan tiga perubahan andaian yang diluluskan. Draf rubrik tiga kriteria, jalankan latihan "ubah satu andaian" dengan satu pasukan, kemudian skor kes baharu sebelum anda melancarkannya.

Untuk melihat bagaimana makmal ramal-kemudian-dedahkan seperti ini boleh dijalankan secara langsung dan digunakan semula mengikut kadar kendiri selepas itu, terokai AhaSlides.