Latihan pelatihan risiko model: bagaimana merancang laboratorium pengujian stres yang mengajarkan analis untuk mempertanyakan asumsi.

Sebuah model risiko kredit telah berkinerja baik selama tiga tahun. Pengujian historisnya bersih, outputnya berada dalam batas toleransi yang nyaman, dan bisnis mempercayainya. Di laboratorium pelatihan, seorang analis mengubah satu asumsi input yang disetujui, yaitu tingkat pemulihan yang diharapkan pada kelas pinjaman tertentu, menjadi nilai yang kurang nyaman. Output utama hampir tidak berubah. Dua segmen mengalami perubahan yang signifikan. Analis harus memutuskan apa artinya, apa yang harus disampaikan kepada pemilik model, dan untuk apa model tersebut tidak boleh digunakan.

Ini adalah skenario ilustratif, bukan kasus pelanggan yang terdokumentasi. Ini menunjukkan keterampilan yang harus dibangun melalui latihan pelatihan risiko model: menguji asumsi, menjelaskan keterbatasan, dan membenarkan keputusan ketika model tampak stabil. Panduan ini ditujukan untuk kepala pelatihan risiko dan untuk pemimpin kepatuhan dan risiko model yang bertanggung jawab atas jawabannya. Panduan ini hanya mencakup desain pelatihan. Latihan pelatihan tidak memvalidasi model keuangan yang sebenarnya, dan spesialis risiko model harus meninjau setiap kasus sebelum digunakan.

Apa itu latihan simulasi risiko?

Latihan manajemen risiko model adalah tugas praktik terstruktur di mana analis menyelidiki sebuah model, biasanya model yang disederhanakan atau sintetis, dengan mengubah asumsi dan input, kemudian menafsirkan apa yang terjadi dan menjelaskan batasan dari apa yang dapat didukung oleh model tersebut. Laboratorium pengujian stres adalah bentuk praktik langsung dari hal ini: sebuah model yang aman, serangkaian perubahan yang disetujui, dan persyaratan untuk membenarkan kesimpulan.

fakta cepat

1. Jelaskan masalah kinerja tersebut

Mulailah dengan keputusan. Apa yang harus dilakukan seorang analis ketika sebuah model tampak baik-baik saja? Tuliskan sebagai satu kalimat yang diawali dengan kata kerja: "Ubah asumsi yang telah disetujui, amati perubahannya, jelaskan keterbatasan yang ditimbulkannya, dan nyatakan untuk apa model tersebut seharusnya dan tidak seharusnya digunakan."

Para penyelia menyebutkan keahlian ini. Federal Reserve AS dan Kantor Pengawas Mata Uang (Office of the Comptroller of the Currency) menerbitkan SR 11-7, Pedoman Pengawasan tentang Manajemen Risiko ModelPada tanggal 4 April 2011, pedoman ini mendeskripsikan risiko model sebagai potensi konsekuensi buruk dari keputusan yang didasarkan pada keluaran model yang salah atau disalahgunakan, dan menyebut "tantangan efektif" sebagai prinsip panduan: analisis kritis oleh pihak-pihak yang objektif dan berpengetahuan yang dapat mengidentifikasi keterbatasan dan asumsi model serta menghasilkan perubahan yang sesuai. Ini adalah pedoman AS, bukan aturan untuk setiap yurisdiksi, jadi periksa persyaratan yang berlaku untuk Anda. Ini adalah deskripsi yang tepat tentang kinerja yang seharusnya dibangun melalui pelatihan.

2. Mendiagnosis kesenjangan pembelajaran dan konteks.

Bandingkan apa yang dituntut oleh peran tersebut dengan apa yang dipraktikkan dan dinilai dalam pelatihan Anda saat ini.

1. Apa yang dipraktikkan para analis saat ini? Jika pelatihan hanya berupa ceramah tentang model tata kelola ditambah daftar periksa dokumentasi, mereka hanya mempelajari kosakata. Namun, mereka belum mempraktikkan cara merusak model tersebut secara sengaja.
2. Apa tuntutan kognitifnya? Dalam taksonomi Bloom yang telah direvisi, menjalankan pengujian adalah aplikasi, menafsirkan mengapa model gagal adalah analisis, menilai apakah model tersebut sesuai untuk digunakan adalah evaluasi, dan merancang uji stres baru adalah kreasi. Panduan kami untuk Mencocokkan aktivitas pembelajaran dengan taksonomi Bloom menjelaskan cara membaca tuntutan-tuntutan ini.
3. Apakah ada hal lain selain keterampilan yang menjadi penghalang? Periksa dulu ketersediaan staf, peralatan, dan prosedur. Jika analis tidak punya waktu untuk mengajukan keberatan, tidak memiliki akses ke asumsi model, atau tidak ada cara untuk menyampaikan keterbatasan, laboratorium tidak akan mengubah apa yang terjadi pada hari Senin.
4. Apakah tantangan diterima? Jika menantang suatu model berarti mengkritik pemiliknya, orang-orang akan tetap diam. Sepakati bagaimana tantangan itu diterima sebelum Anda melatih diri untuk menghadapinya.

3. Merancang persiapan dan latihan yang bertujuan.

Berikan tugasnya masing-masing pada setiap tahapan.

Persiapan: periksa prasyaratnya. Diagnostik singkat yang dapat dilakukan sendiri mengenai tujuan model, input utamanya, dan konsep statistik yang dibutuhkan laboratorium. Pemeriksaan seperti ini hanya mengkonfirmasi prasyarat. Jangan melaporkannya sebagai kemampuan.

Praktik: laboratorium pengujian stres model. Buat model kecil yang aman, atau gunakan model sintetis yang telah disetujui, dan berikan kepada peserta didik pilihan perubahan yang telah disetujui. Tiga latihan dengan tingkat kesulitan yang meningkat:

• Ubahlah satu asumsi. Peserta didik menggerakkan satu input yang disetujui dan mencatat output mana yang bergerak, seberapa banyak, dan mana yang tidak bergerak.
• Temukan segmen yang terputus. Peserta didik melihat di bawah angka utama dan menemukan di mana model tersebut paling tidak stabil, kemudian menyatakan untuk apa mereka tidak akan menggunakannya.
• Rancanglah tes selanjutnya. Peserta didik mengusulkan uji stres lebih lanjut, menyatakan hasil apa yang akan mengubah pandangannya dan berapa biaya yang dibutuhkan untuk menjalankannya.

Umpan balik terkait dengan keputusan. "Anda melaporkan perubahan judul berita tetapi tidak memeriksa dua segmen yang paling banyak berubah" lebih bermanfaat daripada sekadar skor. Sebutkan keputusannya, bukti yang digunakan atau yang terlewatkan, dan kriteria yang disetujui.

Masukan langsung dari instruktur atau tinjauan asinkron? Masukan langsung memberikan nilai paling besar ketika seorang spesialis risiko model menjelaskan mengapa suatu batasan penting, atau mengapa suatu pengujian lemah. Tinjauan asinkron sudah cukup untuk konsep-konsepnya, untuk memeriksa hasil pengujian terhadap kunci dan untuk pernyataan batasan tertulis yang dapat dibaca spesialis nanti. Kombinasi umum adalah persiapan mandiri, laboratorium yang difasilitasi, kemudian tantangan model nyata yang diawasi oleh kolega yang lebih berpengalaman.

4. Kerjakan contoh yang realistis.

Sebagai ilustrasi. Seorang spesialis risiko model harus memvalidasi kasus dan kriteria jawaban sebelum digunakan.

Kasus. Model kerugian pinjaman yang disederhanakan menggunakan tingkat pemulihan yang diharapkan sebesar 60 persen. Pengujian historis menunjukkan hasil yang baik. Stres yang disetujui mengubah tingkat pemulihan menjadi 40 persen untuk pinjaman tanpa jaminan. Estimasi kerugian portofolio meningkat sebesar 4 persen secara keseluruhan. Dua segmen, keduanya pinjaman usaha kecil tanpa jaminan, meningkat lebih dari 30 persen.

Tugas tersebut. Peserta didik menjelaskan apa yang ditunjukkan oleh tes tersebut, menjelaskan keterbatasannya, dan merekomendasikan sebuah keputusan.

Upaya pertama. "Perubahan keseluruhannya hanya 4 persen, jadi model ini kuat terhadap asumsi ini."

Berikan masukan dan coba lagi. Fasilitator menanyakan segmen mana yang paling banyak bergerak, seberapa besar porsinya dalam portofolio, dan apa yang disembunyikan oleh angka keseluruhan. Pertanyaan selanjutnya meminta interpretasi, keterbatasan, dan rekomendasi.

Upaya yang lebih baik. "Angka utama hanya sedikit berubah karena segmen yang terpengaruh hanya sebagian kecil dari portofolio. Di dalam segmen tersebut, estimasi meningkat lebih dari 30 persen, sehingga model sangat sensitif terhadap asumsi pemulihan untuk pinjaman tanpa jaminan usaha kecil. Saya tidak akan mengandalkan angka tunggal 60 persen untuk segmen tersebut. Saya akan merekomendasikan asumsi pemulihan tingkat segmen dan rentang sensitivitas yang terdokumentasi, dan saya akan memberi tahu pemilik model bahwa saya hanya menguji satu input. Saya belum menguji korelasi atau kualitas data."

Mengapa setiap respons dapat dipertahankan atau tidak lengkap. Nilailah setiap hal berdasarkan kriteria yang telah disetujui, bukan preferensi fasilitator. Upaya pertama hanya membaca keseluruhan dan berhenti. Upaya yang lebih kuat menemukan di mana model tersebut sensitif, menyatakan batasan yang terkait dengan penggunaan tertentu, merekomendasikan tindakan yang terbatas, dan menyatakan apa yang masih belum teruji. Upaya ini tidak mengklaim bahwa model tersebut salah.

5. Menilai kemampuan dan merencanakan transfer

Bukti kemampuan adalah respons terhadap studi kasus model baru yang belum pernah dilihat oleh peserta didik. Berikan skor pada rubrik singkat dari 0 hingga 2 per kriteria, yang ditentukan bersama spesialis Anda. Panduan kami untuk menilai kemampuan pengambilan keputusan dan pemecahan masalah dalam pelatihan Mencakup jangkar dan kalibrasi asesor.

Nilai acuan: 0 berarti tidak ada atau tidak didukung, 1 berarti sebagian dengan kekurangan yang relevan, dan 2 berarti lengkap dan dibenarkan berdasarkan kriteria yang disepakati. Definisikan kesalahan kritis secara terpisah, misalnya menyajikan hasil uji stres sebagai validasi model yang sedang berjalan, sehingga skor keseluruhan yang baik tidak dapat menyembunyikan satu kesalahan pun. Rubrik ini merupakan titik awal yang diusulkan, bukan standar kesiapan yang telah divalidasi.

Tindak lanjut di tempat kerja. Setelah periode yang sesuai, berikan kasus model baru atau tinjau tantangan yang diawasi pada model langsung, dan bandingkan dengan garis dasar pada dua ukuran yang sama: kualitas uji stres dan interpretasi kegagalan. Tentukan populasi, penyebut, dan waktu terlebih dahulu, dan catat kasus mana yang dilihat orang dalam pelatihan sehingga Anda dapat membedakan ingatan dari transfer.

Bukti apa yang akan menunjukkan bahwa pelatihan tersebut berhasil?

Carilah analis yang, pada model yang belum mereka lihat, sengaja mengubah asumsi, melihat di balik judul, menyatakan keterbatasan yang terkait dengan penggunaan dan mengatakan apa yang belum mereka uji. Tambahkan apa yang ditunjukkan oleh tinjauan catatan tantangan mereka: keterbatasan spesifik daripada peringatan umum.

Berhati-hatilah dengan hasil seperti jumlah temuan yang diangkat. Inventaris model baru, ujian regulasi, atau perubahan pihak yang meninjau pekerjaan dapat memengaruhi hasilnya dalam periode yang sama. Lebih banyak temuan dapat berarti tantangan yang lebih berat atau ambang batas yang berubah, jadi periksa terlebih dahulu sebelum memberikan kredit untuk pelatihan tersebut.

Di mana penyampaian interaktif membantu

Format interaktif sangat membantu karena setiap orang harus berkomitmen pada prediksi sebelum kelompok melihat hasilnya. Dalam sesi langsung, fasilitator dapat menjelaskan suatu perubahan, meminta setiap analis untuk memprediksi output mana yang akan berubah, dan kemudian mengungkapkan hasilnya, yang menunjukkan seberapa jauh intuisi dan model berbeda. Kasus yang sama dapat dijalankan secara mandiri sebagai persiapan. AhaSlides Mendukung pembelajaran interaktif dan perpindahan antara pembelajaran langsung dan pembelajaran mandiri. Periksa fungsi pembuatan konten, umpan balik, atau pelaporan apa pun yang Anda rencanakan untuk diandalkan terhadap alur kerja Anda sendiri. Perlakukan simulator, realitas virtual, AI, dan integrasi sistem sebagai eksternal atau belum terkonfirmasi sampai Anda melihatnya berfungsi. Laboratorium pada model yang aman adalah latihan, bukan pengganti validasi pada model nyata.

Apa yang tidak akan diperbaiki oleh pelatihan?

• Tata kelola yang lemah. Jika tidak ada yang bertanggung jawab atas tindak lanjut suatu tantangan, temuan akan kedaluwarsa. Sepakati terlebih dahulu pemiliknya.
• Tidak ada waktu untuk mengajukan keberatan. Orang yang dinilai berdasarkan kapasitas produksi tidak akan menjalankan tes tambahan.
• Model tertutup. Jika analis tidak dapat melihat asumsi-asumsi tersebut, mereka tidak dapat mengujinya.
• Keterbatasan bukti. Skor pada serangkaian kasus tidak menggambarkan setiap tantangan yang akan dihadapi seorang analis, dan tidak ada latihan pelatihan yang dapat memvalidasi model keuangan yang sebenarnya.

Sebutkan hal-hal ini kepada sponsor sejak dini dan sepakati siapa yang akan memperbaiki masing-masing masalah tersebut.

Pertanyaan yang sering diajukan

Apa itu latihan simulasi risiko?

Lakukan latihan di mana analis mengubah asumsi dalam model yang aman, menafsirkan perubahan yang terjadi, dan menjelaskan keterbatasan model serta penggunaan yang tepat.

Bisakah laboratorium pelatihan memvalidasi model yang sedang berjalan?

Tidak. Laboratorium mengajarkan suatu metode pada model yang aman atau sintetis. Validasi pada model hidup mengikuti tata kelola Anda sendiri dan panduan yang relevan.

Apakah analis perlu melakukan pemrograman untuk menjalankan lab-lab ini?

Tidak selalu. Model spreadsheet atau alat yang disetujui dengan menu perubahan tegangan sudah cukup. Keterampilan yang diajarkan adalah interpretasi, bukan pemrograman.

Bagaimana Anda menilai kemampuan menghadapi tantangan secara adil?

Gunakan kasus baru, rubrik singkat, dan tolok ukur yang disepakati, serta minta spesialis risiko model untuk mengkalibrasi penilaiannya.

Mulai dari mana

Mintalah seorang spesialis risiko model untuk satu model kecil yang aman dan tiga perubahan asumsi yang telah disetujui. Susun rubrik tiga kriteria, jalankan latihan "ubah satu asumsi" dengan satu tim, lalu beri nilai pada kasus baru sebelum Anda menerapkannya.

Untuk melihat bagaimana lab prediksi-lalu-ungkap seperti ini dapat dijalankan secara langsung dan digunakan kembali secara mandiri setelahnya, jelajahi AhaSlides.