Model risk eğitimi uygulamaları: Analistlere varsayımları sorgulamayı öğreten stres testi laboratuvarları nasıl tasarlanır?

Bir kredi risk modeli üç yıldır sorunsuz çalışıyor. Geriye dönük testleri temiz, çıktıları tolerans sınırları içinde rahatça yer alıyor ve işletme ona güveniyor. Bir eğitim laboratuvarında, bir analist onaylanmış bir girdi varsayımını, bir kredi sınıfındaki beklenen geri kazanım oranını, daha az güvenli bir değere değiştiriyor. Ana çıktı neredeyse hiç değişmiyor. İki segmentte ise büyük değişiklikler oluyor. Analist, bunun ne anlama geldiğine, model sahibine ne söylemesi gerektiğine ve modelin ne için kullanılmaması gerektiğine karar vermek zorunda kalıyor.

Bu, belgelenmiş bir müşteri vakası değil, örnek bir senaryodur. Model risk eğitimi egzersizlerinin geliştirmesi gereken beceriyi göstermektedir: varsayımları test etmek, sınırlamaları açıklamak ve bir model istikrarlı göründüğünde bir kararı gerekçelendirmek. Bu kılavuz, risk eğitimi yöneticileri ve cevapların sahibi olan uyumluluk ve model risk liderleri içindir. Sadece eğitim tasarımını kapsar. Bir eğitim egzersizi, canlı bir finansal modeli doğrulamaz ve her vaka kullanımdan önce bir model risk uzmanı tarafından incelenmelidir.

Model risk eğitimi tatbikatları nelerdir?

Model risk eğitimi egzersizleri, analistlerin genellikle basitleştirilmiş veya sentetik bir modeli varsayımları ve girdileri değiştirerek inceledikleri, ardından neler olduğunu yorumladıkları ve modelin destekleyebileceği sınırları açıkladıkları yapılandırılmış uygulama görevleridir. Stres testi laboratuvarı bunun uygulamalı biçimidir: güvenli bir model, onaylanmış bir dizi değişiklik ve sonuçları gerekçelendirme gerekliliği.

Hızlı gerçekler

1. Performans sorununu açıklayın.

Kararla başlayın. Bir model iyi göründüğünde bir analist ne yapmalıdır? Bunu tek bir fiille başlayan cümle olarak yazın: "Onaylanmış bir varsayımı değiştirin, neler olduğunu gözlemleyin, bunun ortaya çıkardığı sınırlamayı açıklayın ve modelin ne için kullanılması ve ne için kullanılmaması gerektiğini belirtin."

Denetleyiciler bu beceriyi adlandırır. ABD Federal Rezervi ve Para Birimi Denetleme Ofisi tarafından yayınlanmıştır. SR 11-7, Model Risk Yönetimine İlişkin Denetim Kılavuzu4 Nisan 2011'de yayımlanan bu kılavuz, model riskini, yanlış veya hatalı kullanılan model çıktılarından kaynaklanan olumsuz sonuçların potansiyeli olarak tanımlamakta ve "etkili eleştiri"yi yol gösterici bir ilke olarak adlandırmaktadır: model sınırlamalarını ve varsayımlarını belirleyebilen ve uygun değişiklikler üretebilen objektif, bilgili taraflarca yapılan eleştirel analiz. Bu, her yargı bölgesi için geçerli bir kural değil, ABD kılavuzudur; bu nedenle, size uygulanan gereksinimleri kontrol edin. Bu, eğitimin geliştirmesi gereken performansın yakın bir tanımıdır.

2. Öğrenme ve bağlam eksikliklerini teşhis edin.

Bu pozisyonun gerektirdiklerini, mevcut eğitim uygulamalarınız ve değerlendirmelerinizle karşılaştırın.

1. Analistler şu anda ne tür uygulamalar yapıyorlar? Eğer eğitim, model yönetimi üzerine bir ders ve dokümantasyon kontrol listesinden ibaretse, katılımcılar sadece terminolojiyi öğrenmişlerdir. Ancak, modeli kasten bozma pratiği yapmamışlardır.
2. Bilişsel talep nedir? Bloom'un revize edilmiş taksonomisinde, bir test çalıştırmak uygulama, modelin neden başarısız olduğunu yorumlamak analiz, modelin bir kullanım için uygun olup olmadığını değerlendirmek değerlendirme ve yeni bir stres testi tasarlamak ise yaratmadır. Rehberimiz Öğrenme etkinliklerini Bloom taksonomisine uygun hale getirmek Bu taleplerin nasıl okunacağını açıklıyor.
3. Beceriden başka bir şey mi engel teşkil ediyor? Öncelikle personel, araçlar ve prosedürleri kontrol edin. Analistlerin itiraz edecek zamanı yoksa, modelin varsayımlarına erişimleri yoksa veya bir sınırlamayı dile getirme yolları yoksa, laboratuvar Pazartesi günü olacakları değiştirmeyecektir.
4. Eleştirilere açık mısınız? Bir modeli eleştirmek, sahibini eleştirmek anlamına geliyorsa, insanlar sessiz kalacaktır. Eleştirilerin nasıl karşılanacağı konusunda önceden anlaştıktan sonra, buna yönelik eğitimlere başlayın.

3. Amaca yönelik hazırlık ve uygulama tasarlayın.

Her aşamaya kendi görevini verin.

Hazırlık: Ön koşulları kontrol edin. Modelin amacına, temel girdilerine ve laboratuvarın ihtiyaç duyduğu istatistiksel fikirlere ilişkin kısa, kendi hızınızda ilerleyebileceğiniz bir teşhis testi. Bu tür bir geri çağırma kontrolü yalnızca ön koşulları doğrular. Bunu yetenek olarak raporlamayın.

Uygulama: Model stres test laboratuvarları. Küçük, güvenli bir model oluşturun veya onaylanmış sentetik bir model kullanın ve öğrencilere onaylanmış değişikliklerin bir listesini verin. Talep sırasına göre artan şekilde üç alıştırma:

• Bir varsayımı değiştirin. Öğrenci onaylanmış bir girdiyi hareket ettirir ve hangi çıktıların hareket ettiğini, ne kadar hareket ettiğini ve hangilerinin hareket etmediğini kaydeder.
• Kırıldığı segmenti bulun. Öğrenci, başlıkta yer alan rakamın altına bakarak modelin en az istikrarlı olduğu noktayı bulur ve ardından bu modeli hangi amaçlarla kullanmayacağını belirtir.
• Sonraki testi tasarlayın. Öğrenci, ek bir stres testi yapılmasını öneriyor, sonucunun görüşünü değiştireceğini ve bunun maliyetinin ne olacağını belirtiyor.

Geri bildirimler kararlarla bağlantılıdır. "Manşet değişikliğini bildirdiniz ancak en çok değişen iki bölümü kontrol etmediniz" ifadesi, bir puandan daha faydalıdır. Kararı, kullanılan veya gözden kaçırılan kanıtları ve onaylanan kriteri belirtin.

Canlı eğitmen desteği mi yoksa eş zamanlı olmayan tekrar mı? Canlı geri bildirim, bir model risk uzmanının bir sınırlamanın neden önemli olduğunu veya bir testin neden zayıf olduğunu açıklaması durumunda en büyük değeri katar. Kavramlar için, test sonuçlarını bir anahtar ile karşılaştırmak için ve bir uzmanın daha sonra okuyabileceği yazılı sınırlama ifadeleri için eş zamanlı olmayan inceleme yeterlidir. Yaygın bir karışım, kendi hızında hazırlık, kolaylaştırılmış bir laboratuvar ve ardından daha deneyimli bir meslektaş tarafından gerçek bir modelin denetlendiği bir testtir.

4. Gerçekçi bir örnek üzerinde çalışın.

Örnek niteliğindedir. Kullanımdan önce bir risk uzmanı tarafından vaka ve yanıt kriterlerinin doğrulanması gerekir.

Dosya. Basitleştirilmiş bir kredi zarar modeli, %60'lık beklenen bir geri kazanım oranı kullanmaktadır. Geriye dönük testler sorunsuz sonuç vermektedir. Onaylanan stres testi, teminatsız krediler için oranı %40'a çıkarmaktadır. Portföy zarar tahmini genel olarak %4 artmaktadır. İki segmentte, her ikisi de küçük işletme teminatsız kredilerinde, %30'dan fazla artış görülmektedir.

Görev. Öğrenci, testin sonuçlarını belirtir, sınırlamaları açıklar ve bir karar önerir.

İlk deneme. "Genel değişim sadece yüzde 4 olduğundan, model bu varsayıma karşı dayanıklıdır."

Geri bildirim ve yeniden deneme. Kolaylaştırıcı, hangi segmentlerin en çok hareket ettiğini, portföydeki büyüklüklerini ve genel rakamın neyi gizlediğini sorar. Tekrar denemede ise yorumlama, sınırlama ve öneri istenir.

Daha güçlü bir girişim. "Ana rakam çok az değişiyor çünkü etkilenen segmentler portföyün küçük bir bölümünü oluşturuyor. Bunların içinde tahmin %30'dan fazla artıyor, bu nedenle model küçük işletmelere yönelik teminatsız krediler için geri kazanım varsayımına oldukça duyarlı. Bu segmentler için tek bir %60 rakamına güvenmezdim. Segment düzeyinde geri kazanım varsayımları ve belgelenmiş bir duyarlılık aralığı öneririm ve model sahibine yalnızca bir girdiyi test ettiğimi söylerdim. Korelasyonu veya veri kalitesini test etmedim."

Her bir yanıtın neden savunulabilir veya eksik olduğu. Her birini, kolaylaştırıcının tercihine göre değil, onaylanmış kriterlere göre değerlendirin. İlk girişim, genel sonucu okur ve durur. Daha güçlü girişim ise modelin hassas olduğu noktaları bulur, bir kullanıma bağlı bir sınırlama belirtir, sınırlı bir eylem önerir ve test edilmemiş olanların neler olduğunu söyler. Modelin yanlış olduğunu iddia etmez.

5. Kapasiteyi değerlendirin ve devri planlayın

Yeterlilik kanıtı, öğrencinin daha önce görmediği yeni bir model vakaya verdiği yanıttır. Uzmanınızla birlikte tanımladığınız her bir kriter için 0 ile 2 arasında kısa bir puanlama ölçeği kullanın. Kılavuzumuz Eğitimde muhakeme ve problem çözme becerilerinin değerlendirilmesi Çapa noktalarını ve kalibrasyon değerlendiricilerini kapsar.

Çapa noktaları: 0 eksik veya desteksiz, 1 ilgili eksikliklerle kısmi, 2 ise kabul edilen kriterlere göre eksiksiz ve gerekçelendirilmiş anlamına gelir. Kritik hataları ayrı olarak tanımlayın; örneğin, bir stres testi sonucunu canlı bir modelin doğrulaması olarak sunmak gibi, böylece iyi bir genel puan bir hatayı gizleyemez. Bu değerlendirme, önerilen bir başlangıç ​​noktasıdır, doğrulanmış bir hazırlık standardı değildir.

İşyeri takibi. Uygun bir süre geçtikten sonra, yeni bir model vakası verin veya canlı bir model üzerinde denetimli bir zorluğu gözden geçirin ve bunu aynı iki ölçüt üzerinden temel değerle karşılaştırın: stres testlerinin kalitesi ve başarısızlığın yorumlanması. Popülasyonu, paydayı ve zamanlamayı önceden tanımlayın ve insanların eğitimde hangi vakaları gördüğünü kaydedin, böylece hatırlamayı aktarımdan ayırt edebilirsiniz.

Eğitimin işe yaradığını gösteren hangi kanıtlar olabilir?

Daha önce görmedikleri bir model üzerinde varsayımlarını kasten değiştiren, başlığın altına inen, bir kullanımla ilgili bir sınırlama belirten ve test etmedikleri şeyleri söyleyen analistleri arayın. Zorluk notlarının incelenmesinin gösterdiği şeyleri ekleyin: genel uyarılar yerine spesifik sınırlamalar.

Bulguların sayısı gibi sonuçlara dikkat edin. Yeni bir model envanteri, düzenleyici bir inceleme veya işi kimin değerlendirdiğinde meydana gelen bir değişiklik, aynı dönemde bu sayıları etkileyebilir. Daha fazla bulgu, daha sert bir sorgulama veya değişen bir eşik anlamına gelebilir, bu nedenle eğitimi onaylamadan önce kontrol edin.

Etkileşimli sunumun yardımcı olduğu yerler

Etkileşimli formatlar, grubun sonucu görmeden önce herkesin bir tahminde bulunması gereken durumlarda yardımcı olur. Canlı bir oturumda, kolaylaştırıcı bir değişikliği açıklayabilir, her analistten hangi çıktıların değişeceğini tahmin etmesini isteyebilir ve ardından sonucu açıklayarak sezgi ile model arasındaki farkın ne kadar büyük olduğunu ortaya koyabilir. Aynı durumlar hazırlık amacıyla kendi hızlarında da yürütülebilir. AhaSlides Etkileşimli öğrenmeyi ve canlı ile kendi hızınızda öğrenme arasında geçişi destekler. Kullanmayı planladığınız tüm yazma, geri bildirim veya raporlama işlevlerini kendi iş akışınızla karşılaştırın. Simülatörleri, sanal gerçekliği, yapay zekayı ve sistem entegrasyonlarını, çalıştıklarını görene kadar harici veya doğrulanmamış olarak değerlendirin. Güvenli bir model üzerinde yapılan laboratuvar çalışması, canlı bir modelin doğrulanmasının yerini tutmaz, yalnızca pratik amaçlıdır.

Eğitimin düzeltemeyeceği şeyler

• Zayıf yönetim. Bir itirazın ardından yapılacak takip çalışmalarının sorumluluğu kimseye ait değilse, bulgular geçerliliğini yitirir. Öncelikle sorumlulukları belirleyin.
• İtiraz edecek zaman yok. Verimlilik üzerinden değerlendirilen kişiler ek testler yapmayacaklardır.
• Kapalı modeller. Analistler varsayımları göremezlerse, onları test edemezler.
• Kanıt sınırları. Bir dizi vaka üzerinden alınan puan, bir analistin karşılaşacağı her zorluğu tanımlamaz ve hiçbir eğitim tatbikatı canlı bir finansal modeli doğrulayamaz.

Bunları sponsorlara önceden bildirin ve her birini kimin düzelteceği konusunda anlaşın.

Sık Sorulan Sorular

Model risk eğitimi tatbikatları nelerdir?

Analistlerin güvenli bir modeldeki varsayımları değiştirdiği, değişiklikleri yorumladığı ve modelin sınırlamalarını ve uygun kullanım alanlarını açıkladığı uygulama görevleri.

Bir eğitim laboratuvarı, canlı bir modeli doğrulayabilir mi?

Hayır. Laboratuvar, güvenli veya sentetik bir model üzerinde bir yöntem öğretir. Canlı bir modelin doğrulanması, kendi yönetiminiz ve ilgili kılavuzlara tabidir.

Analistlerin bu laboratuvarları çalıştırmak için kod yazmaları gerekiyor mu?

Mutlaka değil. Bir elektronik tablo modeli veya stres değişiklikleri menüsüne sahip onaylı bir araç yeterlidir. Öğretilen beceri programlama değil, yorumlama becerisidir.

Zorluklarla başa çıkma becerilerini adil bir şekilde nasıl değerlendirirsiniz?

Yeni bir örnek olay, kısa bir değerlendirme formu ve üzerinde anlaşılmış ölçütler kullanın ve bir model risk uzmanından puanlamayı kalibre etmesini isteyin.

Nerede başlar

Bir model risk uzmanından küçük, güvenli bir model ve onaylanmış üç varsayım değişikliği isteyin. Üç kriterli değerlendirme şablonunu hazırlayın, bir ekiple "bir varsayımı değiştirme" egzersizini yapın, ardından uygulamaya geçirmeden önce yeni bir vakayı puanlayın.

Bu tür bir tahmin-sonra-sonuç laboratuvarının nasıl canlı olarak çalıştırılabileceğini ve sonrasında kendi hızınızda yeniden kullanılabileceğini görmek için inceleyin. AhaSlides.