Các bài tập huấn luyện về rủi ro mô hình: cách thiết kế các phòng thí nghiệm kiểm thử căng thẳng giúp các nhà phân tích biết cách đặt câu hỏi về các giả định.

Một mô hình rủi ro tín dụng đã hoạt động tốt trong ba năm. Kết quả kiểm thử ngược (back-test) cho thấy mô hình hoàn toàn chính xác, các giá trị đầu ra nằm trong phạm vi cho phép và doanh nghiệp tin tưởng vào nó. Trong một phòng thí nghiệm đào tạo, một nhà phân tích thay đổi một giả định đầu vào đã được phê duyệt, tỷ lệ thu hồi dự kiến ​​trên một nhóm khoản vay, thành một giá trị kém tin cậy hơn. Kết quả đầu ra chính hầu như không thay đổi. Hai phân đoạn khác lại thay đổi rất nhiều. Nhà phân tích phải quyết định điều đó có nghĩa là gì, cần báo cáo gì cho chủ sở hữu mô hình và mô hình không nên được sử dụng cho mục đích nào.

Đây là một kịch bản minh họa, không phải là trường hợp khách hàng đã được ghi nhận. Nó cho thấy kỹ năng mà các bài tập đào tạo về rủi ro mô hình cần phải xây dựng: kiểm tra các giả định, giải thích các hạn chế và biện minh cho một quyết định khi mô hình có vẻ ổn định. Hướng dẫn này dành cho các trưởng bộ phận đào tạo rủi ro và các trưởng nhóm tuân thủ và rủi ro mô hình, những người chịu trách nhiệm về các câu trả lời. Nó chỉ bao gồm thiết kế đào tạo. Một bài tập đào tạo không xác thực một mô hình tài chính thực tế, và một chuyên gia về rủi ro mô hình nên xem xét mọi trường hợp trước khi sử dụng.

Bài tập huấn luyện về rủi ro mô hình là gì?

Các bài tập huấn luyện về rủi ro mô hình là các nhiệm vụ thực hành có cấu trúc, trong đó các nhà phân tích kiểm tra một mô hình, thường là một mô hình đơn giản hóa hoặc tổng hợp, bằng cách thay đổi các giả định và đầu vào, sau đó diễn giải những gì xảy ra và giải thích giới hạn của những gì mô hình có thể hỗ trợ. Phòng thí nghiệm kiểm thử chịu tải là hình thức thực hành trực tiếp của việc này: một mô hình an toàn, một tập hợp các thay đổi đã được phê duyệt và yêu cầu phải biện minh cho các kết luận.

sự kiện nhanh chóng

1. Mô tả vấn đề về hiệu năng

Hãy bắt đầu bằng quyết định. Nhà phân tích cần làm gì khi mô hình trông có vẻ ổn? Hãy viết nó thành một câu duy nhất có động từ chính: "Thay đổi một giả định đã được chấp thuận, quan sát những thay đổi, giải thích hạn chế mà điều này bộc lộ và cho biết mô hình nên và không nên được sử dụng cho mục đích nào."

Người giám sát đặt tên cho kỹ năng này. Cục Dự trữ Liên bang Hoa Kỳ và Văn phòng Kiểm soát Tiền tệ đã ban hành SR 11-7, Hướng dẫn giám sát về quản lý rủi ro mô hìnhVào ngày 4 tháng 4 năm 2011, tài liệu này mô tả rủi ro mô hình là khả năng xảy ra hậu quả bất lợi từ các quyết định dựa trên kết quả đầu ra của mô hình không chính xác hoặc bị sử dụng sai, và gọi "thử thách hiệu quả" là nguyên tắc hướng dẫn: phân tích phê bình bởi các bên khách quan, có hiểu biết, những người có thể xác định các hạn chế và giả định của mô hình và đưa ra những thay đổi phù hợp. Đó là hướng dẫn của Hoa Kỳ, không phải là quy tắc áp dụng cho mọi khu vực pháp lý, vì vậy hãy kiểm tra các yêu cầu áp dụng cho bạn. Đây là mô tả khá sát với hiệu quả mà chương trình đào tạo nên hướng tới.

2. Chẩn đoán những thiếu sót về kiến ​​thức và bối cảnh.

Hãy so sánh những yêu cầu của vị trí này với những gì chương trình đào tạo hiện tại của bạn đang thực hành và đánh giá.

1. Các nhà phân tích hiện đang thực hành những gì? Nếu khóa đào tạo chỉ là một bài giảng về mô hình quản trị cộng với danh sách kiểm tra tài liệu, thì họ đã học được thuật ngữ. Họ chưa thực hành việc cố tình phá vỡ mô hình.
2. Yêu cầu về khả năng nhận thức là gì? Theo phân loại Bloom sửa đổi, chạy thử nghiệm là ứng dụng, giải thích lý do mô hình thất bại là phân tích, đánh giá xem mô hình có phù hợp với mục đích sử dụng hay không là đánh giá, và thiết kế một bài kiểm tra chịu tải mới là sáng tạo. Hướng dẫn của chúng tôi về Phù hợp các hoạt động học tập với phân loại Bloom. Giải thích cách đọc hiểu những yêu cầu này.
3. Liệu có yếu tố nào khác ngoài kỹ năng đang cản trở? Trước tiên hãy kiểm tra nhân sự, công cụ và quy trình. Nếu các nhà phân tích không có thời gian để phản biện, không có quyền truy cập vào các giả định của mô hình hoặc không có cách nào để nêu ra hạn chế, phòng thí nghiệm sẽ không thể thay đổi những gì xảy ra vào thứ Hai.
4. Bạn có sẵn sàng đón nhận thử thách không? Nếu việc thách thức một mô hình đồng nghĩa với việc chỉ trích người sở hữu nó, mọi người sẽ im lặng. Hãy thống nhất cách đón nhận sự thách thức trước khi bắt đầu huấn luyện.

3. Thiết kế quá trình chuẩn bị và luyện tập có mục đích.

Hãy giao nhiệm vụ riêng cho từng giai đoạn.

Chuẩn bị: kiểm tra các điều kiện tiên quyết. Một bài kiểm tra chẩn đoán ngắn gọn, tự thực hiện về mục đích của mô hình, các đầu vào chính và các ý tưởng thống kê mà phòng thí nghiệm cần. Bài kiểm tra này chỉ nhằm xác nhận các điều kiện tiên quyết. Không nên báo cáo kết quả như một bài kiểm tra năng lực.

Thực hành: Mô hình phòng thí nghiệm kiểm tra độ bền. Xây dựng một mô hình nhỏ, an toàn, hoặc sử dụng một mô hình tổng hợp đã được phê duyệt, và cung cấp cho người học một danh sách các thay đổi đã được phê duyệt. Ba bài tập theo thứ tự độ khó tăng dần:

• Hãy thay đổi một giả định. Người học di chuyển một đầu vào đã được phê duyệt và ghi lại những đầu ra nào di chuyển, mức độ di chuyển và những đầu ra nào không di chuyển.
• Hãy tìm đoạn bị đứt. Người học nhìn xuống phía dưới con số tiêu đề và tìm ra điểm mà mô hình kém ổn định nhất, sau đó nêu rõ lý do tại sao họ sẽ không sử dụng mô hình đó.
• Hãy thiết kế bài kiểm tra tiếp theo. Người học đề xuất một bài kiểm tra khả năng chịu áp lực khác, nêu rõ kết quả nào sẽ thay đổi quan điểm của họ và chi phí thực hiện là bao nhiêu.

Phản hồi liên quan đến các quyết định. "Câu 'Bạn đã báo cáo về sự thay đổi tiêu đề nhưng không kiểm tra hai phân đoạn có sự thay đổi nhiều nhất' hữu ích hơn là một điểm số. Hãy nêu rõ quyết định, bằng chứng đã sử dụng hoặc bị bỏ sót và tiêu chí được chấp thuận."

Giảng viên trực tiếp hướng dẫn hay ôn tập không đồng bộ? Phản hồi trực tiếp mang lại giá trị cao nhất khi chuyên gia về rủi ro mô hình giải thích lý do tại sao một hạn chế lại quan trọng, hoặc tại sao một bài kiểm tra lại yếu. Việc xem xét không đồng bộ là đủ cho các khái niệm, để kiểm tra kết quả kiểm tra so với khóa và cho các tuyên bố hạn chế bằng văn bản mà chuyên gia có thể đọc sau này. Một sự kết hợp phổ biến là tự chuẩn bị theo tốc độ riêng, thực hành có người hướng dẫn, sau đó là thử thách thực tế với một mô hình thực tế dưới sự giám sát của một đồng nghiệp giàu kinh nghiệm hơn.

4. Hãy cùng nhau tìm hiểu một ví dụ thực tế.

Chỉ mang tính minh họa. Chuyên gia đánh giá rủi ro mô hình cần thẩm định trường hợp và đáp ứng các tiêu chí trước khi sử dụng.

Trường hợp. Mô hình dự báo tổn thất cho vay đơn giản sử dụng tỷ lệ thu hồi dự kiến ​​là 60%. Kiểm tra ngược cho kết quả chính xác. Tình huống căng thẳng được phê duyệt làm thay đổi tỷ lệ này xuống còn 40% đối với các khoản vay không có bảo đảm. Ước tính tổn thất danh mục đầu tư tăng 4% nói chung. Hai phân khúc, đều là các khoản vay không có bảo đảm của doanh nghiệp nhỏ, tăng hơn 30%.

Nhiệm vụ. Người học trình bày kết quả kiểm tra, giải thích những hạn chế và đề xuất giải pháp.

Lần thử đầu tiên. "Sự thay đổi tổng thể chỉ là 4%, vì vậy mô hình vẫn hoạt động tốt ngay cả khi có giả định này."

Phản hồi và thử lại. Người điều phối hỏi phân khúc nào biến động nhiều nhất, quy mô của chúng trong danh mục đầu tư là bao nhiêu và con số tổng thể đó che giấu điều gì. Phần hỏi lại yêu cầu giải thích, hạn chế và khuyến nghị.

Một nỗ lực mạnh mẽ hơn. "Con số tổng quan ít thay đổi vì các phân khúc bị ảnh hưởng chỉ chiếm một phần nhỏ trong danh mục đầu tư. Trong các phân khúc đó, ước tính tăng hơn 30%, do đó mô hình rất nhạy cảm với giả định về tỷ lệ thu hồi nợ đối với cho vay tín chấp cho doanh nghiệp nhỏ. Tôi sẽ không dựa vào con số 60% duy nhất cho các phân khúc đó. Tôi khuyến nghị nên sử dụng các giả định về tỷ lệ thu hồi nợ ở cấp độ phân khúc và phạm vi độ nhạy được ghi chép lại, đồng thời tôi sẽ thông báo cho chủ sở hữu mô hình rằng tôi chỉ mới kiểm tra một yếu tố đầu vào. Tôi chưa kiểm tra mối tương quan hoặc chất lượng dữ liệu."

Tại sao mỗi câu trả lời lại có thể chấp nhận được hoặc chưa đầy đủ. Đánh giá từng trường hợp dựa trên các tiêu chí đã được phê duyệt, chứ không phải theo sở thích của người điều phối. Lần thử đầu tiên chỉ đọc tổng quan và dừng lại. Lần thử tốt hơn sẽ tìm ra điểm yếu của mô hình, nêu rõ hạn chế liên quan đến cách sử dụng, đề xuất hành động cụ thể và cho biết những gì chưa được kiểm chứng. Nó không khẳng định mô hình là sai.

5. Đánh giá năng lực và lập kế hoạch chuyển giao

Bằng chứng về năng lực là phản hồi đối với một trường hợp mẫu mới mà người học chưa từng thấy. Chấm điểm theo thang điểm ngắn từ 0 đến 2 cho mỗi tiêu chí, được xác định cùng với chuyên gia của bạn. Hướng dẫn của chúng tôi về đánh giá khả năng phán đoán và giải quyết vấn đề trong quá trình đào tạo Nội dung bao gồm việc xác định điểm neo và hiệu chỉnh người đánh giá.

Thang điểm: 0 nghĩa là không có hoặc không được hỗ trợ, 1 nghĩa là một phần với những thiếu sót liên quan, và 2 nghĩa là đầy đủ và được chứng minh dựa trên các tiêu chí đã thống nhất. Xác định riêng các lỗi nghiêm trọng, ví dụ như trình bày kết quả kiểm tra độ bền như là sự xác nhận của một mô hình đang hoạt động, để điểm tổng thể tốt không thể che giấu lỗi. Bảng tiêu chí này là điểm khởi đầu được đề xuất, không phải là tiêu chuẩn sẵn sàng đã được xác nhận.

Theo dõi và giám sát tại nơi làm việc. Sau một khoảng thời gian thích hợp, hãy đưa ra một trường hợp mô hình mới hoặc xem xét lại một thử thách có giám sát trên mô hình thực tế, và so sánh nó với đường cơ sở trên cùng hai thước đo: chất lượng kiểm tra độ bền và diễn giải lỗi. Xác định trước quần thể, mẫu số và thời gian, và ghi lại những trường hợp mà mọi người đã thấy trong quá trình huấn luyện để bạn có thể phân biệt giữa khả năng nhớ lại và khả năng chuyển giao kiến ​​thức.

Những bằng chứng nào sẽ chứng minh rằng khóa đào tạo đã có hiệu quả?

Hãy tìm những nhà phân tích, khi sử dụng mô hình mà họ chưa từng thấy, cố tình thay đổi một giả định, xem xét kỹ hơn những điểm chính, nêu rõ hạn chế liên quan đến cách sử dụng và cho biết những gì họ chưa kiểm tra. Thêm vào đó, kết quả xem xét ghi chú thách thức của họ cho thấy những hạn chế cụ thể chứ không phải những lưu ý chung chung.

Cần thận trọng với các kết quả như số lượng phát hiện được nêu ra. Một danh mục mô hình mới, một kỳ kiểm tra quy định hoặc sự thay đổi về người đánh giá công việc có thể làm thay đổi chúng trong cùng một khoảng thời gian. Nhiều phát hiện hơn có thể đồng nghĩa với thách thức gay gắt hơn hoặc ngưỡng thay đổi, vì vậy hãy kiểm tra trước khi ghi nhận thành tích đào tạo.

Trong trường hợp phương thức giao hàng tương tác giúp ích

Các định dạng tương tác rất hữu ích khi mọi người cùng cam kết đưa ra dự đoán trước khi cả nhóm xem kết quả. Trong một buổi thảo luận trực tiếp, người điều phối có thể mô tả một sự thay đổi, yêu cầu mỗi nhà phân tích dự đoán những kết quả nào sẽ thay đổi và sau đó tiết lộ kết quả, từ đó cho thấy sự khác biệt giữa trực giác và mô hình. Các trường hợp tương tự có thể được thực hiện theo tốc độ riêng để chuẩn bị. AhaSlides Hỗ trợ học tập tương tác và chuyển đổi linh hoạt giữa hình thức học trực tiếp và tự học. Kiểm tra kỹ lưỡng mọi chức năng soạn thảo, phản hồi hoặc báo cáo mà bạn dự định sử dụng so với quy trình làm việc của riêng bạn. Coi các trình mô phỏng, thực tế ảo, trí tuệ nhân tạo và tích hợp hệ thống là các yếu tố bên ngoài hoặc chưa được xác nhận cho đến khi bạn thấy chúng hoạt động. Thực hành trên mô hình an toàn chỉ là luyện tập, không thể thay thế cho việc xác thực trên mô hình thực tế.

Những điều mà huấn luyện không thể khắc phục được

• Quản trị yếu kém. Nếu không ai chịu trách nhiệm theo dõi sau khi một thách thức được đặt ra, các phát hiện sẽ bị lãng quên. Trước tiên, hãy thống nhất người chịu trách nhiệm.
• Không có thời gian để phản bác. Những người được đánh giá dựa trên năng suất sẽ không thực hiện thêm các bài kiểm tra.
• Mô hình khép kín. Nếu các nhà phân tích không thể thấy được các giả định, họ không thể kiểm chứng chúng.
• Những hạn chế của bằng chứng. Điểm số đạt được trên một loạt các bài tập không thể mô tả hết mọi thách thức mà nhà phân tích sẽ gặp phải, và không có bài tập huấn luyện nào có thể xác thực một mô hình tài chính thực tế.

Hãy thông báo sớm cho nhà tài trợ về những vấn đề này và thống nhất ai sẽ chịu trách nhiệm khắc phục từng vấn đề.

Các câu hỏi thường gặp

Bài tập huấn luyện về rủi ro mô hình là gì?

Bài tập thực hành bao gồm việc các nhà phân tích thay đổi các giả định trong một mô hình an toàn, giải thích sự thay đổi và nêu rõ những hạn chế cũng như cách sử dụng phù hợp của mô hình.

Liệu phòng thí nghiệm huấn luyện có thể xác thực mô hình đang hoạt động không?

Không. Phòng thí nghiệm hướng dẫn phương pháp trên mô hình an toàn hoặc mô hình tổng hợp. Việc xác thực trên mô hình thực tế tuân theo quy trình quản lý riêng của bạn và các hướng dẫn có liên quan.

Các nhà phân tích có cần phải biết lập trình để vận hành các phòng thí nghiệm này không?

Không nhất thiết. Một mô hình bảng tính hoặc một công cụ được phê duyệt với danh sách các thay đổi về mức độ căng thẳng là đủ. Kỹ năng được dạy là khả năng diễn giải, chứ không phải lập trình.

Làm thế nào để đánh giá kỹ năng vượt thử thách một cách công bằng?

Sử dụng một trường hợp mới, một bảng tiêu chí ngắn gọn và các tiêu chí đánh giá đã được thống nhất, đồng thời nhờ một chuyên gia về rủi ro mô hình hiệu chỉnh việc chấm điểm.

Bắt đầu từ đâu

Hãy yêu cầu một chuyên gia về rủi ro mô hình cung cấp một mô hình nhỏ, an toàn và ba thay đổi giả định đã được phê duyệt. Soạn thảo bảng đánh giá ba tiêu chí, thực hiện bài tập "thay đổi một giả định" với một nhóm, sau đó chấm điểm trường hợp mới trước khi triển khai rộng rãi.

Để xem cách một phòng thí nghiệm dự đoán rồi tiết lộ như thế này có thể hoạt động trực tiếp và được tái sử dụng theo tốc độ riêng sau đó, hãy khám phá AhaSlides.