Một mô hình cảnh báo gắn cờ một giao dịch thanh toán thẻ có khả năng gian lận. Số tiền giao dịch khá lớn đối với khách hàng, người bán là người bán mới và điểm tín dụng nằm trong nhóm cao nhất. Nhà phân tích còn có thêm bốn mươi cảnh báo khác đang chờ xử lý. Bước nhanh nhất là xác nhận và bỏ qua. Nhưng ghi chú tài khoản của khách hàng cho thấy việc chuyển nhà gần đây và một cuộc gọi trước đó về một giao dịch mua lớn, điều này có thể giải thích mọi dấu hiệu cảnh báo.
Đây là một tình huống minh họa, không phải là một trường hợp đã được ghi nhận. Nó mô tả thói quen mà quá trình đào tạo đánh giá cảnh báo gian lận bằng AI cần xây dựng: đọc một cảnh báo tự động như một điểm khởi đầu để kiểm tra, chứ không phải là một câu trả lời để phê duyệt.
Hướng dẫn này dành cho các trưởng bộ phận đào tạo quản lý rủi ro và các trưởng nhóm phòng chống tội phạm tài chính hoặc tuân thủ pháp luật làm việc cùng họ. Nó bao gồm cách mô tả vấn đề về hiệu suất, chẩn đoán các thiếu sót, thiết kế kế hoạch chuẩn bị và thực hành, phân tích trường hợp cụ thể và đánh giá xem kỹ năng có thể áp dụng vào thực tế hay không. Đây là về thiết kế đào tạo. Mỗi loại cảnh báo, quy tắc xử lý và lộ trình leo thang trong chương trình của bạn cần được trưởng nhóm phòng chống tội phạm tài chính hoặc tuân thủ pháp luật xác nhận và phù hợp với các nghĩa vụ pháp lý của bạn.
Đào tạo đánh giá cảnh báo gian lận bằng AI là gì?
Khóa đào tạo đánh giá cảnh báo gian lận bằng AI dạy các nhà phân tích cách xác thực kết quả do mô hình tự động tạo ra. Nhà phân tích kiểm tra cảnh báo trong bối cảnh rộng hơn, xem xét các giải thích thay thế, quyết định hướng xử lý và viết bản lý giải để người khác có thể kiểm toán. Rủi ro mà khóa học này giải quyết là sự chấp nhận thụ động, trong đó kết quả đầu ra của mô hình được coi là quyết định cuối cùng.
sự kiện nhanh chóng
| câu hỏi | Câu trả lời ngắn |
|---|---|
| Nhiệm vụ là gì? | Xem xét lại cảnh báo tự động và đưa ra lý do giải quyết. |
| Bạn đạt được bao nhiêu điểm? | Độ chính xác của quyết định và chất lượng của lý do đánh giá. |
| Một bài kiểm tra kiến thức về chính sách có đủ không? | Không. Nó xác nhận các điều kiện tiên quyết, nhưng không cho biết liệu một nhà phân tích có thể cưỡng lại được một điểm số thuyết phục hay không. |
| Ai là người xác nhận nội dung? | Trưởng bộ phận phòng chống tội phạm tài chính hoặc tuân thủ pháp luật. |
| Huấn luyện không thể giải quyết được vấn đề gì? | Khối lượng hàng đợi, thời gian mục tiêu, chất lượng cảnh báo kém và quyền giải quyết vấn đề không rõ ràng. |
| Làm sao bạn biết nó có tác dụng? | Một bộ trường hợp giao dịch mới, chưa từng thấy trước đây, được chấm điểm dựa trên các tiêu chí đã thống nhất, kèm theo theo dõi sát sao công việc thực tế. |
1. Mô tả vấn đề về hiệu năng
Hãy bắt đầu với nhiệm vụ: xem xét các cảnh báo tự động và đưa ra lý do cho quyết định của mình. Việc xem xét không chỉ đơn thuần là đồng ý hay không đồng ý. Nhà phân tích cần thu thập thêm thông tin ngữ cảnh mà mô hình không sử dụng, cân nhắc thông tin đó so với lý do mô hình đưa ra cảnh báo và ghi lại lý do tại sao quyết định đó là hợp lý.
Tài liệu về yếu tố con người đã đặt tên cho vấn đề này. Trong một bài đánh giá các nghiên cứu thực nghiệm, Parasuraman và Manzey mô tả thiên kiến tự động hóa, trong đó mọi người quá phụ thuộc vào các công cụ hỗ trợ tự động và mắc lỗi bỏ sót (bỏ qua điều gì đó mà công cụ hỗ trợ không chỉ ra) và lỗi thực hiện (làm theo công cụ hỗ trợ khi nó sai). Họ báo cáo rằng những ảnh hưởng này có thể xảy ra khi các công cụ hỗ trợ không hoàn hảo, rằng sự chú ý đóng vai trò trung tâm và rằng chúng không thể được ngăn chặn bằng đào tạo hoặc hướng dẫn.Parasuraman và Manzey, 2010Bài đánh giá này đề cập đến việc con người sử dụng tự động hóa nói chung, chứ không phải các hoạt động gian lận cụ thể, vì vậy hãy coi phát hiện này như một cảnh báo về thiết kế và đo lường nó trong các hàng đợi của riêng bạn.
Đối với công tác đào tạo, điều đó có nghĩa là một bản tóm tắt ngắn gọn về rủi ro sẽ không đủ. Bài tập phải giúp các nhà phân tích thực hành việc không đồng ý với mô hình khi bằng chứng ủng hộ nó, và đồng ý khi bằng chứng không ủng hộ.
Hãy viết bản đánh giá hiệu quả hoạt động chỉ trong một câu và nhờ người phụ trách phòng chống tội phạm tài chính kiểm tra: "Dựa trên cảnh báo và bối cảnh tài khoản, nhà phân tích nêu rõ mô hình đã phát hiện ra điều gì, bằng chứng tổng quát cho thấy điều gì, hướng xử lý và lý do, cũng như thông tin bổ sung mà họ sẽ tìm kiếm."
2. Chẩn đoán những thiếu sót về kiến thức và bối cảnh.
Trước khi bắt tay vào xây dựng bất cứ điều gì, hãy so sánh nhiệm vụ đó với những gì chương trình đào tạo hiện tại của bạn đang thực hành và đánh giá. Thông thường, ba câu hỏi sau sẽ giúp phân biệt lỗ hổng đào tạo với những vấn đề khác:
- Liệu phương pháp hiện tại có sử dụng đúng nhiệm vụ thực tế? Nếu chương trình đào tạo chỉ bao gồm chính sách và các loại hình nhưng không bao giờ yêu cầu các nhà phân tích xem xét cảnh báo từ mô hình, thì không ai thực hành việc thẩm định. Nếu việc đánh giá chỉ dựa trên việc kết quả có khớp với đáp án hay không, điều đó sẽ che giấu chất lượng của lập luận.
- Yêu cầu về khả năng nhận thức là gì? Trong thang phân loại Bloom sửa đổi, việc cân nhắc các giải thích cạnh tranh và đánh giá khuynh hướng nằm ở cấp độ phân tích và đánh giá. Việc nhớ lại một kiểu phân loại nằm ở cấp độ thấp hơn. Việc ghép các hoạt động với các cấp độ đó được đề cập trong hướng dẫn của chúng tôi về Phù hợp các hoạt động học tập với Phân loại Bloom..
- Liệu có điều gì khác ngoài kỹ năng đang cản trở bạn? Kiểm tra khối lượng hàng đợi, mục tiêu thời gian xử lý và quyền leo thang vấn đề. Nếu một nhà phân tích được đánh giá dựa trên số lượng cảnh báo được đóng mỗi giờ, thì việc chấp nhận mô hình là lựa chọn hợp lý và việc đào tạo sẽ không thay đổi điều đó. Báo cáo các nguyên nhân không liên quan đến đào tạo cho những người có thể khắc phục chúng.
3. Chuẩn bị và thực hành thiết kế
Khi bạn đã xác định được những thiếu sót nào mà đào tạo có thể khắc phục, hãy giao nhiệm vụ riêng biệt cho từng giai đoạn.
Sự chuẩn bị. Kiểm tra các điều kiện tiên quyết bằng một bài kiểm tra chẩn đoán ngắn gọn: các kiểu phân loại nằm trong phạm vi, dữ liệu mà cảnh báo hiển thị, những gì mô hình sử dụng và những gì nó không thấy. Tự học theo tốc độ riêng phù hợp với giai đoạn này. Kiểm tra lại chỉ xác nhận các điều kiện tiên quyết.
Thực hành. Sử dụng các mô phỏng gian lận được xây dựng từ các trường hợp đã được ẩn danh và, nếu có đủ nguồn lực, các trường hợp theo kiểu nhóm đỏ được viết ra để khai thác những gì mô hình bỏ sót. Kết hợp các cảnh báo trong đó mô hình dự đoán đúng, cảnh báo trong đó mô hình dự đoán sai và cảnh báo không rõ ràng, mà không cho nhà phân tích biết cảnh báo nào thuộc loại nào. Nhà phân tích sẽ chọn một hướng xử lý và viết lý do.
Phản hồi. Hãy liên hệ điều này với các quyết định hơn là tổng điểm. Câu "Bạn đã xác nhận cảnh báo vì số tiền, nhưng ghi chú tài khoản đã giải thích điều đó, và lý do của bạn không đề cập đến chúng" sẽ hữu ích hơn câu "Đúng 4/5".
Nhập liệu trực tiếp hay xem xét không đồng bộ? Phản hồi trực tiếp mang lại giá trị cao nhất khi một vụ việc không rõ ràng và các nhà phân tích học hỏi được từ việc lắng nghe một đồng nghiệp cấp cao tranh luận cả hai phía. Việc xem xét không đồng bộ là đủ để so sánh lý lẽ với lý lẽ được chú thích của chuyên gia. Nhiều nhóm sử dụng cả hai: chuẩn bị theo tốc độ cá nhân trước, sau đó là một buổi thảo luận có người hướng dẫn về các trường hợp khó.
4. Hãy cùng nhau tìm hiểu một ví dụ thực tế.
Chỉ mang tính minh họa. Người phụ trách phòng chống tội phạm tài chính hoặc tuân thủ pháp luật cần xác nhận trường hợp và tiêu chí trả lời trước khi sử dụng. Chỉ sử dụng các trường hợp đã được ẩn danh.
Trường hợp. Một cảnh báo cho biết có một giao dịch mua hàng lớn không cần thẻ tại một nhà cung cấp mới. Điểm số của mô hình rất cao. Ghi chú tài khoản cho thấy địa chỉ đã được thay đổi gần đây và khách hàng đã gọi điện hai ngày trước đó về kế hoạch mua đồ nội thất.
Nhiệm vụ. Chuyên viên phân tích nêu rõ cảnh báo hiển thị điều gì, ngữ cảnh bổ sung thêm thông tin gì, kết quả xử lý và lý do, cũng như những gì họ sẽ kiểm tra thêm.
Lần thử đầu tiên. "Điểm số cao, số tiền lớn, người bán mới. Xác nhận là đáng ngờ." Nhà phân tích đã lặp lại lý do của mô hình và không xem xét bất kỳ yếu tố nào mà mô hình chưa sử dụng.
Phản hồi và thử lại. Huấn luyện viên hỏi nội dung các ghi chú tài khoản và liệu chúng có giải thích được từng lý do của mô hình hay không. Bài kiểm tra lại yêu cầu nhà phân tích liệt kê ba tín hiệu của mô hình và đối chiếu từng tín hiệu với bằng chứng rộng hơn.
Một nỗ lực mạnh mẽ hơn. "Số tiền và người bán có vẻ bất thường trong lịch sử giao dịch, nhưng ghi chú cho thấy có sự chuyển nhà gần đây và một cuộc gọi về việc mua đồ nội thất. Điều đó giải thích số tiền, loại hình người bán và địa chỉ giao hàng. Tôi sẽ không xác nhận là đáng ngờ chỉ dựa trên điểm số này. Tôi sẽ kiểm tra địa chỉ giao hàng so với địa chỉ mới và tìm kiếm hồ sơ cuộc gọi lại. Nếu chúng trùng khớp, tôi sẽ kết luận là giao dịch hợp lệ với lý do đó. Nếu không, tôi sẽ chuyển vấn đề lên cấp cao hơn." Câu trả lời này lập luận dựa trên bằng chứng, nêu ra một lời giải thích khác và nêu rõ điều gì sẽ thay đổi quyết định.
Tại sao mỗi câu trả lời lại có thể chấp nhận được hoặc chưa đầy đủ. Đánh giá từng trường hợp dựa trên các tiêu chí đã được phê duyệt, chứ không phải dựa trên sở thích của huấn luyện viên. Lần thử đầu tiên phản ánh mô hình. Lần thử tốt hơn sẽ kiểm tra mô hình đó. Bao gồm cả những trường hợp mà câu trả lời đúng là xác nhận cảnh báo, để các nhà phân tích không học cách nghi ngờ nó một cách phản xạ.
5. Đánh giá năng lực và lập kế hoạch chuyển giao
Bằng chứng về năng lực thể hiện qua việc xử lý các trường hợp giao dịch chưa từng gặp. Đánh giá độ chính xác trong việc xử lý yêu cầu và chất lượng của lý do đưa ra. Một bảng tiêu chí đơn giản sử dụng thang điểm từ 0 đến 2 cho mỗi tiêu chí:
| Tiêu chí | Bằng chứng có thể quan sát được |
|---|---|
| Thực thi nhiệm vụ | Xem xét thông báo và ghi lại bằng chứng liên quan đến quyết định xử lý. |
| lý luận | Giải thích các phương án thay thế, những hạn chế và những điều vẫn còn chưa chắc chắn. |
| Ranh giới | Sử dụng các quy trình đã được phê duyệt và báo cáo lên cấp trên khi thông tin hoặc thẩm quyền không đầy đủ. |
Điểm neo: 0 là không có hoặc không được hỗ trợ, 1 là một phần với những thiếu sót liên quan, và 2 là đầy đủ và được chứng minh dựa trên các tiêu chí đã thống nhất. Xác định riêng các lỗi nghiêm trọng, chẳng hạn như đóng một cảnh báo phù hợp với quy tắc leo thang bắt buộc, để điểm tổng thể không che giấu được lỗi đó. Bảng đánh giá này chỉ là một đề xuất, không phải là tiêu chuẩn sẵn sàng đã được xác nhận: hãy điều chỉnh nó với người phụ trách phòng chống tội phạm tài chính và tiến hành thử nghiệm. Hướng dẫn của chúng tôi về Thiết kế bài tập tương tác với phản hồi hữu ích Hướng dẫn cách viết phản hồi liên quan đến các quyết định.
Lên kế hoạch chuyển giao một cách cẩn trọng. Sau bài tập, hãy để một nhà phân tích cấp cao chọn ngẫu nhiên một vài trường hợp xử lý tình huống thực tế của mỗi người học và xem xét lý do với họ, hoặc tiến hành một buổi thảo luận ngắn về một cảnh báo gần đây đã được đóng sai.
Trong trường hợp phương thức giao hàng tương tác giúp ích
Các định dạng tương tác rất hữu ích khi mọi người cần cam kết trước khi xem toàn bộ nhóm. Trong một phiên trực tiếp, người điều phối có thể hiển thị một cảnh báo đã được ẩn danh, yêu cầu mỗi nhà phân tích nhập trạng thái và lý do ngắn gọn, sau đó tiết lộ kết quả trước khi thảo luận. Các trường hợp tương tự có thể được thực hiện theo hình thức tự học để chuẩn bị. AhaSlides hỗ trợ học tập tương tác và chuyển đổi giữa hình thức trực tiếp và tự học. Nó không tự động chấm điểm trạng thái hoặc lý do, vì vậy cần có người hoặc quy trình riêng của bạn để chấm điểm. Hãy kiểm tra bất kỳ chức năng soạn thảo, phản hồi hoặc báo cáo cụ thể nào bạn dự định sử dụng so với quy trình làm việc của riêng bạn. Để được hướng dẫn về việc lựa chọn định dạng, hãy xem bài viết của chúng tôi về... Khi nào nên sử dụng phương pháp học tập thích ứng, tương tác và trực tiếp?.
Đo lường những gì đã thay đổi
Hãy quyết định trước những tiêu chí nào sẽ chứng minh các nhà phân tích có thể hoàn thành nhiệm vụ. So sánh độ chính xác của việc xử lý dữ liệu và chất lượng lý luận trên một tập hợp trường hợp chưa từng thấy với một tiêu chuẩn cơ bản. Xác định đối tượng tham gia, mẫu số và thời gian. Nếu kết quả được cải thiện, hãy kiểm tra xem những thay đổi khác trong cùng kỳ là gì, chẳng hạn như việc điều chỉnh lại mô hình, thay đổi quy tắc hoặc mục tiêu thời gian xử lý mới, trước khi ghi nhận quá trình đào tạo.
Những ràng buộc có thể vẫn còn
- Áp lực xếp hàng. Các mục tiêu về thời gian xử lý sẽ thưởng cho sự đồng thuận nhanh chóng với mô hình.
- Chất lượng cảnh báo. Một mô hình tạo ra nhiều kết quả dương tính giả sẽ làm giảm sự chú ý bất kể quá trình huấn luyện như thế nào.
- Quyền leo thang. Một nhà phân tích nghi ngờ về một cảnh báo vẫn cần một cách rõ ràng để phản bác lại.
- Phạm vi bao phủ vụ việc. Một tập hợp các trường hợp cho thấy một vài mô hình. Điểm số không phản ánh chính xác đánh giá của nhà phân tích nói chung.
- Chuyển khoản. Hiệu suất trong một buổi hội thảo không giống với hiệu suất vào cuối một ca làm việc dài.
Hãy nêu rõ những vấn đề này với các nhà tài trợ từ sớm và lên kế hoạch khắc phục riêng biệt. Việc đào tạo giúp cải thiện khả năng đặt câu hỏi và giải thích của nhà phân tích. Tuy nhiên, nó không làm thay đổi các động lực thúc đẩy quá trình xử lý.
Các câu hỏi thường gặp
Đào tạo đánh giá cảnh báo gian lận bằng AI là gì?
Nó dạy các nhà phân tích cách xác thực các cảnh báo tự động: kiểm tra ngữ cảnh mà mô hình không sử dụng, xem xét các phương án thay thế, chọn hướng xử lý và viết lý do có thể được kiểm toán.
Thiên kiến tự động hóa là gì?
Đó là xu hướng quá phụ thuộc vào các công cụ hỗ trợ tự động, dẫn đến việc bỏ sót những vấn đề mà công cụ không cảnh báo hoặc làm theo hướng dẫn ngay cả khi nó sai. Một nghiên cứu tổng hợp của Parasuraman và Manzey cho thấy rằng việc đào tạo hoặc hướng dẫn không thể ngăn chặn được điều này.
Làm thế nào để đánh giá xem các nhà phân tích đang xác nhận hay chỉ đơn thuần chấp nhận?
Đưa ra các trường hợp chưa từng thấy, bao gồm cả những trường hợp mô hình đúng và những trường hợp mô hình sai, và chấm điểm kết quả cũng như lý do dựa trên các tiêu chí đã thống nhất.
Chương trình đào tạo có sử dụng dữ liệu khách hàng thực tế không?
Không. Hãy sử dụng các trường hợp đã được ẩn danh hoặc trường hợp tổng hợp, và yêu cầu người phụ trách tuân thủ phê duyệt chúng.
Bắt đầu từ đâu
Chọn một loại cảnh báo trong hàng đợi của bạn. Viết báo cáo hiệu suất, nhờ chuyên gia về tội phạm tài chính xác nhận một bộ dữ liệu ẩn danh bao gồm các cảnh báo đúng, sai và không rõ ràng, và soạn thảo một bảng đánh giá ba tiêu chí với thang điểm từ 0 đến 2 cùng danh sách các lỗi nghiêm trọng. Thử nghiệm với một nhóm nhỏ trước khi triển khai rộng rãi.
Để xem cách một trường hợp thực tế có thể được triển khai trực tiếp với nhóm của bạn và được tái sử dụng theo tốc độ riêng sau đó, hãy khám phá AhaSlides.
