การฝึกอบรมการตรวจสอบการแจ้งเตือนการฉ้อโกงด้วย AI: วิธีหยุดยั้งนักวิเคราะห์ไม่ให้กลายเป็นผู้กดปุ่มโดยไม่ตั้งใจ

ระบบตรวจสอบพบว่าการชำระเงินด้วยบัตรเครดิตน่าจะเป็นการฉ้อโกง จำนวนเงินสูงสำหรับลูกค้า ร้านค้าเป็นร้านใหม่ และคะแนนความน่าเชื่อถืออยู่ในระดับสูงสุด นักวิเคราะห์มีรายการแจ้งเตือนอีก 40 รายการที่รอการดำเนินการ การดำเนินการที่เร็วที่สุดคือการยืนยันและดำเนินการต่อไป แต่บันทึกในบัญชีของลูกค้าแสดงให้เห็นว่ามีการย้ายบ้านเมื่อเร็วๆ นี้ และมีการโทรสอบถามเกี่ยวกับการซื้อสินค้าจำนวนมากก่อนหน้านี้ ซึ่งอาจอธิบายสัญญาณเตือนทั้งหมดได้

นี่เป็นเพียงสถานการณ์จำลอง ไม่ใช่กรณีที่ได้รับการบันทึกไว้ มันอธิบายถึงนิสัยที่การฝึกอบรมการตรวจสอบการแจ้งเตือนการฉ้อโกงด้วย AI ต้องสร้างขึ้น: การอ่านการแจ้งเตือนอัตโนมัติเป็นจุดเริ่มต้นในการทดสอบ ไม่ใช่คำตอบที่ต้องอนุมัติ

คู่มือนี้จัดทำขึ้นสำหรับหัวหน้าฝ่ายฝึกอบรมด้านความเสี่ยง และหัวหน้างานด้านอาชญากรรมทางการเงินหรือการปฏิบัติตามกฎระเบียบที่ทำงานร่วมกับพวกเขา ครอบคลุมถึงวิธีการอธิบายปัญหาด้านประสิทธิภาพ การวินิจฉัยช่องว่าง การออกแบบการเตรียมการและการฝึกฝน การวิเคราะห์กรณีศึกษา และการประเมินว่าทักษะที่ได้รับสามารถนำไปใช้ในสถานการณ์จริงได้หรือไม่ เนื้อหาหลักคือการออกแบบการฝึกอบรม ประเภทการแจ้งเตือน กฎการจัดการ และเส้นทางการยกระดับปัญหาทุกประเภทในโปรแกรมของคุณควรได้รับการตรวจสอบโดยหัวหน้างานด้านอาชญากรรมทางการเงินหรือการปฏิบัติตามกฎระเบียบ และต้องสอดคล้องกับข้อกำหนดทางกฎหมายของคุณ

การฝึกอบรมการตรวจสอบการแจ้งเตือนการฉ้อโกงด้วย AI คืออะไร?

การฝึกอบรมการตรวจสอบการแจ้งเตือนการฉ้อโกงด้วย AI สอนให้นักวิเคราะห์ตรวจสอบความถูกต้องของสิ่งที่แบบจำลองอัตโนมัติสร้างขึ้น นักวิเคราะห์จะตรวจสอบการแจ้งเตือนเทียบกับบริบทที่กว้างขึ้น พิจารณาคำอธิบายทางเลือก ตัดสินใจว่าจะดำเนินการอย่างไร และเขียนเหตุผลที่ผู้อื่นสามารถตรวจสอบได้ ความเสี่ยงที่การฝึกอบรมนี้กล่าวถึงคือการยอมรับโดยไม่ไตร่ตรอง ซึ่งผลลัพธ์ของแบบจำลองถูกนำมาใช้เป็นการตัดสินใจ

ข้อเท็จจริงด่วน

1. อธิบายปัญหาด้านประสิทธิภาพ

เริ่มต้นด้วยภารกิจ: ตรวจสอบการแจ้งเตือนอัตโนมัติและให้เหตุผลประกอบการตัดสินใจ การตรวจสอบนั้นมากกว่าแค่การเห็นด้วยหรือไม่เห็นด้วย นักวิเคราะห์จะรวบรวมบริบทที่แบบจำลองไม่ได้ใช้ ชั่งน้ำหนักบริบทนั้นกับเหตุผลของแบบจำลองในการแจ้งเตือน และบันทึกว่าทำไมการตัดสินใจจึงสมเหตุสมผล

วรรณกรรมด้านปัจจัยมนุษย์ได้ตั้งชื่อให้กับปัญหานี้ ในการทบทวนงานวิจัยเชิงประจักษ์ Parasuraman และ Manzey ได้อธิบายถึงอคติจากการใช้ระบบอัตโนมัติ ซึ่งหมายถึงการที่ผู้คนพึ่งพาเครื่องมือช่วยเหลืออัตโนมัติมากเกินไป และทำให้เกิดข้อผิดพลาดจากการละเลย (มองข้ามสิ่งที่เครื่องมือช่วยเหลือไม่ได้ชี้ให้เห็น) และการกระทำผิด (ทำตามเครื่องมือช่วยเหลือเมื่อมันผิด) พวกเขารายงานว่าผลกระทบเหล่านี้สามารถเกิดขึ้นได้เมื่อเครื่องมือช่วยเหลือไม่สมบูรณ์ ความใส่ใจมีบทบาทสำคัญ และไม่สามารถป้องกันได้ด้วยการฝึกอบรมหรือคำแนะนำ (ปาราซูรามันและแมนซีย์, 2010(การตรวจสอบนี้เกี่ยวกับการใช้งานระบบอัตโนมัติของมนุษย์โดยทั่วไป ไม่ใช่เฉพาะการปฏิบัติการฉ้อโกง ดังนั้นให้ถือว่าข้อค้นพบนี้เป็นคำเตือนด้านการออกแบบและวัดผลในระบบคิวของคุณเอง)

สำหรับการฝึกอบรม นั่นหมายความว่าการบรรยายสรุปสั้นๆ เกี่ยวกับความเสี่ยงนั้นไม่เพียงพอ การฝึกฝนจะต้องทำให้ผู้ทำการวิเคราะห์ได้ฝึกฝนการไม่เห็นด้วยกับแบบจำลองเมื่อหลักฐานสนับสนุน และเห็นด้วยเมื่อหลักฐานไม่สนับสนุน

เขียนคำอธิบายผลการปฏิบัติงานเป็นประโยคเดียว แล้วให้หัวหน้าฝ่ายอาชญากรรมทางการเงินตรวจสอบ: "เมื่อได้รับการแจ้งเตือนและบริบทของบัญชี นักวิเคราะห์จะระบุว่าแบบจำลองตรวจพบอะไร หลักฐานในวงกว้างบ่งชี้อย่างไร การดำเนินการและเหตุผล และข้อมูลเพิ่มเติมที่พวกเขาต้องการค้นหา"

2. วิเคราะห์ช่องว่างด้านการเรียนรู้และบริบท

ก่อนที่คุณจะเริ่มสร้างอะไรก็ตาม ให้เปรียบเทียบงานนั้นกับสิ่งที่โปรแกรมปัจจุบันของคุณปฏิบัติและประเมินอยู่ โดยปกติแล้วจะมีสามคำถามที่ช่วยแยกแยะช่องว่างในการฝึกอบรมออกจากสิ่งอื่น ๆ ได้แก่:

1. แนวทางปฏิบัติในปัจจุบันใช้โจทย์งานจริงหรือไม่? หากการฝึกอบรมครอบคลุมเฉพาะนโยบายและรูปแบบต่างๆ แต่ไม่เคยขอให้นักวิเคราะห์ตรวจสอบการแจ้งเตือนของแบบจำลอง นั่นหมายความว่าไม่มีใครได้ฝึกฝนการตรวจสอบความถูกต้อง และหากการประเมินนับเพียงแค่ว่าผลลัพธ์ตรงกับคำตอบที่ถูกต้องหรือไม่ นั่นก็เท่ากับเป็นการปกปิดคุณภาพของการให้เหตุผล
2. ความต้องการด้านการรับรู้คืออะไร? ในระบบการจำแนกประเภทที่ปรับปรุงใหม่ของบลูม การชั่งน้ำหนักคำอธิบายที่ขัดแย้งกันและการตัดสินลักษณะนิสัยนั้นอยู่ในระดับการวิเคราะห์และการประเมิน ส่วนการระลึกถึงประเภทต่างๆ นั้นอยู่ในระดับที่ต่ำกว่า การจับคู่กิจกรรมกับระดับเหล่านั้นมีอธิบายไว้ในคู่มือของเรา การจับคู่กิจกรรมการเรียนรู้กับอนุกรมวิธานของบลูม.
3. มีปัจจัยอื่นนอกเหนือจากทักษะที่เป็นอุปสรรคอยู่หรือไม่? ตรวจสอบปริมาณคิว เป้าหมายเวลาในการจัดการ และสิทธิ์ในการยกระดับ หากนักวิเคราะห์ได้รับการประเมินจากจำนวนการแจ้งเตือนที่ปิดได้ต่อชั่วโมง การยอมรับแบบจำลองคือทางเลือกที่สมเหตุสมผล และการฝึกอบรมจะไม่เปลี่ยนแปลงสิ่งนั้น รายงานสาเหตุที่ไม่เกี่ยวข้องกับการฝึกอบรมไปยังผู้ที่สามารถแก้ไขปัญหาได้

3. การเตรียมการออกแบบและการฝึกปฏิบัติ

เมื่อคุณทราบแล้วว่าการฝึกอบรมสามารถช่วยอุดช่องว่างใดได้บ้าง ให้กำหนดหน้าที่ที่ชัดเจนให้กับแต่ละขั้นตอน

การเตรียมการ. ตรวจสอบข้อกำหนดเบื้องต้นด้วยการวินิจฉัยสั้นๆ: ประเภทข้อมูลที่อยู่ในขอบเขต ข้อมูลที่การแจ้งเตือนแสดง สิ่งที่แบบจำลองใช้ และสิ่งที่แบบจำลองมองไม่เห็น การศึกษาด้วยตนเองเหมาะสมกับขั้นตอนนี้ การตรวจสอบความจำยืนยันเฉพาะข้อกำหนดเบื้องต้นเท่านั้น

การปฏิบัติ ใช้การจำลองการฉ้อโกงที่สร้างขึ้นจากกรณีที่ไม่ระบุตัวตน และหากมีทรัพยากรเพียงพอ ให้สร้างกรณีแบบทีมแดงที่เขียนขึ้นเพื่อใช้ประโยชน์จากสิ่งที่แบบจำลองมองข้ามไป ผสมผสานการแจ้งเตือนที่แบบจำลองถูกต้อง การแจ้งเตือนที่แบบจำลองผิดพลาด และการแจ้งเตือนที่ไม่ชัดเจน โดยไม่ต้องบอกนักวิเคราะห์ว่าอันไหนเป็นอันไหน นักวิเคราะห์จะเป็นผู้เลือกผลลัพธ์และเขียนเหตุผลประกอบ

ฟีดแบ็ก ควรเชื่อมโยงกับข้อตัดสินใจมากกว่าคะแนนรวม ตัวอย่างเช่น "คุณยืนยันการแจ้งเตือนเนื่องจากจำนวนเงิน แต่บันทึกบัญชีได้อธิบายไว้แล้ว และเหตุผลของคุณไม่ได้กล่าวถึงบันทึกเหล่านั้น" จะมีประโยชน์มากกว่า "ถูกต้อง 4 ใน 5 ข้อ"

การป้อนข้อมูลแบบเรียลไทม์หรือการตรวจสอบแบบไม่พร้อมกัน? การรับฟังความคิดเห็นแบบเรียลไทม์จะเพิ่มคุณค่าสูงสุดเมื่อกรณีนั้นคลุมเครือ และนักวิเคราะห์จะได้เรียนรู้จากการฟังเพื่อนร่วมงานอาวุโสโต้แย้งทั้งสองด้าน การทบทวนแบบไม่พร้อมกันก็เพียงพอสำหรับการเปรียบเทียบเหตุผลกับคำอธิบายประกอบจากผู้เชี่ยวชาญ หลายทีมใช้ทั้งสองวิธี: เตรียมตัวด้วยตนเองก่อน จากนั้นจึงจัดเซสชั่นที่มีผู้เชี่ยวชาญช่วยในกรณีที่ยากๆ

4. ลองทำตัวอย่างที่สมจริงดู

ตัวอย่างประกอบเท่านั้น หัวหน้างานด้านอาชญากรรมทางการเงินหรือการปฏิบัติตามกฎระเบียบควรตรวจสอบความถูกต้องของคดีและเกณฑ์คำตอบก่อนนำไปใช้ ใช้เฉพาะกรณีที่ไม่ระบุตัวตนเท่านั้น

กรณี. ระบบแจ้งเตือนพบการซื้อสินค้าจำนวนมากโดยไม่ใช้บัตรเครดิตที่ร้านค้าใหม่แห่งหนึ่ง คะแนนการประเมินของแบบจำลองอยู่ในระดับสูง บันทึกบัญชีแสดงให้เห็นว่ามีการเปลี่ยนที่อยู่เมื่อเร็ว ๆ นี้ และมีการโทรจากลูกค้าเมื่อสองวันก่อนเกี่ยวกับแผนการซื้อเฟอร์นิเจอร์

ภารกิจนั้น นักวิเคราะห์ระบุว่าการแจ้งเตือนแสดงอะไร ข้อมูลเพิ่มเติมเกี่ยวกับบริบท การวิเคราะห์สถานการณ์ และเหตุผล รวมถึงสิ่งที่พวกเขาจะตรวจสอบเพิ่มเติม

เป็นการลองทำครั้งแรก "คะแนนสูง จำนวนเงินมาก ร้านค้าใหม่ ยืนยันว่าน่าสงสัย" นักวิเคราะห์ได้กล่าวซ้ำเหตุผลของแบบจำลองและไม่ได้พิจารณาสิ่งใดที่แบบจำลองไม่ได้ใช้

ให้ข้อเสนอแนะและลองใหม่อีกครั้ง โค้ชถามว่าบันทึกบัญชีระบุอะไรบ้าง และอธิบายเหตุผลแต่ละข้อของแบบจำลองได้หรือไม่ ในส่วนการลองใหม่ นักวิเคราะห์จะต้องระบุสัญญาณทั้งสามของแบบจำลอง และเปรียบเทียบแต่ละสัญญาณกับหลักฐานที่ครอบคลุมมากขึ้น

ความพยายามที่หนักแน่นกว่าเดิม "จำนวนเงินและร้านค้าดูผิดปกติในประวัติการทำธุรกรรม แต่บันทึกแสดงให้เห็นว่ามีการย้ายที่อยู่เมื่อเร็ว ๆ นี้ และมีการโทรเกี่ยวกับการซื้อเฟอร์นิเจอร์ ซึ่งอธิบายจำนวนเงิน ประเภทร้านค้า และที่อยู่จัดส่งได้ ฉันจะไม่ยืนยันว่าน่าสงสัยเพียงแค่ดูจากข้อมูลเหล่านี้ ฉันจะตรวจสอบที่อยู่จัดส่งกับที่อยู่ใหม่และตรวจสอบบันทึกการโทรกลับ หากตรงกัน ฉันจะปิดรายการโดยถือว่าเป็นธุรกรรมปกติด้วยเหตุผลนั้น หากไม่ตรงกัน ฉันจะส่งเรื่องต่อไป" คำตอบนี้ให้เหตุผลจากหลักฐาน ระบุคำอธิบายทางเลือก และระบุสิ่งที่อาจเปลี่ยนแปลงการตัดสินใจ

เหตุใดคำตอบแต่ละข้อจึงสมเหตุสมผลหรือไม่สมบูรณ์ ประเมินแต่ละกรณีตามเกณฑ์ที่ได้รับการอนุมัติ ไม่ใช่ตามความชอบของโค้ช การทดลองครั้งแรกสะท้อนแบบจำลอง การทดลองที่แข็งแกร่งกว่าเป็นการทดสอบแบบจำลองนั้น รวมทั้งกรณีที่คำตอบที่ถูกต้องคือการยืนยันสัญญาณเตือน เพื่อไม่ให้นักวิเคราะห์เกิดความไม่ไว้วางใจโดยอัตโนมัติ

5. ประเมินศักยภาพและวางแผนการถ่ายโอน

หลักฐานแสดงถึงความสามารถคือผลการปฏิบัติงานในกรณีธุรกรรมที่ไม่เคยพบมาก่อน ประเมินความถูกต้องในการตัดสินใจและคุณภาพของเหตุผลประกอบ โดยใช้เกณฑ์การประเมินแบบง่ายๆ ที่ให้คะแนน 0 ถึง 2 ต่อเกณฑ์:

เกณฑ์การให้คะแนน: 0 คือ ขาดหายไปหรือไม่ได้รับการสนับสนุน 1 คือ ขาดหายไปบางส่วนและมีรายละเอียดที่เกี่ยวข้อง และ 2 คือ สมบูรณ์และมีเหตุผลรองรับตามเกณฑ์ที่ตกลงกันไว้ กำหนดข้อผิดพลาดที่สำคัญแยกต่างหาก เช่น การปิดการแจ้งเตือนที่ตรงกับกฎการยกระดับที่จำเป็น เพื่อให้คะแนนโดยรวมไม่สามารถซ่อนข้อผิดพลาดนั้นได้ เกณฑ์การประเมินนี้เป็นเพียงข้อเสนอแนะ ไม่ใช่มาตรฐานความพร้อมที่ได้รับการตรวจสอบแล้ว: โปรดปรับใช้ร่วมกับหัวหน้างานด้านอาชญากรรมทางการเงินและทดลองใช้ คู่มือของเราสำหรับ ออกแบบแบบฝึกหัดเชิงโต้ตอบพร้อมข้อเสนอแนะที่เป็นประโยชน์ แสดงวิธีการเขียนข้อเสนอแนะที่เชื่อมโยงกับการตัดสินใจ

วางแผนการถ่ายโอนข้อมูลอย่างรอบคอบ หลังจากเสร็จสิ้นการฝึกอบรม ให้ผู้เชี่ยวชาญอาวุโสสุ่มตัวอย่างพฤติกรรมจริงของผู้เรียนแต่ละคนสักสองสามกรณี และทบทวนเหตุผลกับพวกเขา หรือทำการสรุปสั้นๆ เกี่ยวกับเหตุการณ์แจ้งเตือนล่าสุดที่ปิดไปอย่างไม่ถูกต้อง

ในกรณีที่การนำเสนอแบบโต้ตอบมีประโยชน์

รูปแบบการเรียนรู้แบบโต้ตอบช่วยให้ทุกคนมีส่วนร่วมก่อนที่จะเห็นกลุ่ม ในการประชุมสด ผู้ดำเนินรายการสามารถแสดงการแจ้งเตือนที่ไม่ระบุตัวตน ขอให้นักวิเคราะห์แต่ละคนป้อนผลลัพธ์และเหตุผลสั้นๆ หนึ่งบรรทัด จากนั้นจึงเปิดเผยข้อมูลก่อนการอภิปราย กรณีศึกษาเดียวกันนี้สามารถเรียนรู้ด้วยตนเองเพื่อเตรียมความพร้อมได้ AhaSlides รองรับการเรียนรู้แบบโต้ตอบและการสลับระหว่างการเรียนรู้สดและการเรียนรู้ด้วยตนเอง อย่างไรก็ตาม ระบบจะไม่ให้คะแนนผลลัพธ์หรือเหตุผลโดยอัตโนมัติ ดังนั้นบุคคลหรือกระบวนการของคุณเองจะต้องเป็นผู้ให้คะแนน ตรวจสอบฟังก์ชันการสร้างเนื้อหา การให้ข้อเสนอแนะ หรือการรายงานเฉพาะใดๆ ที่คุณวางแผนจะใช้กับขั้นตอนการทำงานของคุณเอง สำหรับคำแนะนำในการเลือกรูปแบบ โปรดดูบทความของเราเกี่ยวกับ เมื่อใดควรใช้การเรียนรู้แบบปรับเปลี่ยนได้ การเรียนรู้แบบโต้ตอบ และการเรียนรู้แบบสด.

วัดสิ่งที่เปลี่ยนแปลงไป

กำหนดล่วงหน้าว่าอะไรที่จะแสดงให้เห็นว่านักวิเคราะห์สามารถทำงานนั้นได้ เปรียบเทียบความแม่นยำในการตัดสินใจและคุณภาพของเหตุผลในชุดกรณีที่ไม่เคยเห็นมาก่อนกับเกณฑ์มาตรฐาน กำหนดว่าใครบ้างที่รวมอยู่ในกลุ่มตัวอย่าง ตัวหาร และช่วงเวลา หากผลลัพธ์ดีขึ้น ให้ตรวจสอบว่ามีอะไรเปลี่ยนแปลงไปบ้างในช่วงเวลาเดียวกัน เช่น การปรับแต่งโมเดล การเปลี่ยนแปลงกฎ หรือเป้าหมายเวลาในการจัดการใหม่ ก่อนที่จะให้เครดิตการฝึกอบรม

ข้อจำกัดที่อาจยังคงอยู่

• ความกดดันจากคิว เป้าหมายด้านเวลาในการจัดการจะให้รางวัลแก่ผู้ที่ตกลงกับแบบจำลองได้อย่างรวดเร็ว
• คุณภาพการแจ้งเตือน แบบจำลองที่สร้างผลลัพธ์ผิดพลาดจำนวนมากจะทำให้ความสนใจลดลง ไม่ว่าการฝึกฝนจะเป็นอย่างไรก็ตาม
• สิทธิ์ในการยกระดับข้อเรียกร้อง นักวิเคราะห์ที่สงสัยในสัญญาณเตือนยังคงต้องการช่องทางที่ชัดเจนในการโต้แย้งสัญญาณเตือนนั้น
• ความคุ้มครองตามคดี ชุดกรณีศึกษาหนึ่งแสดงให้เห็นถึงรูปแบบบางอย่าง คะแนนเพียงอย่างเดียวไม่สามารถอธิบายถึงการตัดสินใจของนักวิเคราะห์โดยทั่วไปได้
• โอน ประสิทธิภาพในการทำงานในโรงงานหรือห้องปฏิบัติการนั้นไม่เหมือนกับประสิทธิภาพในการทำงานเมื่อสิ้นสุดกะการทำงานที่ยาวนาน

แจ้งปัญหาเหล่านี้ให้ผู้สนับสนุนทราบตั้งแต่เนิ่นๆ และวางแผนแก้ไขแยกต่างหาก การฝึกอบรมช่วยพัฒนาสิ่งที่นักวิเคราะห์สามารถตั้งคำถามและอธิบายได้ แต่ไม่ได้เปลี่ยนแปลงแรงจูงใจที่เกี่ยวข้องกับคิวงาน

คำถามที่พบบ่อย

การฝึกอบรมการตรวจสอบการแจ้งเตือนการฉ้อโกงด้วย AI คืออะไร?

หลักสูตรนี้สอนให้นักวิเคราะห์ตรวจสอบความถูกต้องของการแจ้งเตือนอัตโนมัติ: ตรวจสอบบริบทที่แบบจำลองไม่ได้ใช้ พิจารณาทางเลือกอื่น เลือกแนวทางการจัดการ และเขียนเหตุผลที่สามารถตรวจสอบได้

อคติจากระบบอัตโนมัติคืออะไร?

มันคือแนวโน้มที่จะพึ่งพาเครื่องมือช่วยเหลืออัตโนมัติมากเกินไป จนอาจมองข้ามปัญหาที่เครื่องมือไม่ได้แจ้งเตือน หรือทำตามเครื่องมือที่ผิดพลาด การทบทวนงานวิจัยโดย Parasuraman และ Manzey พบว่าการฝึกอบรมหรือคำแนะนำไม่สามารถป้องกันปัญหานี้ได้

คุณจะประเมินได้อย่างไรว่านักวิเคราะห์กำลังให้เหตุผลสนับสนุนมากกว่าการยอมรับ?

ยกตัวอย่างกรณีที่ไม่เคยเห็นมาก่อน รวมถึงบางกรณีที่แบบจำลองถูกต้องและบางกรณีที่แบบจำลองผิดพลาด จากนั้นให้คะแนนการตัดสินใจและเหตุผลตามเกณฑ์ที่ตกลงกันไว้

การฝึกอบรมใช้ข้อมูลลูกค้าจริงหรือไม่

ไม่ค่ะ ให้ใช้ชื่อไฟล์ที่ไม่ระบุตัวตนหรือชื่อไฟล์จำลอง และให้หัวหน้างานด้านการปฏิบัติตามกฎระเบียบอนุมัติก่อนค่ะ

จะเริ่มที่ไหนดี

เลือกประเภทการแจ้งเตือนหนึ่งประเภทจากคิวของคุณ เขียนคำอธิบายประสิทธิภาพ ให้หัวหน้าฝ่ายอาชญากรรมทางการเงินตรวจสอบชุดกรณีที่ไม่ระบุตัวตน ซึ่งรวมถึงการแจ้งเตือนที่ถูกต้อง ไม่ถูกต้อง และคลุมเครือ และร่างเกณฑ์การประเมินสามเกณฑ์โดยใช้มาตราส่วน 0 ถึง 2 และรายการข้อผิดพลาดที่สำคัญ ทดลองใช้กับกลุ่มเล็กๆ ก่อนที่จะนำไปใช้งานจริง

หากต้องการดูว่ากรณีศึกษาหนึ่งๆ สามารถนำไปใช้จริงกับทีมของคุณได้อย่างไร และสามารถนำกลับมาใช้ซ้ำได้ในภายหลังโดยเรียนรู้ด้วยตนเอง ลองศึกษา AhaSlides ดู