วิธีการดำเนินการตรวจสอบเหตุการณ์โดยปราศจากการกล่าวโทษ ซึ่งจะช่วยพัฒนาการเรียนรู้ด้านวิศวกรรม

มีการแจ้งเตือนเกิดขึ้นเวลา 02:10 น. วิศวกรคนหนึ่งทำการเปลี่ยนแปลงการตั้งค่า ระบบตรวจสอบเริ่มแสดงข้อผิดพลาด และหัวหน้างานที่รับผิดชอบได้ทำการย้อนกลับการเปลี่ยนแปลงนั้นในอีก 40 นาทีต่อมา ในการประชุมทบทวน คำถามแรกคือ "ใครเป็นคนทำการเปลี่ยนแปลง?" ภายในไม่กี่นาที การสนทนาก็เปลี่ยนไปเป็นการพูดถึงการตัดสินใจของคนๆ หนึ่งในเวลาตี 2 และไม่มีใครถามว่าทำไมการเปลี่ยนแปลงถึงสามารถเข้าสู่ระบบการผลิตได้โดยไม่มีการตรวจสอบเบื้องต้น ทำไมการแจ้งเตือนถึงใช้เวลานาน หรือทำไมคู่มือการทำงานถึงล้าสมัย

นี่เป็นเพียงสถานการณ์จำลอง ไม่ใช่กรณีของลูกค้า สถานการณ์นี้เกิดขึ้นได้จริง เพราะการทบทวนเหตุการณ์ที่มุ่งเน้นไปที่บุคคลสุดท้ายที่ลงมือกระทำ จะทำให้ได้เรื่องราวที่เรียบร้อย แต่ได้บทเรียนน้อยมาก

คู่มือนี้จัดทำขึ้นสำหรับผู้จัดการฝ่ายวิศวกรรมและผู้นำด้านการพัฒนาศักยภาพที่ต้องการให้บุคลากรมีความสามารถในการวิเคราะห์หลักฐานเหตุการณ์และตกลงร่วมกันในแนวทางการปรับปรุงที่สามารถทดสอบได้ โดยครอบคลุมถึงวิธีการแยกแยะช่องว่างด้านทักษะออกจากสภาพแวดล้อมโดยรอบ วิธีการออกแบบแนวทางการปฏิบัติ วิธีการสรุปผลหลังการตรวจสอบ และวิธีการวัดผลว่าการตรวจสอบได้ผลหรือไม่

คำว่า "ไร้ความผิด" หมายความว่าอย่างไร และไม่หมายความว่าอย่างไร

หนังสือ Site Reliability Engineering ของ Google อธิบายไว้อย่างชัดเจนว่า การวิเคราะห์หลังเกิดเหตุ (postmortem) ที่ปราศจากข้อกล่าวหาอย่างแท้จริง ต้องมุ่งเน้นไปที่การระบุสาเหตุที่ก่อให้เกิดเหตุการณ์โดยไม่กล่าวโทษบุคคลหรือทีมใด ๆ ว่ามีพฤติกรรมที่ไม่ดีหรือไม่เหมาะสม นอกจากนี้ยังอธิบายถึงข้อสันนิษฐานพื้นฐานว่า ทุกคนที่เกี่ยวข้องกระทำด้วยเจตนาดีและทำสิ่งที่ถูกต้องตามข้อมูลที่มีอยู่ (หนังสือ Google SRE เรื่อง "วัฒนธรรมการวิเคราะห์หลังความล้มเหลว: เรียนรู้จากความล้มเหลว".)

การปราศจากความผิดไม่ได้หมายความว่าปราศจากผลที่ตามมา บทเดียวกันนี้คาดหวังว่าการวิเคราะห์หลังเกิดเหตุจะจบลงด้วยรายการดำเนินการที่มีลำดับความสำคัญและผู้รับผิดชอบ การสอบสวนที่ปราศจากความผิดยังคงต้องการความรับผิดชอบ แต่ความรับผิดชอบจะเปลี่ยนจาก "ใครเป็นผู้ก่อเหตุ" ไปเป็น "ใครจะทำให้ระบบปลอดภัยยิ่งขึ้น และเมื่อใด" หากการตรวจสอบของคุณข้ามส่วนหลังไป คุณก็จะได้แต่การสนทนาที่น่ารื่นรมย์ ไม่ใช่กระบวนการเรียนรู้

1. ระบุพฤติกรรมและบริบทของพฤติกรรมนั้น

เริ่มต้นด้วยพฤติกรรมเฉพาะที่คุณต้องการเปลี่ยนแปลง เช่น "การตรวจสอบเหตุการณ์ของเรามุ่งเน้นไปที่บุคคลสุดท้ายที่กระทำการ" เป็นสิ่งที่สังเกตได้ แต่ "วัฒนธรรมองค์กรของเราเน้นการตำหนิ" นั้นสังเกตได้ยาก

จากนั้นลองถามตัวเองว่านี่เป็นปัญหาเรื่องทักษะหรือไม่ การฝึกฝนสามารถแก้ไขได้เพียงบางสาเหตุของประสิทธิภาพการทำงานที่ต่ำ ก่อนที่จะสร้างอะไรก็ตาม ให้แยกแยะความเป็นไปได้สามประการดังนี้:

1. ทักษะที่ขาดหายไป ผู้ตรวจสอบไม่รู้วิธีสร้างลำดับเหตุการณ์ แยกแยะตัวกระตุ้นออกจากปัจจัยที่ส่งผลกระทบ หรือถามว่า "อะไรทำให้การกระทำนี้ดูสมเหตุสมผลในเวลานั้น"
2. สิ่งจูงใจ รีวิวต่างๆ มีส่วนในการพูดคุยเรื่องประสิทธิภาพการทำงาน ดังนั้นผู้คนจึงปรับแต่งบัญชีของตนเองเพื่อปกป้องตนเอง
3. ระดับอำนาจและการตอบสนองในอดีต วิศวกรฝึกหัดที่เคยแสดงความกังวลในไตรมาสที่แล้วและถูกบอกให้เลิกคิดลบ จะไม่กล้าแสดงความกังวลในที่ประชุมนี้อีก ไม่ว่าเขาจะได้รับการฝึกฝนมาดีแค่ไหนก็ตาม

มีเพียงข้อแรกเท่านั้นที่เป็นปัญหาด้านการฝึกอบรม ส่วนอีกสองข้อเป็นเรื่องของสภาพแวดล้อม หากคุณฝึกฝนทักษะแต่ไม่แก้ไขสภาพแวดล้อม คนก็จะทำซ้ำในสิ่งที่ที่ทำงานลงโทษ ให้ถือว่ามุมมองปัจจุบันของคุณเกี่ยวกับสาเหตุเป็นเพียงสมมติฐาน และทดสอบด้วยการพูดคุยกับวิศวกรสักสองสามครั้ง และตรวจสอบเอกสารการตรวจสอบล่าสุดก่อนที่จะตัดสินใจดำเนินโครงการใดๆ

2. กำหนดเงื่อนไขการปฏิบัติงานสำหรับการฝึกปฏิบัติ

การฝึกฝนจะเกิดผลก็ต่อเมื่อสถานที่ทำงานตอบรับ ก่อนที่ใครจะเริ่มฝึกซ้อม ควรตกลงเรื่องเหล่านี้กับผู้ที่ทำการประเมินผลก่อน:

• หน้าที่ที่ได้รับอนุมัติ ใครเป็นผู้ประสานงาน ใครเป็นผู้เขียนไทม์ไลน์ ใครเป็นผู้รับผิดชอบการติดตามผล? ระบุบทบาทให้ชัดเจน เพื่อไม่ให้ผู้ประสานงานใช้อำนาจโดยพลการ
• ผู้นำรับฟังข้อกังวลอย่างไร หากวิศวกรกล่าวว่า "เครื่องมือการปรับใช้ช่วยให้ผมข้ามขั้นตอนการทดสอบแบบ Canary ไปได้" ผู้จัดการควรทำอย่างไรต่อไป? อาจตัดสินใจคำตอบล่วงหน้า เช่น ขอบคุณ บันทึกไว้เป็นปัจจัยหนึ่ง และมอบหมายการดำเนินการให้
• การตอบสนองของหัวหน้างาน การฝึกซ้อมของพนักงานจำเป็นต้องมีการตอบสนองที่สอดคล้องกันจากหัวหน้างาน หากคุณฝึกอบรมวิศวกรให้กล้าแสดงความคิดเห็นในระหว่างการตรวจสอบ แต่ผู้จัดการของพวกเขายังคงถามว่า "ใครเป็นคนผิด?" การฝึกอบรมนั้นก็ไร้ประโยชน์

การบรรยายสรุปสั้นๆ สำหรับผู้จัดการเกี่ยวกับกระบวนการประเมินผลมีความสำคัญไม่แพ้การฝึกอบรมสำหรับผู้เข้าร่วม ควรระบุอย่างชัดเจนว่าเอกสารการประเมินผลถูกนำไปใช้และไม่ได้ถูกนำไปใช้ในการบริหารผลการปฏิบัติงานอย่างไร

3. ออกแบบเส้นทางการเรียนรู้ตามพฤติกรรม

คำแนะนำของศูนย์ Eberly แห่งมหาวิทยาลัย Carnegie Mellon เกี่ยวกับวัตถุประสงค์การเรียนรู้ได้ชี้ให้เห็นประเด็นสำคัญที่ว่า วัตถุประสงค์ การประเมิน และกลยุทธ์การสอนควรสอดคล้องกัน (ศูนย์เอเบอร์ลี วัตถุประสงค์การเรียนรู้นั่นเป็นเพียงแนวทางในการออกแบบ ไม่ใช่หลักฐานเกี่ยวกับเครื่องมือหรือผลลัพธ์ใดๆ โดยเฉพาะ แต่เป็นการทดสอบที่ดีสำหรับโครงการนี้: หากวัตถุประสงค์คือการวิเคราะห์หลักฐานและตกลงเกี่ยวกับการปรับปรุงที่สามารถทดสอบได้ คำถามเกี่ยวกับการระลึกความจำเพียงอย่างเดียวจึงไม่สามารถเป็นการประเมินได้

อนุกรมวิธานของบลูมช่วยอธิบายความต้องการทางด้านการรับรู้ของงานนั้นได้ คือ วิเคราะห์ ประเมิน และสร้างสรรค์ มันอธิบายว่างานนั้นต้องการอะไรจากบุคคล แต่ไม่ได้อธิบายว่าทำไมพวกเขาถึงทำหรือไม่ทำ ดังนั้นอย่าใช้มันเพื่อวินิจฉัยแรงจูงใจ

การเดินทางที่ราบรื่นนั้นมีสามขั้นตอน

ควรสร้างกรณีศึกษาที่สมจริงและให้วิศวกรผู้มีประสบการณ์ตรวจสอบความถูกต้อง กรณีศึกษาที่ผิดพลาดทางเทคนิคจะทำให้ผู้ตรวจสอบไม่ไว้วางใจแบบฝึกหัดนี้

4. ดำเนินการตามสถานการณ์จำลองและสรุปผล

ต่อไปนี้คือตัวอย่างการฝึกซ้อมในสถานการณ์ 02:10 โดยเอกสารหลักฐานประกอบด้วยบันทึกการปรับใช้ ไทม์ไลน์การแจ้งเตือน นโยบายการเพจจิ้ง คำขอพูล และคู่มือการปฏิบัติงาน ซึ่งทั้งหมดนี้เป็นเรื่องสมมติ

แจ้งเตือนผู้เข้าร่วม "อธิบายว่าทำไมวิศวกรจึงผลักดันการเปลี่ยนแปลงในเวลานั้น อ้างอิงหลักฐานที่คุณใช้ และบอกเราว่าคุณต้องการข้อมูลหรือการสนับสนุนเพิ่มเติมอะไรบ้างก่อนที่คุณจะมั่นใจได้"

คำตอบที่อ่อนแอจะฟังดูแบบนี้: "วิศวกรควรตรวจสอบขั้นตอนการทำงานก่อน" มันระบุชื่อบุคคล แต่ไม่ยกตัวอย่างอ้างอิง และไม่เสนอการเปลี่ยนแปลงใดๆ

คำตอบที่ชัดเจนกว่านี้ควรเป็นดังนี้: "บันทึกการปรับใช้แสดงให้เห็นว่าการเปลี่ยนแปลงถูกส่งออกไปโดยตรงเนื่องจากขั้นตอน canary เป็นทางเลือกในเครื่องมือ คำขอ pull request มีผู้ตรวจสอบเพียงคนเดียวที่อนุมัติหลังจากช่วงเวลา 20 นาที หน้าเว็บแสดงผล 18 นาทีหลังจากเริ่มมีข้อผิดพลาดเนื่องจากเกณฑ์การแจ้งเตือนถูกตั้งค่าไว้ที่ค่าเฉลี่ยห้านาที ฉันอยากทราบว่ามีการเปลี่ยนแปลงอื่น ๆ กี่ครั้งในเดือนนี้ที่ข้ามขั้นตอน canary และวิศวกรที่รับผิดชอบเคยได้รับแจ้งหรือไม่ว่าขั้นตอนนี้สามารถข้ามได้ การดำเนินการที่เสนอ: กำหนดให้ canary เป็นข้อบังคับสำหรับระดับบริการนี้ ผู้รับผิดชอบ: ทีมแพลตฟอร์ม ตรวจสอบ: ลองปรับใช้แบบข้ามขั้นตอน canary ในสภาพแวดล้อมทดสอบและยืนยันว่าถูกบล็อก ลดช่วงเวลาการแจ้งเตือน ผู้รับผิดชอบ: หัวหน้าทีมที่รับผิดชอบ ตรวจสอบ: เล่นซ้ำข้อผิดพลาดของสัปดาห์ที่แล้วเทียบกับเกณฑ์ใหม่"

สังเกตดูว่าอะไรทำให้มันดีกว่า มันใช้หลักฐาน ระบุข้อจำกัดและความไม่แน่นอน และจบลงด้วยการกระทำที่สามารถทดสอบได้

ต่อไปเป็นการสรุปผล อย่าแค่ให้คะแนนอย่างเดียว ถามคำถามเหล่านี้ด้วย:

1. หลักฐานสนับสนุนอะไรบ้าง และคุณตั้งสมมติฐานอย่างไร?
2. จากตัวเลือกของคุณ ทีมจะมีอำนาจในการดำเนินการใดบ้าง?
3. อะไรจะทำให้การทำพฤติกรรมนี้ซ้ำในการประเมินผลงานจริงครั้งต่อไปของคุณง่ายขึ้น? อะไรจะทำให้ทำได้ยากขึ้น?

คำถามข้อที่สามมีความสำคัญที่สุด เพราะมันแสดงให้เห็นถึงเงื่อนไขจากหัวข้อที่ 2 หากผู้เข้าร่วมสามคนตอบว่า "ผู้จัดการของฉันจะถามว่าใครเป็นคนทำ" แสดงว่าคุณได้พบข้อจำกัดที่การฝึกอบรมไม่สามารถแก้ไขได้

5. วัดพฤติกรรมและติดตามผล

คำถามสำคัญคือ หลักฐานใดที่จะแสดงให้เห็นว่าผู้เรียนสามารถวิเคราะห์หลักฐานเหตุการณ์และเห็นพ้องต้องกันในการปรับปรุงที่สามารถทดสอบได้ นี่คือเกณฑ์เบื้องต้น เป็นเพียงข้อเสนอแนะเพื่อนำไปปรับใช้กับวิศวกรผู้มีประสบการณ์ ไม่ใช่มาตรฐานความพร้อมที่ได้รับการตรวจสอบแล้ว

ควรระบุข้อผิดพลาดที่สำคัญแยกต่างหาก เช่น การระบุชื่อบุคคลว่าเป็นสาเหตุ หรือการเสนอแนวทางแก้ไขที่ไม่มีผู้รับผิดชอบ คะแนนรวมสูงต้องไม่บดบังความล้มเหลวที่สำคัญ

สำหรับการวัดค่า:

• คุณภาพของการวิเคราะห์ปัจจัยที่ส่งผลต่อผลลัพธ์ เปรียบเทียบบทวิจารณ์ที่เขียนก่อนเริ่มโครงการกับบทวิจารณ์ที่เขียนหลังจากนั้น โดยใช้เกณฑ์การให้คะแนนเดียวกันจากผู้ที่ไม่ทราบว่าบทวิจารณ์ใดเป็นของใคร ใช้กรณีศึกษาติดตามผลที่ไม่เคยเห็นมาก่อน รวมถึงกรณีศึกษาจริงด้วย
• ติดตามต่อ นับสัดส่วนของรายการดำเนินการที่มีผู้รับผิดชอบ มีการทดสอบ และดำเนินการเสร็จสมบูรณ์ จากรายการดำเนินการทั้งหมดที่ถูกแจ้ง ระบุตัวหารและกรอบเวลาด้วย
• เปรียบเทียบการสังเกตกับการเปลี่ยนแปลงกระบวนการ เข้าร่วมการประเมินผลอย่างจริงจัง ตรวจสอบดูว่าหลังจากนั้นมีการดำเนินการตามแผนอย่างไรบ้าง

ควรระมัดระวังเรื่องปริมาณการรายงาน หากมีการบันทึกข้อกังวลและเหตุการณ์เฉียดฉิวมากขึ้นหลังจากโครงการสิ้นสุดลง นั่นอาจหมายความว่าความปลอดภัยดีขึ้น ความไว้วางใจดีขึ้น หรือเครื่องมือใหม่ทำให้การบันทึกง่ายขึ้น การหกล้มอาจหมายถึงปัญหาลดลงหรือความเต็มใจที่จะพูดคุยลดลง ควรพิจารณาสิ่งที่เปลี่ยนแปลงไปในช่วงเวลาเดียวกันก่อนที่จะสรุปว่าการเปลี่ยนแปลงใดๆ เกิดจากการฝึกอบรม และหลีกเลี่ยงการอ้างถึงขนาดของผลกระทบที่คุณยังไม่ได้วัด

คำแนะนำของ Eberly ข้างต้นเป็นเพียงแนวทางในการจัดแนวเท่านั้น ไม่ได้เป็นการพิสูจน์ว่าวิธีการนี้ช่วยลดอุบัติเหตุได้ ควรเก็บข้อมูลพื้นฐานและข้อมูลติดตามผลด้วยตนเอง และใช้เป็นหลักฐานในระดับท้องถิ่น

ข้อจำกัดใดบ้างที่อาจยังคงอยู่แม้หลังจากทักษะพัฒนาขึ้นแล้ว

โปรดให้ข้อมูลที่ตรงไปตรงมากับผู้สนับสนุนเกี่ยวกับเรื่องเหล่านี้:

1. เอกสารการประเมินอาจยังคงถูกนำมาใช้ในการตัดสินใจเรื่องผลการปฏิบัติงานได้
2. ทีมที่อยู่ภายใต้แรงกดดันด้านการส่งมอบงานอาจละเว้นการดำเนินการบางอย่างที่แม้จะมีค่าใช้จ่ายสูงแต่ก็สมเหตุสมผล
3. การดำเนินการข้ามทีมอาจหยุดชะงักเพราะไม่มีใครเป็นเจ้าของขอบเขตนั้น
4. วิศวกรอาวุโสอาจยังคงมีบทบาทสำคัญในการสนทนา

การวิเคราะห์ที่ดีขึ้นไม่ได้ช่วยขจัดปัญหาเหล่านี้ ต้องวางแผนการเปลี่ยนแปลงกระบวนการแยกต่างหากสำหรับปัญหาเหล่านี้

นำไปใช้จริงด้วย AhaSlides

AhaSlides รองรับการเรียนรู้แบบปรับตัว การเรียนรู้แบบโต้ตอบ และการสลับระหว่างการเรียนรู้แบบสดและการเรียนรู้ด้วยตนเอง ในกระบวนการนี้ อาจหมายถึงขั้นตอนการเตรียมการด้วยตนเอง การนำเสนอเคสแบบสดหรือแบบมีผู้ดำเนินรายการพร้อมคำถามแบบเปิดเพื่อให้ทุกคนมีส่วนร่วมในการวิเคราะห์ก่อนที่กลุ่มจะอภิปราย และงานติดตามผลหลังจากการนำเสนอ ควรตรวจสอบฟังก์ชันการสร้าง การให้คะแนน และการรายงานเฉพาะเจาะจงในการสาธิตกับเคสของคุณเองก่อนที่จะนำไปใช้ และสิ่งใดก็ตามที่เกี่ยวข้องกับ AI โปรแกรมจำลอง หรือการบูรณาการกับเครื่องมือจัดการเหตุการณ์ของคุณควรได้รับการพิจารณาว่าเป็นสิ่งภายนอกจนกว่าจะได้รับการสาธิต

ขั้นตอนต่อไป: นำเกณฑ์ข้างต้นไปปรับใช้ร่วมกับวิศวกรอาวุโสของคุณ จากนั้นสร้างกรณีศึกษาที่คุณจะใช้ หากคุณต้องการดูว่าเวอร์ชันแบบสดและเรียนรู้ด้วยตนเองของกระบวนการนี้จะใช้งานได้ผลอย่างไร จองการสาธิตเวิร์กโฟลว์ AhaSlides เมื่อคุณร่างกรณีศึกษาและเกณฑ์การประเมินเสร็จเรียบร้อยแล้ว