การประเมินผลโครงการฝึกอบรม: วิธีการดำเนินโครงการนำร่องเพื่อวัดผลการเรียนรู้และการนำไปใช้ในที่ทำงาน

โครงการนำร่องสิ้นสุดลง มีผู้เข้าร่วม 12 คน เกือบทุกคนบอกว่ามีประโยชน์ และผู้ดำเนินโครงการก็พอใจ จากนั้นหัวหน้าฝ่ายปฏิบัติการก็ถามคำถามที่ยุติธรรมว่า "มีใครทำงานต่างไปจากเดิมบ้างไหม?" ไม่มีใครวัดวิธีการทำงานของคนก่อนเริ่มโครงการนำร่อง ไม่มีใครเปรียบเทียบพวกเขากับใคร และทีมก็เปลี่ยนกระบวนการทำงานในเดือนเดียวกัน โครงการนำร่องสร้างความสัมพันธ์ที่ดี ไม่ใช่หลักฐานที่พิสูจน์ได้

นี่เป็นเพียงสถานการณ์จำลอง ไม่ใช่กรณีศึกษาของลูกค้าที่ได้รับการบันทึกไว้ มันแสดงให้เห็นถึงวิธีการประเมินโปรแกรมการฝึกอบรมที่ผิดพลาดโดยทั่วไป: มีการทดลองใช้งาน แต่ไม่ได้ออกแบบมาเพื่อตอบคำถามใดๆ เลย

คู่มือนี้เหมาะสำหรับหัวหน้าฝ่ายพัฒนาและฝึกอบรม นักออกแบบการเรียนการสอน และผู้จัดการฝึกอบรม โดยครอบคลุมห้าขั้นตอน ได้แก่ การกำหนดคำถามนำร่อง การเลือกผู้เข้าร่วมและมาตรวัดพื้นฐาน การบันทึกเส้นทางการเรียนรู้ การประเมินผลการปฏิบัติงานและการถ่ายทอดทักษะใหม่ และการตกลงว่าผลลัพธ์จะมีผลต่อการนำไปใช้จริงอย่างไร และปิดท้ายด้วยแม่แบบที่คุณสามารถปรับเปลี่ยนได้ พร้อมข้อจำกัดที่ยังคงมีอยู่

นักบินฝึกหัดคืออะไร?

โครงการนำร่องฝึกอบรมคือการทดลองออกแบบการเรียนรู้ในขนาดเล็กและจำกัดเวลา ก่อนที่จะนำไปใช้ในวงกว้าง จุดประสงค์คือเพื่อค้นหาว่าการออกแบบนั้นเป็นไปได้หรือไม่ และคุ้มค่าที่จะดำเนินการต่อหรือไม่ ไม่ใช่เพื่อพิสูจน์ว่ามันใช้ได้ผลทุกที่

ความแตกต่างนั้นมีความสำคัญ ศูนย์แห่งชาติเพื่อการแพทย์เสริมและบูรณาการของสหรัฐอเมริกาอธิบายว่าการศึกษานำร่องเป็นการทดสอบวิธีการและขั้นตอนในขนาดเล็กที่จะนำไปใช้ในวงกว้าง และเตือนว่าการศึกษานำร่องนั้นไม่มีกำลังเพียงพอที่จะตอบคำถามเกี่ยวกับประสิทธิผล ดังนั้นผลใดๆ ที่ปรากฏให้เห็นจึงไม่คงที่ (NCCIH, การศึกษานำร่อง: การใช้งานทั่วไปและการใช้งานผิดวิธีคำแนะนำนั้นเขียนขึ้นสำหรับการวิจัยด้านสุขภาพ แต่หลักการก็สามารถนำมาใช้ได้เช่นกัน การทดลองนำร่องกับคน 12 คนสามารถบอกคุณได้ว่าคุณสามารถสรรหา ดำเนินการ วัดผล และติดตามผลได้หรือไม่ แต่ไม่สามารถบอกคุณได้อย่างมั่นใจว่าผลกระทบจะใหญ่แค่ไหนในองค์กรทั้งหมด

ข้อเท็จจริงด่วน

1. กำหนดคำถามนำร่อง

เริ่มต้นด้วยคำถามที่สามารถตอบได้ว่าใช่หรือไม่ใช่ หรือเป็นตัวเลข และระบุถึงการตัดสินใจที่จะได้รับข้อมูลนั้น

คำถามที่อ่อนแอ: "โปรแกรมปฐมนิเทศใหม่ได้ผลหรือไม่?" คำถามที่ทดสอบได้: "หลังจากปรับปรุงโปรแกรมปฐมนิเทศแล้ว พนักงานใหม่สามารถจัดการกับปัญหาที่ลูกค้าแจ้งเข้ามาได้โดยไม่ต้องขอความช่วยเหลือหรือไม่ และโครงการนำร่องนี้สามารถดำเนินการได้จริงหรือไม่ภายในเวลาฝึกอบรมที่เรามีอยู่?"

จงเขียนสิ่งต่อไปนี้ลงไปสามอย่าง:

• ภารกิจนั้น ผู้คนจะสามารถทำอะไรได้บ้างที่พวกเขาทำไม่ได้ หรือทำได้ไม่ดีในอดีต?
• การตัดสินใจ คุณจะปรับปรุงการออกแบบ ทดลองใช้งานอีกครั้ง หรือขยายผลในวงกว้างขึ้นหรือไม่?
• ข้อสมมติฐานเกี่ยวกับการเรียนรู้และการส่งมอบ คุณตั้งสมมติฐานอะไรบ้างเกี่ยวกับข้อกำหนดเบื้องต้น ระยะเวลา ความสามารถในการฝึกสอน และเครื่องมือที่โครงการนำร่องควรทดสอบ?

ถ้าคุณไม่สามารถระบุการตัดสินใจได้ คุณก็ยังไม่พร้อมที่จะดำเนินการทดลอง ผลลัพธ์จะมาถึงโดยไม่มีใครรอรับมือ

2. คัดเลือกผู้เข้าร่วมและกำหนดมาตรวัดพื้นฐาน

ข้อมูลพื้นฐานคือหลักฐานแสดงให้เห็นว่าผู้คนปฏิบัติงานนั้นได้ดีเพียงใดก่อนการฝึกอบรม หากไม่มีข้อมูลพื้นฐานนี้ คำว่า "พัฒนาขึ้น" ก็ไม่มีอะไรมาเปรียบเทียบได้

เลือกผู้เข้าร่วมอย่างรอบคอบ เลือกคนที่ปฏิบัติงานจริงและมีลักษณะคล้ายคลึงกับกลุ่มเป้าหมายที่คุณวางแผนจะนำไปใช้ โครงการนำร่องที่มีเฉพาะอาสาสมัครที่กระตือรือร้นที่สุดจะช่วยให้การออกแบบดูดีขึ้น

บันทึกค่าพื้นฐาน ใช้มาตรวัดแบบเดียวกับที่จะใช้ในภายหลัง เพื่อให้สามารถเปรียบเทียบผลลัพธ์ได้ ตัวเลือกต่างๆ ได้แก่ ตัวอย่างงานสั้นๆ การสังเกตการณ์อย่างเป็นระบบ การทบทวนผลงานล่าสุด หรือกรณีศึกษาที่มีการให้คะแนน บันทึกว่าใครบ้างที่เข้าร่วม มีจำนวนเท่าใด และวัดเมื่อใด

ลองนึกถึงการเปรียบเทียบดูสิ วิธีการออกแบบที่ดีที่สุดคือการเปรียบเทียบผู้ที่เข้าร่วมโครงการนำร่องกับผู้ที่มีลักษณะคล้ายคลึงกันแต่ไม่ได้เข้าร่วม แต่วิธีนี้อาจไม่สามารถทำได้เสมอไปหรืออาจไม่ยุติธรรม โดยเฉพาะอย่างยิ่งเมื่อการฝึกอบรมมีความจำเป็นเพื่อความปลอดภัยหรือการปฏิบัติตามกฎระเบียบ การทยอยเปิดตัวเป็นทางเลือกที่ทำได้จริง: กลุ่มหนึ่งเริ่มก่อน กลุ่มที่มีลักษณะคล้ายกันอีกกลุ่มเริ่มในภายหลัง และกลุ่มที่เปิดตัวในภายหลังจะใช้เป็นกลุ่มเปรียบเทียบกับกลุ่มแรก ไม่ว่าคุณจะเลือกวิธีใด โปรดระบุในแผนว่าทำไมจึงยุติธรรมต่อผู้ที่เกี่ยวข้อง

3. นำเสนอและบันทึกเส้นทางการเรียนรู้

หลักฐานจะมีประโยชน์ก็ต่อเมื่อคุณรู้ว่ามีการส่งมอบอะไรไปบ้าง จดบันทึกสิ่งที่เกิดขึ้นอย่างละเอียด เพราะต้นทุนและความพยายามในการส่งมอบเป็นส่วนหนึ่งของการทดสอบนำร่อง

บันทึก:

• การเตรียมการ. ก่อนเข้าร่วมการอบรม ผู้คนทำอะไรกันบ้าง และการอบรมใช้เวลานานเท่าไหร่?
• การปฏิบัติ พวกเขาได้ทำแบบฝึกหัดหรือกรณีศึกษาใดบ้าง และได้รับผลตอบรับอย่างไร?
• การโค้ช ใครเป็นผู้ฝึกสอน สอนนานแค่ไหน และเป็นการสอนสดหรือแบบไม่พร้อมกัน?
• การเปลี่ยนแปลงการดำเนินงาน สิ่งอื่นใดที่เปลี่ยนแปลงไปในระหว่างช่วงทดลองใช้งาน เช่น เครื่องมือใหม่ การเปลี่ยนแปลงนโยบาย ปริมาณงานในช่วงเทศกาล หรือการเปลี่ยนแปลงผู้จัดการ
• การกำหนดค่าผลิตภัณฑ์และต้นทุน การตั้งค่าที่ใช้จริง รวมถึงเวลาและค่าใช้จ่ายที่ใช้ในการดำเนินการ

สองข้อสุดท้ายมีความสำคัญที่สุดสำหรับการตัดสินใจในการนำไปใช้จริง การออกแบบที่ใช้งานได้เฉพาะกับระดับการฝึกสอนที่คุณไม่สามารถจ่ายได้ในวงกว้างนั้นได้สอนสิ่งที่มีค่าแก่คุณ และบันทึกข้อมูลคือสิ่งที่แสดงให้เห็นถึงสิ่งนั้น

4. ประเมินผลการปฏิบัติงานและการถ่ายโอนความรู้ในงานใหม่

การประเมินการฝึกอบรมมักอธิบายด้วยแบบจำลองของเคิร์กแพทริก 4 ระดับ ได้แก่ ปฏิกิริยา การเรียนรู้ พฤติกรรม และผลลัพธ์ (หุ้นส่วนเคิร์กแพทริกโครงการนำร่องควรขยายขอบเขตให้ไกลกว่าระดับแรก การตอบสนองว่าผู้คนพบว่ามีประโยชน์หรือไม่นั้นเก็บรวบรวมได้รวดเร็ว แต่บอกได้น้อยว่าพวกเขาจะปฏิบัติตนแตกต่างไปจากเดิมหรือไม่

ทดสอบการเรียนรู้ด้วยงานใหม่ ให้ผู้เข้าร่วมทำแบบฝึกหัดที่ไม่เคยฝึกฝนมาก่อน และให้คะแนนโดยใช้เกณฑ์เดียวกับที่ใช้ในการประเมินเบื้องต้น แบบฝึกหัดใหม่นี้จะแสดงให้เห็นว่าผู้คนสามารถนำสิ่งที่เรียนรู้ไปประยุกต์ใช้ได้หรือไม่ ไม่ใช่ว่าพวกเขายังจำตัวอย่างได้อยู่

ติดตามผลหลังการสัมผัสเชื้อจากการทำงาน การถ่ายทอดความรู้ หมายถึง การนำสิ่งที่เรียนรู้ไปประยุกต์ใช้ในการทำงาน และรักษาความรู้นั้นไว้ได้ในระยะยาว บทวิเคราะห์ของ Baldwin และ Ford ที่มักถูกอ้างถึงในปี 1988 นิยามการถ่ายทอดความรู้ว่าเป็นทั้งการสรุปเนื้อหาที่เรียนรู้ไปใช้กับการทำงานและการรักษาความรู้นั้นไว้ได้ในระยะยาว และยังพิจารณาถึงผลกระทบของการออกแบบการฝึกอบรม คุณลักษณะของผู้เข้ารับการฝึกอบรม และสภาพแวดล้อมในการทำงานต่อการถ่ายทอดความรู้ด้วยบอลด์วินและฟอร์ด, 1988ดังนั้นควรวางแผนติดตามผลหลังจากที่ผู้คนได้ทำงานจริงแล้ว เช่น สองสามสัปดาห์ต่อมา และวัดผลในงานเดียวกันอีกครั้ง

ทำลายสถิติ หากใครบางคนไม่ใช้วิธีการใหม่ในที่ทำงาน ให้ถามว่าทำไม คำตอบอาจเป็นเพราะขาดเครื่องมือ ผู้จัดการยังคงคาดหวังวิธีการแบบเดิม หรือมีเวลาไม่เพียงพอ สิ่งเหล่านี้เป็นข้อสังเกตเกี่ยวกับสภาพแวดล้อมการทำงาน ไม่ใช่ความล้มเหลวของผู้เรียน

อย่าสรุปว่าความพึงพอใจจะนำไปสู่การถ่ายทอดความรู้ คะแนนประเมินผลตอบรับที่ดีนั้นควรค่าแก่การบันทึกไว้ แต่ไม่ได้แสดงให้เห็นว่าพฤติกรรมเปลี่ยนแปลงไป

5. ตัดสินใจว่าผลลัพธ์จะมีผลต่อการดำเนินการอย่างไร

เขียนเกณฑ์การตัดสินใจก่อนที่จะดูผลลัพธ์ มิเช่นนั้น คุณอาจหาเหตุผลที่จะดำเนินการตามสิ่งที่คุณเห็นได้ง่ายๆ

โครงสร้างที่เรียบง่าย:

จงซื่อสัตย์เกี่ยวกับสิ่งที่กลุ่มเล็กๆ สามารถรองรับได้ ให้ถือว่าตัวเลขเป็นเพียงตัวบ่งชี้ รายงานขนาดของกลุ่มและตัวหาร และหลีกเลี่ยงการระบุขนาดของผลกระทบหรือการรับประกัน ระบุการเปลี่ยนแปลงอื่นๆ ที่เกิดขึ้นพร้อมกันก่อนที่จะให้เครดิตการฝึกอบรม

แม่แบบการวัดนำร่อง

เป็นเพียงตัวอย่าง ผู้ปฏิบัติงานที่ทำเอกสารนี้ควรตรวจสอบก่อนนำไปใช้

ในกรณีที่การนำเสนอแบบโต้ตอบมีประโยชน์

รูปแบบการเรียนรู้แบบโต้ตอบเหมาะสำหรับขั้นตอนการฝึกปฏิบัติในโครงการนำร่อง เนื่องจากแต่ละคนจะให้คำตอบก่อนที่จะเห็นคำตอบของกลุ่ม ซึ่งจะทำให้คุณมีบันทึกเหตุผลแทนที่จะเป็นเพียงการเข้าร่วม ผู้ดำเนินกิจกรรมสามารถดำเนินการกรณีศึกษาแบบสด และสามารถใช้กรณีศึกษาเดียวกันนี้สำหรับการเรียนรู้ด้วยตนเองเพื่อเตรียมความพร้อมหรือติดตามผล AhaSlides รองรับการเรียนรู้แบบโต้ตอบและการสลับระหว่างการเรียนรู้แบบสดและการเรียนรู้ด้วยตนเอง ตรวจสอบฟังก์ชันการสร้างเนื้อหา การให้ข้อเสนอแนะ หรือการรายงานเฉพาะใดๆ ที่คุณวางแผนจะใช้กับขั้นตอนการทำงานของคุณเอง และถือว่าคุณสมบัติ AI การจำลอง และการบูรณาการเป็นสิ่งภายนอกหรือยังไม่ได้รับการยืนยันจนกว่าคุณจะได้เห็นการทำงานจริง หากต้องการเลือกรูปแบบ โปรดดูที่... เมื่อใดควรใช้การเรียนรู้แบบปรับเปลี่ยนได้ การเรียนรู้แบบโต้ตอบ และการเรียนรู้แบบสดหากต้องการจับคู่กิจกรรมกับกระบวนการคิดที่คุณต้องการวัด โปรดดูคู่มือของเรา การจับคู่กิจกรรมการเรียนรู้กับอนุกรมวิธานของบลูม.

ข้อจำกัดที่อาจยังคงอยู่

แม้แต่โครงการนำร่องที่ออกแบบมาอย่างดีก็ยังมีบางสิ่งที่ยังไม่ได้รับการแก้ไข:

• จำนวนน้อย โครงการนำร่องแสดงให้เห็นถึงความเป็นไปได้และทิศทาง ไม่ใช่ขนาดของผลกระทบที่จะเกิดขึ้นในระดับใหญ่
• สภาพแวดล้อมในการทำงาน คนเราอาจทำงานได้ดีในงานใหม่ แต่ก็อาจไม่นำความรู้นั้นไปใช้ในที่ทำงาน หากผู้จัดการ เครื่องมือ หรือสิ่งจูงใจชี้ไปในทิศทางตรงกันข้าม
• การจับเวลา การติดตามผลหลังจากผ่านไปไม่กี่สัปดาห์ไม่ได้แสดงให้เห็นถึงสิ่งที่หลงเหลืออยู่หลังจากหกเดือน
• การเปลี่ยนแปลงที่เกิดขึ้นพร้อมกัน การเปลี่ยนแปลงอื่นๆ ในช่วงเวลาเดียวกันสามารถอธิบายถึงการปรับปรุงบางส่วนได้
• การเลือก กลุ่มคนที่อาสาเข้าร่วมอาจแตกต่างจากกลุ่มคนที่คุณไปเผยแพร่ข้อมูลให้

วางแผนแก้ไขปัญหาเหล่านี้แยกต่างหาก และแจ้งให้ผู้สนับสนุนทราบว่าโครงการนำร่องนี้ยังไม่สามารถหาคำตอบสำหรับคำถามใดบ้าง

คำถามที่พบบ่อย

นักบินฝึกหัดควรมีขนาดตัวเท่าไหร่?

ใหญ่พอที่จะทดสอบว่าการออกแบบนั้นใช้งานได้จริงและวัดผลได้หรือไม่ และเล็กพอที่จะเปลี่ยนแปลงได้ในราคาประหยัด ไม่มีตัวเลขที่ถูกต้องตายตัว รายงานขนาดกลุ่มตัวอย่างและถือว่าผลลัพธ์ใด ๆ เป็นเพียงตัวบ่งชี้เท่านั้น

จำเป็นต้องมีกลุ่มควบคุมเพื่อประเมินผลโปรแกรมฝึกอบรมหรือไม่?

การมีกลุ่มเปรียบเทียบจะทำให้หลักฐานแข็งแกร่งขึ้น แต่ก็ไม่ใช่เรื่องที่ทำได้เสมอไปหรือยุติธรรมเสมอไป การกำหนดกลุ่มพื้นฐานควบคู่กับการทยอยเปิดตัว โดยให้กลุ่มที่คล้ายคลึงกันเริ่มใช้ในภายหลัง เป็นทางเลือกที่ทำได้จริงมากกว่า

ฉันควรวัดการถ่ายโอนเมื่อใด?

หลังจากที่ผู้คนมีเวลาและโอกาสในการนำความรู้ไปประยุกต์ใช้ในที่ทำงานแล้ว อย่างน้อยก็ควรให้เวลาสักสองสามสัปดาห์ จากนั้นจึงวัดผลการทำงานเดิมอีกครั้ง และสอบถามถึงอุปสรรคที่ทำให้ไม่มีใครนำไปใช้

ความพึงพอใจเป็นตัวชี้วัดที่มีประโยชน์หรือไม่?

มันมีประโยชน์ในการปรับปรุงประสบการณ์ แต่ไม่ใช่หลักฐานของการถ่ายทอดความรู้ ควรนำไปเปรียบเทียบกับผลการปฏิบัติงานในงานใหม่ด้วย

จะเริ่มที่ไหนดี

เลือกงานที่สำคัญสักหนึ่งอย่าง แล้วเขียนข้อสรุปที่จะได้จากการทดลองนำร่อง บันทึกวิธีการทำงานของคนกลุ่มเล็กๆ ในปัจจุบัน โดยใช้ตัวอย่างงานสั้นๆ หรือกรณีศึกษาที่มีคะแนน จากนั้นเขียนเกณฑ์การตัดสินใจก่อนเริ่มการทดลองนำร่อง และบันทึกวันติดตามผลลงในปฏิทิน

หากต้องการดูว่ากรณีศึกษาฝึกหัดสามารถนำไปใช้จริงกับทีมของคุณได้อย่างไร และสามารถนำกลับมาใช้ซ้ำได้ในภายหลังโดยเรียนรู้ด้วยตนเอง โปรดสำรวจ AhaSlides