ความพร้อมสำหรับการปฏิบัติงานอย่างอิสระนั้นเป็นการประเมินที่สร้างขึ้นจากผลการปฏิบัติงานที่สังเกตได้หลายครั้ง ไม่ใช่จากคะแนนเพียงครั้งเดียว เพื่อนร่วมงานที่ทำได้ดีในกรณีจำลองหนึ่ง แต่ทำได้ไม่สม่ำเสมอในอีกกรณีหนึ่งนั้น บอกอะไรคุณได้บ้าง แต่ยังไม่เพียงพอ คู่มือนี้จัดทำขึ้นสำหรับผู้อำนวยการด้านการศึกษาทางการแพทย์และหัวหน้าโครงการฝึกอบรมแพทย์ประจำบ้าน ครอบคลุมการตัดสินใจห้าประการ ได้แก่ งานที่สังเกตได้ซึ่งกำลังได้รับการประเมิน กรณีศึกษาที่ไม่คุ้นเคยและเป็นตัวแทน เกณฑ์ที่สังเกตได้พร้อมจุดอ้างอิง วิธีการสอบเทียบผู้ประเมิน และวิธีการใช้ผลลัพธ์ นี่คือเรื่องของการออกแบบการประเมิน ไม่ใช่คำแนะนำทางคลินิก การอนุมัติสำหรับการปฏิบัติงานอย่างอิสระนั้นขึ้นอยู่กับกระบวนการของสถาบันของคุณ และผู้เชี่ยวชาญจากโครงการของคุณควรตรวจสอบกรณีศึกษาและเกณฑ์การประเมินก่อนนำไปใช้
สิ่งที่งานวิจัยกล่าว และสิ่งที่งานวิจัยไม่ได้กล่าว
มีวิธีการที่ได้รับการตีพิมพ์เผยแพร่สองวิธีที่น่าสนใจ ในปี 2005 ten Cate ได้เสนอวิธีการดังกล่าว กิจกรรมทางวิชาชีพที่น่าเชื่อถือ: หน่วยงานที่หัวหน้างานตัดสินใจว่าผู้ฝึกงานสามารถทำได้โดยไม่ต้องมีผู้ควบคุมดูแล โดยพิจารณาจากความสามารถที่สังเกตได้ ในปี 1997 มาร์ตินและเพื่อนร่วมงานได้อธิบายถึงเรื่องนี้ การประเมินทักษะทางเทคนิคแบบมีโครงสร้างเชิงวัตถุประสงค์ (OSATS) ซึ่งเป็นการผสมผสานระหว่างรายการตรวจสอบเฉพาะงานกับมาตรวัดระดับโดยรวมสำหรับแพทย์ประจำบ้านด้านศัลยกรรม
ทั้งสองอย่างอธิบายวิธีการจัดโครงสร้างการตัดสินใจ ทั้งสองอย่างไม่ได้แสดงให้เห็นว่าบุคคลนั้นพร้อมแล้ว และทั้งสองอย่างไม่ได้มาแทนที่การกำกับดูแลโดยผู้เชี่ยวชาญ ใช้ข้อมูลเหล่านี้เพื่อกำหนดเกณฑ์ของคุณ จากนั้นทดสอบเกณฑ์เหล่านั้นกับผู้ประเมินของคุณเอง
ข้อเท็จจริงด่วน
| คำถาม | ตอบสั้นๆ |
|---|---|
| คุณกำลังตัดสินอะไรอยู่? | ความพร้อม จากการสังเกตผลการปฏิบัติงานหลายครั้ง |
| คะแนนจำลองหนึ่งคะแนนคืออะไร? | ข้อมูลข้อหนึ่งคือ นี่ไม่ใช่การอนุญาตให้ประกอบวิชาชีพอย่างอิสระ |
| อะไรทำให้เกณฑ์เหล่านั้นสามารถนำไปใช้ได้? | พฤติกรรมที่สังเกตได้ พร้อมตัวอย่างงานที่อ่อนแอ งานที่กำลังพัฒนา และงานที่เชี่ยวชาญ |
| อะไรทำให้คะแนนเหล่านั้นน่าเชื่อถือ? | ผู้ประเมินให้คะแนนอย่างอิสระ จากนั้นจึงเปรียบเทียบหลักฐาน |
| คุณควรหลีกเลี่ยงการทำคะแนนในสิ่งใด? | ความมั่นใจหรือความเร็วเพียงอย่างเดียว |
| มันไม่สามารถตัดสินใจอะไรได้บ้าง? | การอนุมัติ นั้นเป็นกระบวนการของสถาบันของคุณเอง |
1. ระบุวัตถุประสงค์ของการประเมินผล
ระบุภารกิจที่สังเกตได้: การประเมินความพร้อมจากผลการปฏิบัติงานที่สังเกตได้หลายครั้ง ระบุบทบาท บริบท และขอบเขตอำนาจก่อนที่จะกำหนดคะแนน "ความสามารถอิสระ" มีความหมายแตกต่างกันสำหรับผู้เข้ารับการฝึกอบรมในขั้นตอนหนึ่ง สภาพแวดล้อมหนึ่ง และระดับการกำกับดูแลหนึ่ง กับอีกขั้นตอนหนึ่ง เขียนลงไปว่าผู้เข้ารับการฝึกอบรมได้รับการประเมินให้ทำอะไร กับใคร และจะเกิดอะไรขึ้นหากได้รับการตัดสินว่าพร้อม คู่มือของเราเกี่ยวกับ การจับคู่กิจกรรมการเรียนรู้กับอนุกรมวิธานของบลูม ช่วยให้คุณแยกแยะงานที่ต้องใช้การวิเคราะห์ออกจากงานที่ต้องใช้การตัดสินใจ
2. เลือกงานตัวอย่างที่ไม่คุ้นเคย
เลือกกรณีที่เพื่อนร่วมงานยังไม่เคยฝึกซ้อมมาก่อน เช่น กรณีจำลองที่สองซึ่งแตกต่างจากกรณีแรกในลักษณะที่เหมือนกับกรณีจริง อธิบายว่ากรณีจำลองนั้นแสดงให้เห็นถึงการทำงานจริงอย่างไร และไม่สามารถพิสูจน์อะไรได้บ้าง กรณีที่ไม่คุ้นเคยเพียงกรณีเดียวสามารถแสดงให้เห็นว่าทักษะสามารถถ่ายทอดได้หรือไม่ แต่ไม่สามารถครอบคลุมทุกรูปแบบ ทุกทีม หรือทุกปัญหาได้ นั่นเป็นเหตุผลว่าทำไมการตัดสินใจจึงขึ้นอยู่กับผลการปฏิบัติงานที่สังเกตได้หลายครั้ง กระจายไปตามกรณีและช่วงเวลาต่างๆ ไม่ใช่จากกรณีเดียว
3. เขียนเกณฑ์ที่สังเกตได้และตัวชี้วัด
กำหนดเกณฑ์โดยพิจารณาจากสองสิ่ง ได้แก่ ความสม่ำเสมอของผลการปฏิบัติงานในแต่ละกรณี และความเห็นพ้องของผู้ประเมิน เขียนอธิบายว่าคะแนนแต่ละระดับมีลักษณะอย่างไรในแง่ของพฤติกรรม สำหรับเกณฑ์ข้อหนึ่ง คุณอาจอธิบายดังนี้:
- อ่อนแอ (0) ต้องได้รับการกระตุ้นซ้ำๆ พลาดขั้นตอน หรือไม่สามารถอธิบายทางเลือกได้
- การพัฒนา (1) ดำเนินการตามภารกิจเสร็จสิ้นโดยมีข้อบกพร่องหรือคุณภาพไม่สม่ำเสมอในแต่ละกรณี
- เชี่ยวชาญ (2) ดำเนินการตามภารกิจ อธิบายทางเลือก และจัดการกับความแตกต่างในกรณีดังกล่าว
หลีกเลี่ยงการให้คะแนนโดยพิจารณาจากความมั่นใจหรือความเร็วเพียงอย่างเดียว คนที่มั่นใจอาจทำผิดพลาดได้ และคนที่ช้าอาจระมัดระวัง ทั้งสองคุณลักษณะนี้สามารถนำมาประกอบการให้คะแนนได้ แต่ไม่ควรใช้แทนหลักฐานของสิ่งที่ได้ทำไปแล้ว ใช้โครงสร้างที่มาร์ตินและเพื่อนร่วมงานอธิบายไว้ คือ รายการตรวจสอบเฉพาะงานควบคู่ไปกับการให้คะแนนโดยรวม หากโครงสร้างนั้นช่วยให้ผู้ประเมินสามารถแยกขั้นตอนออกจากคุณภาพโดยรวมได้
4. ปรับเทียบผู้ประเมินและดำเนินการทดสอบนำร่อง
การสอบเทียบคือขั้นตอนที่ทำให้คะแนนสามารถเปรียบเทียบกันได้:
- ให้คะแนนแยกกัน ให้ผู้ประเมินสองคนขึ้นไปให้คะแนนตัวอย่างที่บันทึกไว้หรือสังเกตได้เดียวกัน โดยไม่พูดคุยกัน
- เปรียบเทียบหลักฐาน ขอให้แต่ละคนบอกว่าพวกเขาเห็นอะไรที่นำไปสู่คะแนนนั้น ความไม่เห็นด้วยมักเกิดจากเกณฑ์ที่ไม่ชัดเจน
- แก้ไขเกณฑ์การพิจารณา แก้ไขถ้อยคำหรือเพิ่มตัวอย่าง จากนั้นให้คะแนนตัวอย่างใหม่
- ทดลองใช้กับกลุ่มเล็กๆ ทดสอบผลการประเมินกับเพื่อนร่วมงานสักสองสามคนก่อนนำไปใช้ในการตัดสินใจ และตรวจสอบว่าผู้ประเมินยังคงมีความเห็นไม่ตรงกันหรือไม่
อธิบายถึงการกำกับดูแลโดยผู้เชี่ยวชาญ: ใครเป็นผู้ตรวจสอบผลลัพธ์ที่คลุมเครือ และใครเป็นผู้มีอำนาจตัดสินใจขั้นสุดท้าย
กรณีศึกษาที่ดำเนินการแล้ว พร้อมข้อเสนอแนะและการลองใหม่อีกครั้ง
ตัวอย่างประกอบเท่านั้น หัวหน้าโครงการฝึกอบรมแพทย์เฉพาะทางและศัลยแพทย์ผู้เชี่ยวชาญควรตรวจสอบความถูกต้องของกรณีศึกษาและเกณฑ์คำตอบก่อนนำไปใช้
กรณี. ผู้เข้าร่วมคนหนึ่งทำได้ดีในกรณีจำลองหนึ่ง แต่ทำได้ไม่สม่ำเสมอในอีกกรณีหนึ่ง
ภารกิจนั้น ความพร้อมของศาล อธิบายคำตัดสิน อ้างอิงหลักฐาน และระบุว่าคุณต้องการข้อมูลเพิ่มเติมอะไรบ้าง
เป็นการลองทำครั้งแรก "นักเรียนคนนี้ทำคะแนนได้สูงในกรณีแรก ดังนั้นพวกเขาจึงพร้อมแล้ว" ผู้ตรวจสอบถามว่าเกิดอะไรขึ้นในกรณีที่สอง การตัดสินขึ้นอยู่กับการแสดงกี่ครั้ง และผู้ประเมินทั้งสองคนเห็นพ้องกันหรือไม่ นักเรียนไม่มีคำตอบสำหรับคำถามเหล่านี้เลย
ให้ข้อเสนอแนะและลองใหม่อีกครั้ง ผู้ตรวจสอบตั้งข้อสังเกตว่า คะแนนสูงคะแนนหนึ่งถูกนำมาใช้เป็นข้อสรุป และความไม่สอดคล้องกันถูกละเลย ผู้เรียนจึงถูกขอให้พิจารณาใหม่
ความพยายามที่หนักแน่นกว่าเดิม ผู้เรียนระบุว่ากรณีศึกษา 2 กรณีไม่เพียงพอ สังเกตเห็นความไม่สอดคล้องกันในกรณีศึกษาที่สอง และถามว่าอะไรที่แตกต่างออกไป พวกเขาเสนอให้มีการสังเกตการปฏิบัติงานเพิ่มเติมในกรณีศึกษาที่สามที่ไม่คุ้นเคย ผู้ประเมินอิสระคนที่สอง และการเตรียมตัวอย่างเจาะจงในขั้นตอนที่ผิดพลาด พวกเขากล่าวว่าพวกเขายังไม่แนะนำให้ตัดสินใจเรื่องความพร้อม และสิ่งที่พวกเขายังต้องการคือ หลักฐานจากผู้ประเมิน กระบวนการกำกับดูแล และคำจำกัดความของการฝึกปฏิบัติอิสระในหลักสูตร
เหตุใดคำตอบแต่ละข้อจึงสมเหตุสมผลหรือไม่สมบูรณ์ ตัดสินโดยพิจารณาจากเกณฑ์ที่ได้รับการอนุมัติ ไม่ใช่จากความชอบส่วนตัวของผู้ประเมิน ความพยายามครั้งแรกใช้คะแนนเพียงคะแนนเดียวเป็นเกณฑ์ยืนยัน ซึ่งเป็นข้อผิดพลาดร้ายแรง ครั้งที่สองใช้การแสดงผลงานหลายรายการ แยกหลักฐานออกจากข้อสรุป และระบุขอบเขตของการตัดสินใจ
5. นำผลลัพธ์ไปใช้ในการติดตามผล
เลือกขั้นตอนถัดไปจากช่องว่างที่สังเกตได้:
- การเตรียมการอย่างมีเป้าหมาย เมื่อขาดแนวคิดหรือขั้นตอนบางอย่าง
- การฝึกปฏิบัติแบบโต้ตอบ เมื่อมีทักษะแต่ขาดความสม่ำเสมอ
- การฝึกสอนภายใต้การดูแล เมื่อเพื่อนร่วมงานต้องการคำติชมในการทำงานจริง
วางแผนการประเมินใหม่ และระบุสิ่งที่ผลลัพธ์ไม่สามารถทำได้: การตัดสินความพร้อมอธิบายถึงผลการปฏิบัติงานในกรณีศึกษาที่สังเกตได้ โดยมีผู้ประเมินเกี่ยวข้อง ณ จุดเวลาใดเวลาหนึ่ง
| เกณฑ์ | 0: ไม่มีหรือไม่ได้รับการสนับสนุน | 1: บางส่วน มีการขาดหายไป | 2: ครบถ้วนและมีเหตุผลรองรับ |
|---|---|---|---|
| การดำเนินการงาน | ความพร้อมของกรรมการตัดสินจากคะแนนเดียว | ใช้คะแนนหลายค่าโดยไม่นำมาเปรียบเทียบกัน | กรรมการตัดสินจากหลายฝ่ายได้สังเกตการณ์การแสดงและบันทึกหลักฐานไว้ |
| เหตุผล | ไม่ได้ให้เหตุผลใดๆ | ให้เหตุผลโดยไม่ระบุถึงความไม่สอดคล้องกัน | อธิบายทางเลือก ข้อจำกัด และความไม่แน่นอน |
| ขอบเขต | ถือว่าคะแนนเป็นการอนุญาต | หมายเหตุ: ข้อจำกัดหากไม่มีแผนบริการ | ดำเนินการตามกระบวนการที่ได้รับการอนุมัติ และขอคำแนะนำจากผู้เชี่ยวชาญเมื่อหลักฐานไม่เพียงพอ |
เกณฑ์นี้เป็นเพียงจุดเริ่มต้นที่เสนอ ไม่ใช่มาตรฐานความพร้อมที่ได้รับการตรวจสอบแล้ว ควรระบุข้อผิดพลาดที่สำคัญแยกต่างหาก ตัวอย่างเช่น การนำเสนอคะแนนการจำลองสถานการณ์เพียงครั้งเดียวเป็นหลักฐานยืนยันการปฏิบัติงานอย่างอิสระ คะแนนโดยรวมต้องไม่ปกปิดความล้มเหลวที่สำคัญ
เพื่อตรวจสอบกระบวนการ ให้เปรียบเทียบงานพื้นฐานและงานติดตามผลที่ไม่เคยเห็นมาก่อน วัดความสม่ำเสมอของประสิทธิภาพและความเห็นพ้องของผู้ประเมิน กำหนดกลุ่มประชากร ตัวหาร และช่วงเวลาให้ชัดเจนก่อนเริ่ม และตรวจสอบการเปลี่ยนแปลงที่เกิดขึ้นพร้อมกัน เช่น กลุ่มผู้ป่วยใหม่ หรือการเปลี่ยนแปลงผู้ประเมิน ก่อนที่จะให้เครดิตการฝึกอบรม
ในกรณีที่การนำเสนอแบบโต้ตอบมีประโยชน์
รูปแบบการเรียนรู้แบบโต้ตอบช่วยในขั้นตอนการปรับเทียบ ในการเรียนการสอนแบบสด คุณสามารถแสดงตัวอย่างและขอให้ผู้ประเมินแต่ละคนส่งคะแนนเป็นการส่วนตัว จากนั้นแสดงผลคะแนนที่กระจายออกไปก่อนที่จะอภิปรายหลักฐาน การเรียนรู้ด้วยตนเองเหมาะสำหรับการทบทวนเกณฑ์และตรวจสอบข้อกำหนดเบื้องต้นล่วงหน้า AhaSlidesแพลตฟอร์มการมีส่วนร่วมแบบครบวงจรสำหรับทีมและห้องเรียน รองรับการเรียนรู้แบบโต้ตอบ และการเรียนการสอนทั้งแบบสดและแบบเรียนรู้ด้วยตนเอง ตรวจสอบวิธีการปรับเทียบในขั้นตอนการทำงานของคุณเองก่อนที่จะใช้งานจริง
สิ่งที่การประเมินความสามารถไม่สามารถแก้ไขได้
- นิยามของความเป็นอิสระที่ไม่ชัดเจน หากไม่มีสิ่งนี้ คะแนนสอบก็ไม่มีอะไรให้เปรียบเทียบ
- จำนวนการสังเกตการณ์น้อยเกินไป กรณีเพียงหนึ่งหรือสองกรณีไม่สามารถแสดงให้เห็นถึงความสอดคล้องได้
- ผู้ประเมินที่ไม่ทำการปรับเทียบเลย ความเห็นพ้องต้องกันไม่ได้เกิดขึ้นเองโดยธรรมชาติ
- ข้อจำกัดของหลักฐาน แหล่งข้อมูลทั้งสองข้างต้นอธิบายถึงวิธีการ ไม่ใช่ผลลัพธ์สำหรับเพื่อนร่วมงานของคุณ
คำถามที่พบบ่อย
การประเมินความสามารถในการผ่าตัดคืออะไร?
ประเมินจากผลการปฏิบัติงานที่สังเกตได้เทียบกับเกณฑ์ที่กำหนด ว่าผู้เข้ารับการฝึกอบรมสามารถปฏิบัติงานผ่าตัดที่กำหนดไว้ได้ตามมาตรฐานที่หลักสูตรของคุณต้องการหรือไม่
คะแนนจากการจำลองสถานการณ์เพียงอย่างเดียวเพียงพอที่จะตัดสินความพร้อมหรือไม่?
ไม่ค่ะ นั่นเป็นเพียงข้อมูลจุดเดียว การตัดสินใจว่าพร้อมหรือไม่นั้นขึ้นอยู่กับผลการปฏิบัติงานที่สังเกตได้หลายประการ และกระบวนการที่สถาบันของคุณอนุมัติไว้
OSATS คืออะไร?
การประเมินทักษะทางเทคนิคแบบมีโครงสร้างเชิงวัตถุประสงค์ (Objective Structured Assessment of Technical Skill) เป็นวิธีการที่ผสมผสานรายการตรวจสอบเฉพาะงานเข้ากับมาตรวัดระดับโดยรวม
คุณจะตรวจสอบได้อย่างไรว่าผู้ประเมินมีความเห็นตรงกัน?
ให้พวกเขาวิเคราะห์ตัวอย่างเดียวกันโดยอิสระ เปรียบเทียบหลักฐานของพวกเขา และแก้ไขเกณฑ์ใดๆ ที่แตกต่างกัน
ใครควรเป็นผู้ตรวจสอบกรณีศึกษาและเกณฑ์การประเมิน?
ศัลยแพทย์ผู้เชี่ยวชาญและหัวหน้าโครงการฝึกอบรมแพทย์ประจำบ้าน จะเป็นผู้ประเมินผลก่อนที่จะให้คะแนนใครก็ตาม
จะเริ่มที่ไหนดี
เลือกขั้นตอนหนึ่งและเขียนภารกิจที่สังเกตได้ เลือกกรณีศึกษาที่ไม่คุ้นเคยสองกรณี ให้ผู้ประเมินสองคนให้คะแนนแต่ละกรณีอย่างอิสระ และเปรียบเทียบหลักฐานของพวกเขา แก้ไขเกณฑ์ในส่วนที่พวกเขามีความเห็นไม่ตรงกัน จากนั้นทดลองใช้กับเพื่อนร่วมงานสองสามคนก่อนที่จะนำคะแนนไปใช้ในการตัดสินใจใดๆ
หากต้องการทราบวิธีการดำเนินการสอบเทียบแบบสดหรือแบบเรียนรู้ด้วยตนเอง โปรดดูรายละเอียดเพิ่มเติม AhaSlides.








