判斷學員是否具備獨立執業能力,需基於多次觀察表現,而非單一分數。如果學員在某次模擬病例中表現出色,而在其他病例中表現不穩定,這固然能說明一些問題,但資訊量還不夠。本指南面向醫學教育主任和住院醫師計畫負責人,涵蓋五個決策:評估的觀察任務、選擇具有代表性的陌生病例、制定帶有參考標準的觀察標準、如何校準評估人員以及如何運用評估結果。本指南著重於評估設計,而非臨床指導。獨立執業的授權流程由各機構自行製定,且專案專家應在使用前審核病例和評分標準。
這項研究說了什麼,沒說什麼。
有兩種已發表的方法值得了解。 2005年,ten Cate提出了 可信賴的專業活動:主管根據觀察到的能力,決定受訓者可以在無人監督的情況下完成的工作單元。 1997年,Martin及其同事描述了… 技術技能客觀結構化評估 (OSATS),它將針對特定任務的檢查清單與外科住院醫師的整體評分標準相結合。
兩者都描述瞭如何建構評判體系。兩者都不能顯示某個特定學員已準備就緒,也不能取代專家的監督。你可以利用它們來制定你的評判標準,然後用你自己的評估人員來檢驗這些標準。
要聞速覽
| 問題 | 簡答 |
|---|---|
| 你在評判什麼? | 根據多次觀察表現判斷的準備。 |
| 什麼是模擬器一分? | 僅提供數據點,不代表可獨立執業。 |
| 是什麼讓評價標準變得可用? | 可觀察的行為,並舉例說明較弱、發展中和熟練的工作表現。 |
| 是什麼讓評分值得信賴? | 評估人員獨立評分,然後比較證據。 |
| 哪些情況應該避免得分? | 單憑自信或速度。 |
| 還有什麼它無法決定的? | 授權。這屬於你們機構本身的流程範疇。 |
1. 明確評估的績效指標
明確可觀察的任務:根據多次觀察到的表現來判斷是否準備就緒。在定義分數之前,請先明確角色、情境和授權範圍。 「獨立勝任能力」對於同一位學員在不同的程序、環境和監督級別下所代表的含義可能有所不同。請寫下學員接受評估的內容、合作對像以及如果被判定為準備就緒將會採取的措施。我們的指南將… 將學習活動與布魯姆分類法相匹配 幫助你區分需要分析的任務和需要判斷的任務。
2. 選擇一項不熟悉的、具代表性的任務
選擇一個學員未曾排練過的案例,例如第二個模擬案例,該案例與第一個案例的不同之處在於它更貼近真實案例的運作方式。解釋該案例如何體現實際工作,以及它無法揭示哪些方面。一個陌生的案例可以展現技能是否能夠遷移,但它無法涵蓋所有變化、所有團隊或所有複雜情況。因此,最終的評估應基於對學員在不同案例和不同時間段的多次觀察,而非僅基於一次評估。
3. 制定可觀察的標準和錨點
圍繞兩點建構評量標準:個案間表現的一致性以及評估者之間的一致性。詳細描述每個分數對應的行為表現。例如,對於某個評價標準,您可以這樣描述:
- 弱(0)。 需要重複提示,漏掉某個步驟或無法解釋自己的選擇。
- 發展中(1)。 完成任務時存在遺漏或品質不一致的情況。
- 精通(2)。 完成任務,解釋各種選擇,並處理案例中的各種變化。
避免僅根據自信程度或速度來評分。自信的人也可能出錯,速度慢的人也可能謹慎。這兩種特質都可以作為評分的參考,但不應取代實際工作內容的考量。如果馬丁及其同事所描述的評分結構(即在總體評分旁附上針對特定任務的檢查清單)有助於評估人員區分步驟和整體質量,則可以採用這種方法。
4. 校準評估人員並進行試點
校準是指使分數具有可比較性的過程:
- 獨立評分。 讓兩名或兩名以上的評估員在不交談的情況下對同一個錄製或觀察到的例子進行評分。
- 對比證據。 請每個人說明他們觀察到的導致評分的結果。分歧通常源自於評判標準不夠明確。
- 修改評判標準。 改寫措辭或添加範例,然後對新範例進行評分。
- 小型團隊的飛行員。 在將其用於決策之前,先與幾位同事進行評估,並檢查評估者是否仍有分歧。
描述專家監督機制:誰負責審核臨界結果,誰擁有最終決定權。
一個經過處理的案例,包含回饋和重試
僅供參考。住院醫師計畫負責人和外科專家應在使用前驗證病例和答案標準。
案子。 一名研究員在一個模擬案例中表現出色,但在另一個模擬案例中表現不穩定。
任務。 做好評判準備。解釋你的決定,引用證據,並說明你還需要哪些資訊。
第一次嘗試。 「這位學員在第一個案例中得分很高,所以他們準備好了。」一位評審員詢問第二個案例的情況,評判依據是多少次表演,以及兩位評估員的意見是否一致。學員對這些問題都答不出來。
反饋並重試。 審閱者指出,一個高分被當作最終結論,而前後矛盾之處卻被忽略了。要求學習者重新考慮。
一次更有力的嘗試。 學員指出兩個案例不足以說明問題,並注意到第二個案例前後不一致,詢問具體差異之處。他們建議對第三個不熟悉的案例進行進一步的觀察,並安排一位獨立的第二位評估員,同時針對出錯的步驟進行有針對性的準備。他們表示目前不建議做出合格的決定,並指出他們仍然需要:評估員的證據、監督流程以及課程對獨立實踐的定義。
解釋每種回應的合理性或不足之處。 評判應依據既定標準,而非評判者的個人偏好。第一次嘗試將單一分數視為最終定論,這是一個嚴重的錯誤。第二次嘗試則參考了多場演出,區分了證據和推斷,並明確了評判的局限性。
5. 利用結果進行後續跟進
根據觀察到的差距選擇下一步步驟:
- 針對性準備 當缺少某個概念或步驟時。
- 互動練習 技術具備但發揮不穩定。
- 督導式輔導 當員工在實際工作中需要回饋時。
計劃重新評估,並說明結果不能做什麼:準備情況判斷描述了在某個時間點,評估人員在觀察到的案例中的表現。
| 標準 | 0:缺失或不支持 | 1:部分,有遺漏 | 2:完整且合理 |
|---|---|---|---|
| 任務執行 | 裁判根據一個分數判斷準備。 | 使用多個分數而不進行比較。 | 法官根據多次觀察的表演和記錄證據做出判斷。 |
| 推理 | 沒有給出理由。 | 給了理由,但沒有指出矛盾之處。 | 解釋了各種方案、限制條件和不確定性。 |
| 邊界 | 將分數視為授權。 | 沒有計劃,筆記就會受到限制。 | 採用已核准的流程,並在證據不足時尋求專家意見。 |
本評分標準僅為建議的起點,並非經過驗證的準備就緒標準。請單獨定義關鍵錯誤,例如,可將一次模擬器得分作為獨立練習的授權。總分絕不能掩蓋任何關鍵失敗。
為了檢驗流程,請比較基準任務和未見後續任務。衡量績效一致性和評估者之間的一致性。在開始之前,請先明確人群、分母和時間安排,並在確認訓練效果之前,留意是否存在任何同期變化,例如新的病例組合或評估者變更。
互動式教學有助於
互動式形式有助於校準步驟。在即時會議中,您可以展示一個範例,並要求每位評估員私下提交分數,然後在討論證據之前展示分數分佈。自主學習模式則適合事先進行標準審查和前提條件檢查。 AhaSlides,一個面向團隊和課堂的一體化互動平台,支援互動式學習以及直播和自主學習兩種模式。在使用前,請先檢查如何在您的工作流程中執行校準程序。
能力評估無法解決的問題
- 對獨立性的模糊定義。 如果沒有基準,分數就無從比較。
- 觀測數據太少。 一兩個案例不能證明其一致性。
- 從不進行校準的評估人員。 協議不會單獨出現。
- 證據有限。 以上兩個來源描述的是方法,而不是結果。
常見問題
什麼是外科手術能力評估?
根據觀察到的表現與既定標準進行對比,判斷受訓人員是否能夠按照貴機構要求的標準完成規定的外科手術任務。
一次模擬器測驗得分足以判斷戰備狀態嗎?
不,這只是一個數據點。準備情況的判斷取決於多項觀察到的表現以及貴機構批准的流程。
什麼是OSAT?
技術技能客觀結構化評估(OSAT)是一種將特定任務清單與整體評分標準結合的方法。
如何核實評估人員的意見是否一致?
讓他們獨立對同一個例子進行評分,比較他們的證據,並修改任何存在分歧的標準。
誰應該審核個案和評分標準?
在任何人評分之前,先由一位外科專家和住院醫師計畫負責人進行評估。
從哪兒開始
選擇一種操作流程,並編寫可觀察的任務。選擇兩個不熟悉的案例,讓兩位評估者分別獨立評分,並比較他們的評分結果。如果評分結果有分歧,則修改評分標準,然後在正式使用評分結果之前,先與幾位同事進行試驗。
若要了解校準課程如何即時或自主進行,請探索 AhaSlides.








