績效評估標準：如何評估訓練中的判斷力和問題解決能力

兩位培訓師觀看同一段錄影，錄影內容是一位新團隊領導者決定是否將客戶投訴上報。第一位培訓師給了她最高分：她保持冷靜，並選擇了合理的選項。第二位培訓師只給了中等分：她沒有解釋自己選擇這個選項的原因，也沒有說明自己有哪些知識盲點。兩位培訓師都經驗豐富，而且都使用了同一份表格。兩人都沒有錯，而這正是問題所在。表格並沒有告訴他們應該關注哪些方面。

這是一個範例場景，並非已記錄的客戶案例。它說明了為什麼判斷力和問題解決能力難以評估：證據在於推理過程，而推理過程很容易被區別對待。

本指南是針對需要製定一套能夠有效論證的績效評估標準（包括教學設計師、訓練經理和學習與發展主管）的人員。指南涵蓋五個步驟：明確證據、撰寫可觀察的評估標準、描述績效錨點、校準評估人員、試用評估標準。最後，指南提供了一個實例並指出了評估標準的限制。

什麼是績效評估標準？

表現性評量標準是針對學習者需要實際操作而非回憶的任務而設計的評分指南。它列出了重要的評價標準，描述了每個分數等級的含義，並為評價者提供了一個共同的評判依據。對於判斷和問題解決能力的評估，任務通常是一個案例：學習者需要決定如何處理，解釋其決定，並說明還需要了解哪些資訊。

評分標準並非知識測驗。記憶性測驗可以確認某人是否掌握規則，而評分標準則檢視他們在情況複雜多變時能否運用這些規則。

要聞速覽

1. 明確績效證據的定義。

先從任務入手，而不是從形式著手。寫下學習者將面臨的情境、他們必須做出的決定，以及合格的表現會展現出什麼。要具體說明背景和限制：學習者擁有哪些權限，他們被告知了哪些訊息，又有哪些資訊被刻意省略？

一個有用的檢驗方法是詢問觀察者可以指出什麼。 「展現了良好的判斷力」無法被指出。 「說明適用的程序，指出一個缺失的事實，並說明會詢問誰」則可以被指出。

如果你無法用簡潔明了的句子描述證據，那麼這項任務就無法評分。請先修改任務本身。任務描述含糊不清，即使評分標準看起來再完善，也必然含糊不清。

2. 寫出可觀察的準則

選擇少量與學習目標相符的評量標準。對於判斷力和問題解決能力而言，以下三個標準適用於多種角色：

• 任務執行。 學習者在權限範圍內做出決定，並記錄選擇及其背後的理由。
• 推理。 學習者解釋了限制條件、替代方案以及仍然存在的不確定因素。
• 邊界。 學習者遵循既定程序，並在資訊或權限不足時尋求協助。

將每項評價標準寫成決策、解釋或結果中所體現的內容。避免使用描述特徵的詞語，例如「健全」、「成熟」或「良好」。兩位評價者對這些字詞的理解可能不同。

盡量減少評分標準的數量。每增加一項標準，評估者之間就可能產生分歧，學生也會因此而一味追求分數而非認真思考。如果某項標準不會改變你對結果的處理方式，那就去掉它。

3. 描述績效錨點

錨點是分數等級的簡要描述。如果沒有錨點，1分或2分的意思完全取決於評估者的主觀判斷。

對於初版來說，簡單的三級量表通常就足夠了：

針對每個標準，請簡單舉例說明 0 分、1 分和 2 分在你的任務中分別代表什麼。盡可能使用練習中的真實措詞。抽象的描述容易演變成模糊的形容詞。

嚴重錯誤需單獨處理。 有些失誤不應被平均化處理。例如，越權行事、忽視安全措施或違反合規限制等。應將這些失誤與評分標準分開列出，並說明其後果：無論總分如何，嚴重錯誤都應記錄在案並進行後續跟進。否則，學員可能在推理和界限方面得分很高，但其行為在工作中卻是不可接受的。

4. 利用範例校準評估人員

評分標準本身不會評分。評估人員仍然需要解讀評分標準，因此在對一組學生進行評分之前，請先進行校準。

1. 選擇兩到三個不同品質的範例回覆。最好是飛行員的真實回覆。
2. 在進行任何討論之前，讓每位評估員獨立評分。
3. 比較分數，更重要的是，比較每個人引用的證據。
4. 如果分數有差異，找出導致差異的措辭，並更改標準或錨點。
5. 使用新的例子重複上述步驟，直到評估人員因相同原因給予相同的分數。

目標是達成對評分標準的共識，而非為了達成一致而達成一致。如果兩位評分者出於不同的原因給予相同的分數，那麼評分標準仍然存在歧義。

研究結果如何？證據不一，因此要預料到可能會出現一些分歧，並對其進行評估。在2022年發表於《藤田醫學雜誌》的一項關於錄影的臨床檢查的研究中，兩位評分者對40個影片進行了評分。前10段影片的評分沒有經過任何討論，而後10段影片的評分則每次都根據評分標準進行討論。使用加權kappa係數衡量的評分一致性從前10個影片的0.49上升到後10個影片的0.82（Watari 等人，2022 年這項研究規模很小，只針對一項考試任務，所以只能將其視為適度作息可能有所幫助的一個跡象，而不是一個承諾。

單靠訓練也無法保證效果。 2014 年一項針對 21 名評分員評估 242 名醫學生的隨機研究發現，簡短的參考框架訓練課程並沒有顯著提高單一評分員的準確性，儘管受過訓練的評分員評分更嚴格，也更接近參考小組的評分。作者得出結論，績效評估具有高度個體性（Weitz 等人，2014實際操作中，要不斷用真實案例進行校準，在評分時檢查一致性，不要以為一次簡報會就足夠了。

5. 試行並修訂評分標準

在將該標準用於重要決策之前，先進行試點。

• 以小組學習者和兩位或兩位以上評估員的形式進行。
• 記錄評估者意見不一致的地方，並要求每位評估者解釋自己的評分。
• 檢查評分標準是否區分了強項和弱項。如果所有學習者的得分都是 2 分，表示任務或錨定條件太簡單。
• 詢問學習者評分標準讓他們明白了什麼，又讓他們感到困惑了什麼。
• 修改後，再用新案例進行試點。

如實反映試點計畫的結果。未經驗證的評估標準只是一個工作草案，並非通用的認證標準，在由相關領域的從業人員審核並有證據表明其適用於目標人群之前，不應將其用於做出關乎人員福祉的重大決策。

一個實際案例：升級決策

舉例說明。從事這項工作的從業人員在使用前應驗證案例和答案標準。

案子。 一位顧客反映訂單延遲，並要求全額退款。客服人員無需顧客批准即可提供一定金額的代金券。退款金額超出了代金券限額。經理兩小時內無法聯繫。訂單記錄顯示今年共有四筆訂單。

學習者做了什麼。 選擇一個回應，解釋你的決定，引用證據，並說明他們還需要哪些進一步的資訊或支持。

推理得分為 1 分。 「我會提供退款，因為顧客很不滿意。」決定如此表態，但沒有任何證據，既沒有提及退款限額，也沒有說明缺少什麼。

推理得分為 2 分。 「未經批准，我不會超出限額退款。記錄顯示今年有四筆訂單，所以這位客戶很重要，但我還沒有確認包裹的下落。我現在會提供限額內的信用額度，告知客戶經理何時回复，並向承運人查詢物流信息，以便盡快獲得批准。”

一個嚴重的錯誤。 未經批准就發放退款，無論其他評分如何，都會被記錄為嚴重錯誤，因為它超出了代理人的權限。

注意一下錨定者們的做法。開場時的兩位評估者現在會關注相同的內容：決定、引用的證據、陳述的不確定性以及界限。

互動式教學有助於

互動式形式有助於練習和校準，因為每個人都會在看到小組答案之前先提交自己的答案。在即時課程中，主持人可以展示一個範例答案，要求每位評估者私下評分，然後在討論之前公佈評分結果。同樣的案例也可以用於自主學習，以便進行準備。 AhaSlides 支援互動式學習，並可在即時課程和自主學習之間靈活切換。請根據您自身的工作流程檢查您計劃使用的任何特定創作、回饋或報告功能，並在實際體驗之前，將 AI、模擬和整合功能視為外部或未經確認的功能。有關選擇不同形式的指導，請參閱… 何時使用自適應、互動式和即時學習為了將活動與您想要評估的思維水平相匹配，請參閱我們的指南。 將學習活動與布魯姆分類法相匹配.

衡量發生了哪些變化

預先決定哪些證據可以證明學習者能夠完成任務。將學習者在新案例（之前未見過）上的表現與基準線進行比較，並檢視其推理品質和決策結果。明確納入哪些學習者、分母、時間節點。如果分數有所提高，在確認訓練效果之前，應檢查同期是否有其他變化，例如使用了新的工具或調整了工作內容。

可能存在的限制

即使是精心設計的規則也無法解決所有問題：

• 評估員時間。 校準和試運行需要時間，必須提前規劃。
• 在實際工作中擁有權威。 學習者在練習中可能推理得很好，但仍缺乏在工作中採取同樣行動的權力。
• 案件承保範圍。 一個案例只能代表一個決定。單一的分數並不能反映一個人的整體判斷力。
• 轉讓。 在安全環境下的表現與實際工作上的表現並不相同。適當暴露後，應檢查轉移情形。

針對這些問題制定單獨的解決方案，並告知贊助商。評分標準能讓評估更清晰、更公平，但並不能保證最終結果。

常見問題

評分標準和檢查清單有什麼差別？

核對清單記錄某項任務是否完成。評分標準則從多個層面描述任務完成情況，因此更適合需要判斷和解釋的任務。

評分標準應該包含多少項評量指標？

通常只需要三到五個。選擇那些符合學習目標的選項，並剔除那些不會改變你對結果處理方式的選項。

評分標準能否消除評分者之間的分歧？

不。它可以減少這種情況，尤其是在使用錨點和真實範例進行校準的情況下，但您仍然應該在評分和修改不清晰的措辭時檢查一致性。

對於高風險決策，我是否應該使用評分標準？

只有在經過試點和相關領域從業人員的審核後，才能正式使用新的評分標準。在有證據表明該標準適用於您的學習者和任務之前，請將其視為草稿。

從哪兒開始

選擇一項學員必須正確做出的決定。寫下合格表現應反映的證據，選擇三個評分標準，為每個標準擬定一個 0 到 2 分的評分錨點，並列出關鍵錯誤。然後讓兩位評估者獨立對同一個例子進行評分，比較他們的證據，並在最終評分前修改措辭。

要了解如何讓案例在您自己的團隊中進行即時演練，以及之後如何以自學的方式再次使用，請探索 AhaSlides。