如何衡量課程結束後的訓練效果

週一，一位培訓經理打開了學習儀錶板。完成率達96%，平均滿意度為4.5分（滿分5分）。這時，一位團隊負責人提出了一個棘手的問題：「大家處理這些客戶升級投訴的方式有什麼不同嗎？」儀錶板無法回答這個問題。它只記錄了課程已完成，並沒有記錄工作上的任何變化。

這是大多數訓練指標都無法彌補的缺陷。完成率只能告訴你誰到達了終點，卻無法告訴你誰學會了技能、誰運用了技能，或者業務是否取得了進展。本指南提供了一套證據層級和一個單頁的衡量計劃，你可以將其應用於任何項目，而無需假裝每個課程都需要進行完整的因果投資回報率研究。

以上開篇場景僅為範例，並非已記錄的客戶案例。

要聞速覽

1. 明確數據應支持的決策。

在選擇指標之前，先明確它將用於指導什麼決策。以下三種常見決策需要不同的證據支持：

• 改進程序。 你需要知道學習者在哪些方面遇到了困難，因此專案層級和任務層級的結果比及格分數更重要。
• 確認準備就緒。 你需要證據證明一個人能夠按照約定的標準完成一項特定的任務，通常是透過觀察或評分任務來實現的。
• 評估推廣效果。 你需要比較不同的組別或時期，因此一致的衡量標準、分母和時間安排最為重要。

如果你無法確定數據支持哪種決策，那麼你收集了所有數據卻得出不了什麼結論。一個簡單的測試：如果結果不理想，你會採取哪些不同的措施？如果答案是“什麼都不做”，那麼這個指標就失去了存在的意義。

2. 根據目標衡量學習成果

從工作任務入手，而不是課程內容。將目標寫成一個人實際會做的事情（例如「根據既定標準對升級投訴進行分類」），然後設計與之匹配的評估。卡內基美隆大學埃伯利中心明確指出：評估、目標和教學活動應該相互促進，如果只評估事實記憶而教導分析技能，學習者就會練習錯誤的東西。埃伯利中心關於協調評估、目標和教學策略的指導).

實際上，這為您提供了三種設計選擇：

1. 設定基準線。 在訓練前評估任務，或使用簡短的診斷工具，以便了解每位學習者的起點。如果沒有基線數據，訓練後取得的好成績可能只是反映了先前的技能水平。
2. 使用匹配的後續方法。 後續評估應使用新的案例而非練習過的案例，測試相同的任務和標準。重複相同的題目有助於記憶答案。
3. 將滿意度單獨列出。 學員的回饋有助於改善訓練體驗，但美國疾病管制與預防中心 (CDC) 在其訓練評估指南中明確指出，學員滿意度並不能決定訓練是否有效 (美國疾病管制與預防中心，評估訓練：衡量有效性）報告此事，但絕不能以此代替學習。

這裡可以使用一個簡單的三點評分標準。每個標準分別評分：0 分（缺失或缺乏依據）、1 分（部分完成，但遺漏了相關內容）或 2 分（完整且理由充分）。同時，請單獨定義關鍵錯誤，以免總分掩蓋嚴重缺陷。評分標準應與學科專家協商調整；您自行編寫的評分標準僅供參考，並非經過驗證的標準。

3. 評估工作暴露後的轉移情形

在課程中學習和在工作中實際運用是兩回事。美國疾病管制與預防中心（CDC）的指南將學習評估與學習遷移評估區分開來，後者考察的是學習者回到工作崗位後，如何成功地運用所學。

技能遷移證據需要時間。在學習者真正有機會運用該技能之後安排後續跟進，對於日常任務可能需要兩週時間，而對於不常用的任務則可能需要幾個月。然後，透過以下一種或多種方式收集證據：

• 觀察或工作樣本審查 採用與訓練中使用的相同標準。
• 經理或同事的意見 使用具體的、基於行為的問題，而不是「他們是否有所改善？」。
• 系統證據 任務會留下痕跡，例如已填寫的表格或已記錄的案例。

記錄障礙與記錄結果同樣重要。例如，學員在訓練中能夠完成任務，但在工作中卻無法完成，可能是因為缺乏必要的工具、權限、時間或主管的支援。即使課堂上的任務表現有所提高，這些限制因素仍然存在，而這些發現最有可能影響你接下來的決策。問問自己“是什麼阻礙了你應用這項技能？”，並對答案進行分類。

4. 結合背景解讀營運結果

諸如錯誤率、處理時間或解決率之類的營運指標之所以重要，是因為這些是組織真正關心的問題。但同時，這些指標也最容易被過度解讀。

三個習慣讓你保持誠實：

1. 使用相近的利率。 當數量發生變化時，統計數據會產生誤導。錯誤率應與一個特定的分母進行比較：每百例錯誤率，而不是總錯誤率。
2. 列出其他可能的解釋。 季節性因素、新工具的啟用、人員變動或政策更新都可能導致同一季度內相同數字變更。在查看結果之前，請先將這些因素記錄下來。
3. 請說明這是哪種類型的索賠。 如果受過訓練的員工比未經訓練的員工表現更好，這只是觀察到的關聯。要得出因果結論，則需要設計一個能夠排除其他可能性的實驗方案，例如設定對照組或分階段推廣。大多數專案不需要如此嚴謹的設計，因此可以直接說明：“結果朝著我們預期的方向發展；以下是其他變化。”

避免僅憑培訓就承諾投資回報。請報告您的觀察、背景以及限制。

5. 制定切實可行的測量計劃

將資料依項目整理成表格。每一行代表一個數據必須回答的問題。

範例（僅供參考，不顯示結果）

想像一下這樣一個程序，旨在幫助客戶支援人員處理升級投訴。其核心思想是：在客服人員獨自處理升級投訴之前，確認他們已做好準備。

請注意其中缺少的內容：沒有承諾具體的提升百分比，也沒有聲稱單靠訓練就能取得最終的成績。這個計劃旨在引導你收集真實的數據，而不是尋找某個特定的答案。

互動式和自適應式交付方式的適用場景

當學習本身產生證據時，評估就更容易了。互動活動，例如評分案例題、情境投票和簡短的知識測試，可以在培訓期間提供每位學習者和每個項目的具體數據；自適應學習可以根據學習者的表現來安排學習路徑。混合式教學設計結合了即時課程和自主學習，讓學習者可以自主安排時間進行診斷測試，即時練習案例並獲得回饋，以及非同步完成後續複習。

這些功能支援您計劃中第一行和第二行的內容。它們並不能取代轉移和結果行，因為轉移和結果行取決於實際工作情況。在最終確定設計方案之前，請務必透過演示來確認您需要的具體報告和創作功能，並且在看到任何外部工具或整合正常工作之前，請將其視為與核心工作流程分離的獨立組件。

用自己的程式試試

請填寫您目前正在運行的一個專案的六字段計劃，從它應該支援的決策開始。

若要了解如何在即時或自主學習課程中記錄您計畫中的學習成果，請探索 AhaSlides。

常見問題

什麼是培訓效果指標？

這些指標用於判斷培訓是否達到了預期目的。一套有效的指標體系應涵蓋學習目標的達成情況、技能向工作崗位的遷移應用，以及結合實際工作情境解讀的營運成果，而不僅僅是完成情況和滿意度。

完成率是一個有用的指標嗎？

它有助於追蹤參與情況和發現訪問問題。但它無法證明任何人學習或應用了某項技能，因此需要將其與評估和後續跟進相結合。

訓練後多久應該測量遷移效果？

時間要夠長，讓學習者有真正的機會運用這項技能。日常任務可能需要幾週時間，而罕見任務則需要更長時間。在訓練開始前，請在計畫中設定好時間窗口。

我需要證明每門課程的投資報酬率嗎？

不。要將證據與決策相符。許多項目只需提供學習和轉化證據以及結合實際情況的營運成果報告即可。只有在專案設計允許的情況下，才應在高風險或高成本的專案中進行因果分析。