評估培訓計畫：如何進行試點計畫以衡量學習效果和工作場所遷移能力

試點計畫結束了。十二人參與，幾乎所有人都表示有用，專案負責人也很滿意。然後營運主管提出了一個合理的問題：「有人改變了工作方式嗎？」在試點計畫開始前，沒有人評估過員工的工作方式，也沒有人將他們與其他員工進行比較，而團隊在一個月內就改變了工作流程。試點計畫帶來的是好感，而不是實際效果。

這是一個示例性場景，並非已記錄的客戶案例。它顯示了評估訓練計畫時常見的錯誤方式：試點計畫雖然開展了，但其設計初衷並非為了解答某個問題。

本指南面向學習與發展部門負責人、教學設計師和培訓經理。它涵蓋五個步驟：確定試點問題、選擇參與者和基準指標、記錄學習過程、評估新任務的執行情況和遷移效果，以及確定結果如何影響推廣。最後，指南提供了一個可供您修改的模板，並列出了需要注意的限制條件。

什麼是訓練飛行員？

試點計畫是指在正式大規模推廣之前，對學習設計進行小規模、限時的試運行。其目的是驗證設計方案的可行性和價值，而不是證明在所有情況下都有效。

這種區別很重要。美國國家補充與綜合健康中心將試點研究描述為對將在更大規模中使用的方法和程序進行的小規模測試，並警告說，試點研究沒有足夠的樣本量來回答有關療效的問題，因此它所顯示的任何效果都不穩定（NCCIH，試驗研究：常見用途和誤用這份指南是為健康研究編寫的，但其中的邏輯同樣適用。一個由12人組成的試點計畫可以告訴你是否能夠招募參與者、進行研究、評估結果並進行後續追蹤。但它無法自信地告訴你，這種方法對整個組織的影響有多大。

要聞速覽

1. 明確試辦問題

首先提出一個可以用「是」或「否」或數字回答的問題，並說明這個問題會影響哪個決定。

一個不夠嚴謹的問題：“新的入職培訓計劃有效嗎？” 一個可以驗證的問題：“經過重新設計的入職培訓後，新員工能否在沒有幫助的情況下處理標準的客戶升級問題？在我們現有的輔導時間內，試點項目是否切實可行？”

寫下三件事：

• 任務。 人們將能夠做哪些以前做不到或以前做得不好的事情？
• 這項決定。 你們會修改設計方案、進行另一次試點還是更廣泛地推廣？
• 學習和交付假設。 您對試點計畫應該測試的先決條件、時間、指導能力和工具有何假設？

如果你無法明確決策，就表示你還沒有做好進行試點計畫的準備。結果出來的時候，卻沒有人會立即採取行動。

2. 選擇參與者和基線測量

基線資料是指人們在訓練前完成任務的表現。如果沒有基準數據，「進步」就無從比較。

精心挑選參與者。 選擇那些真正執行任務且與你計劃推廣的目標群體相似的人員。僅由最熱情的志工組成的試點計畫會更能展現設計效果。

獲取基線數據。 使用與後續評估相同的方法，以便進行比較。可選方法包括簡短的工作樣本、結構化觀察、近期產出回顧或評分案例。記錄參與者、符合條件的人數、評估時間。

想想對比一下。 最穩健的設計方案是將參與試點計畫的人員與未參與試點計畫的類似人員進行比較。但這並非總是可行或公平的，尤其是在培訓是為了安全或合規性目的時。分階段推廣是一種切實可行的替代方案：一組人員立即開始，另一組類似的人員稍後開始，後一組人員作為第一組的對照組。無論您選擇哪種方案，都應在計劃中說明其對所有相關人員的公平性。

3. 交付並記錄學習歷程

只有了解交付內容，證據才有用。務必詳細記錄所有情況，因為交付的成本和工作量也是試點測試的內容之一。

記錄：

• 準備。 人們在會議開始前做了什麼，花了多久時間？
• 實踐。 他們完成了哪些案例或練習，並獲得了哪些回饋？
• 教練。 教練是誰？執教時長是多少？是即時執教還是異步執教？
• 營運變更。 試點期間發生的其他任何變化，例如新工具的引入、政策的改變、季節性高峰或經理的更換。
• 產品配置和成本。 您實際使用的設備配置，以及交付所需的時間和金錢。

最後兩點對推廣決策至關重要。如果一個設計方案只有在你無法大規模負擔的指導下才能奏效，那麼它已經教會了你一些寶貴的經驗，而日誌正好證明了這一點。

4. 評估新任務的表現和遷移

訓練評估通常用柯克帕特里克模型的四個層次來描述：反應、學習、行為和結果（柯克派崔克合夥公司飛行員應該超越第一層級。人們的反應，即他們是否覺得有用，雖然很容易收集，但卻無法說明他們是否會改變做法。

測試學習新任務的效果。 給參與者一個他們之前沒有練習過的案例，並使用與基線測試相同的評分標準進行評分。這項新任務旨在檢驗人們能否運用所學知識，而不是他們是否記得某個例子。

工作暴露後的後續跟進。 遷移是指將工作中學到的知識應用到實際工作中，並長期維持這種應用能力。在鮑德溫和福特在1988年發表的一篇經常被引用的評論文章中，將遷移定義為將所學知識推廣到工作中並長期保持這種應用能力，並探討了培訓設計、受訓者特徵和工作環境如何影響遷移（Baldwin 與 Ford，1988 年因此，在人們實際完成工作後（例如幾週後），計劃進行後續跟進，並再次衡量相同任務。

打破紀錄。 如果有人在工作中沒有採用新方法，請詢問原因。答案可能是缺乏必要的工具、管理者堅持舊方法，或是時間不夠。這些都反映的是工作環境的問題，而不是學習者的失敗。

不要從滿意度推斷轉移行為。 良好的回饋評分值得記錄。但這並不意味著行為發生了改變。

5. 決定結果如何影響推廣

在查看結果之前，先制定決策標準。否則，很容易找到理由，無論看到什麼都照搬。

結構簡單：

要誠實地評估小組的實際能力。將數字視為參考值，報告小組規模和分母，避免使用效果量或做出任何保證。在將效果歸功於培訓之前，請先說明同時發生了哪些其他變化。

試驗測量模板

僅供參考。從事這項工作的從業人員在使用前應先進行審核。

互動式教學有助於

互動式格式非常適合試點專案的練習階段，因為每個人在看到小組答案之前都會先提交自己的答案，這樣就能記錄推理過程，而不僅僅是出席情況。主持人可以即時示範案例，也可以讓參與者自主學習同一個案例進行準備或後續跟進。 AhaSlides 支援互動式學習，並可在即時學習和自主學習之間靈活切換。請根據您自身的工作流程檢查您計劃使用的任何特定創作、回饋或報告功能，並在實際體驗之前，將 AI、模擬和整合功能視為外部或未經確認的功能。若要選擇不同的格式，請參閱 何時使用自適應、互動式和即時學習為了將活動與您想要衡量的思維方式相匹配，請參閱我們的指南。 將學習活動與布魯姆分類法相匹配.

可能存在的限制

即使是設計精良的試點項目也會留下一些未解決的問題：

• 數量很少。 試點計畫展示的是可行性和方向，而不是大規模實施後會產生多大的影響。
• 工作環境。 即使人們在新任務上表現出色，但如果他們的經理、工具或激勵措施指向相反的方向，他們仍然不會在工作中運用這項技能。
• 定時。 幾週後的追蹤並不能顯示六個月後的情況。
• 同時發生的變化。 同期發生的其他變化也可以解釋部分改善情況。
• 選擇。 志工可能與你實際接觸的人群有所不同。

針對這些問題制定單獨的解決方案，並告知贊助商飛行員未能解決哪些問題。

常見問題

訓練飛行員應該要多高？

樣本量要夠大，以便測試設計方案是否易於實施和評估，同時又要夠小，以便於低成本地進行修改。沒有一個絕對正確的樣本量。請報告樣本量，並將任何結果視為參考值。

評估培訓項目是否需要設定對照組？

設立對照組可以增強證據的說服力，但這並非總是可行或公平的。一個切實可行的替代方案是設立基線，然後分階段推廣，讓另一組類似的參與者稍後加入。

何時測量轉移率？

在人們有時間和機會將所學應用到工作中之後（至少幾週時間），再次評估同一項任務，並詢問阻礙人們使用該任務的障礙是什麼。

滿意度是有用的衡量指標嗎？

它有助於提升體驗，但並不能證明技能遷移。需要結合新任務的表現來驗證。

從哪兒開始

選擇一項重要的任務，並寫下試點計畫將要參考的決策。透過簡短的工作樣本或評分案例，記錄少數人目前如何執行這項任務。然後在試點計畫開始前製定決策標準，並在日程安排中預留後續跟進日期。

若要了解如何讓實踐案例在您的團隊中即時運行，並在之後以自定進度重複使用，請探索 AhaSlides。