製造訓練效果評估：如何衡量故障排除訓練與停機時間和產量之間的關係

一家工廠在三月為其機器操作員舉辦了一次故障排除培訓課程。同年，維修部門完成了包裝線的製程升級。到了六月份，該生產線的非計劃停機時間顯著減少。工廠經理向訓練經理提出了一個合理的問題：是不是那次培訓課程扮演了角色？

這是一個範例場景，並非已記錄的客戶案例。不過，這個問題很常見。培訓和營運變更往往同時發生，而數據無法區分究竟是哪一方促成了這些變更。本指南面向工廠培訓經理以及與其合作的維護或品質負責人。它闡述瞭如何將觀察到的故障排除能力與營運指標聯繫起來，如何客觀地解讀這種聯繫，以及需要報告哪些內容。案例、評分和閾值必須由設備所有者進行驗證。

什麼是製造業訓練效果評估？

這種方法旨在檢驗培訓項目是否提升了員工的工作能力，並進一步驗證這種提升是否體現在停機時間和產量等營運數據中，同時採用可靠的對比方法來建立二者之間的聯繫。它結合了兩種證據：任務績效（操作員能否診斷故障？）和工廠指標（停機或廢品率是否有變化？）。它並不將其中一項指標的提升視為另一項指標提升的證明。

要聞速覽

1. 明確結果與比較對象

課程開始前，寫下三件事。

1. 這項決定。 這項分析能幫助人們做出什麼決定：擴大專案規模、修改專案還是終止專案？一份沒有附帶任何決策的評估計劃，最終產生的報告無人問津。
2. 幹預措施和角色。 哪些操作員、技術人員和值班主管在訓練範圍內？他們具體接受過哪些訓練？教導操作員閱讀警報歷史記錄並首先檢查成本低廉、安全性高的部件的故障排除培訓，與教導技術人員調整感測器的培訓是截然不同的。
3. 對比。 與什麼相比？與他們自己的基準線相比，一條尚未訓練過的生產線，還是與去年同一條生產線相比？

此外，還有單獨的成本。交付成本是指專案運作所需的成本：設計時間、協調員時間、工具等。營運成本是指工廠為此付出的成本：操作員停工、實驗台閒置等。如果您打算討論投資報酬率，則兩者都應納入計算。 ROI研究所對其ROI方法論進行了描述這增加了一個步驟，用於在將結果轉化為金錢之前，隔離專案的實際效果。你不必完全採納這種方法，但它提出的問題是正確的。

2. 衡量實際任務

完成率和滿意度評分反映的是交付情況。保留這些數據，將其標記為交付指標，但不要將其作為影響評估的證據。

與工廠相關的衡量指標是任務表現。使用課程目標技能的可觀察證據：

1. 基線。 在培訓之前，使用評分標準對每個操作員在安全故障案例（例如具有警報歷史記錄和他們可以要求的一些讀數的數位案例）上進行評分。
2. 培訓後進行類似的評估。 使用難度相同的不同案例，這樣才能衡量的是技能而非第一個答案的記憶。我們的指南 客觀測試機器操作員的故障排除技能 涵蓋案例建構方法和答案解析。
3. 轉帳支票。 詢問經過一段時間後，這種行為是否在實際工作中出現，例如，在維修主管對最近一次故障決策的審查中。

这 柯克派崔克模型 這是一個簡潔的流程圖：反應、學習、行為和結果。根據我們的經驗，專案通常會報告前兩個層面，然後提及第四個層面。而這四個層面之間的連結──即工作中的行為──往往缺乏充分的證據。有關一般情況，請參閱我們的指南。 衡量培訓效果，不僅限於課程完成情況.

關於認知需求的一點說明。診斷幾種病因中哪一種符合症狀是分析，判斷哪一種行動是合理的是評估。我們的指南 將學習活動與布魯姆分類法相匹配 解釋如何使測試與這些需求相符。使用布魯姆分類法來設計任務。不要用它來預測停機時間：測試中的更高層級是對任務要求的描述，而不是對工廠將遇到的情況的預測。

3. 將任務證據與操作資料連結起來

現在將這兩種證據並列比較。兩個數字足以說明問題：任務得分的變化和相應的停機時間的變化。

對於每項植物指標，在查看結果之前，請先定義四個面向。

1. 人口。 是哪條生產線、哪個班次、哪一台機器？整個工廠的停機時間數據並不能說明一個訓練有素的團隊的工作情況。
2. 分母。 每計畫運行小時的停車分鐘數，或每千次循環的停車次數，而非絕對總數。運轉時間翻倍的生產線，即使操作人員的技術水準沒有變化，停車時間也會更長。
3. 期。 訓練前後的時間長度相同，但訓練後的前幾週將單獨進行，以便人們適應新環境。
4. 源。 該數字的來源，例如維護日誌、機器本身的停機記錄或品質體系，以及所有者是誰。

選擇與技能水準接近的指標。 OEE（整體設備效率） 它綜合考慮了可用性、性能和品質。其可用性因子統計的是導致計劃生產中斷的事件，而其品質因子統計的是不符合標準的零件，包括返工。這些指標與本指南關注的兩大要素完美契合：停機時間和良率（合格品佔總產量的比例）。應專注於各個組成部分，而非單一的OEE值，因為故障排除課程更有可能解決計劃外停機問題，而非計劃內換型等問題，而平均值會掩蓋這些資訊。其性能因子還能捕捉到小規模停機和運行緩慢的情況，而這些情況在可用性數據中可能會被較短的停機時間所掩蓋。

然後，用一句你能站得住腳的話解釋這種合理的連結。例如：「如果操作員按照從便宜到昂貴的順序進行檢查，就能更快地解決小故障，因此我們預計包裝線上的計劃外停機時間會更短。」這是一個包含機制的假設。 「分數上升，停機時間減少」則是一種相關性，只有在排除其他可能的解釋後，這種相關性才會消失。

4. 考慮其他可能的解釋

仔細查看對比視窗中還有哪些變化。先從這個清單開始。

• 工藝或設備變更。 在我們的場景中，維護升級是最顯而易見的。其他升級方式還包括更換感測器、更改配方或使用新的薄膜或材料。
• 工作量和產品組合。 較安靜的場地或更簡單的產品可以在不改變技術水平的情況下減少停機時間。
• 人員配備。 新進員工入職、離職、加班和輪班模式變化都會導致停機時間延長。
• 政策與權力。 如果允許操作人員調查故障，僅此一項就能縮短停機時間。
• 測量值發生變化。 一種新的停車記錄方式可能會在一夜之間改變數據。

兩種設計方案很有幫助。 分階段推出 先訓練一行或一個班次，然後再訓練類似的一行或一個班次，這樣第二個班次在等待期間就起到了比較的作用。 匹配比較 將經過訓練的操作人員與未經訓練的操作人員配對，使用類似的機器和產品。但這兩種方法並非總是可行：生產線各不相同，人員輪換頻繁，而且工廠可能不希望為了測試而推遲培訓。如果兩種方法都不可行，請說明原因，並將結果作為合理的貢獻與其他變化並列報告，而不是作為效應量。

技術人員培訓研究顯示了這項任務的重要性。 Schaafstal、Schraagen 和 van Berlo 設計了一門課程，將通用故障排除策略與設備的功能分解相結合。在他們的評估中，接受過這種培訓的技術人員在更短的時間內解決了大約兩倍於接受傳統培訓的技術人員的故障數量（Schaafstal 等人，2000參與者是結構化評估中的技術人員，而不是帶有電線路的操作員，因此應將其視為衡量任務的原因，而不是期望達到的數字。

5. 報告結果並選擇下一步行動

每季以相同方式提交一份小表格。以下是一個結果欄位為空的佈局範例。這些單元格故意留空：人為捏造的效果量比沒有效果量更糟。

然後根據證據選擇下一步行動，這是在查看數字之前就已商定好的。

• 擴充 如果任務分數在未見過的案例中上升，則轉移檢查顯示生產線上的行為，並且工廠測量值朝著預期的方向移動，與比較或排除競爭解釋。
• 修改 如果分數上升了，但罰球行為卻沒有改變，這通常表示問題出在權威、工具或時間壓力上，而不是課程本身。
• 停止或重新考慮 如果分數沒有上升，或植物指標發生變化，但任務數據中沒有任何可以解釋這種變化。

採用簡單的三個標準評分規則，每項標準評分為 0 到 2 分，可以確保任務得分有意義。

錨點：0 表示缺失或缺乏支持，1 表示部分缺失但有相關遺漏，2 表示完整且符合既定標準。請單獨定義關鍵錯誤，例如不安全操作，以免良好的總分掩蓋此類錯誤。這只是一個建議的起點，並非經過驗證的準備就緒標準。我們的指南 評估訓練中的判斷力和問題解決能力 涵蓋校準評估員和編寫錨點。

互動式教學有助於

任務得分的好壞取決於背後的實踐水準。在引導式訓練中，您可以展示警報歷史記錄，要求每位操作員承諾他們會做的第一個檢查，然後展示檢查結果的分佈情況，並進行討論。之後，同樣的案例也可以由學員自主練習，並提出一個開放式問題，要求兩位評估員對理由進行評分。 AhaSlides 支援互動式學習，並可在直播和自主學習模式之間靈活切換。請將您計劃使用的任何創作、回饋或報告功能與自身的工作流程進行比對，並在驗證其運作情況之前，將模擬器、人工智慧和系統整合視為外部或未經確認的功能。如果您的課程也涵蓋警報驅動型工作，請參閱我們的指南。 培訓維修技術人員解讀預測性人工智慧警報 展示如何應用同樣的以任務為先的方法。

但這並不能解決什麼問題。

• 技能提高後仍然存在的限制。 缺少備件、沒有調查權限以及獎勵產量而非診斷的生產線，都會限制其效果。
• 小樣本。 一條橫線橫跨四分之一區域可以顯示出某種模式，但很少能確定原因。
• 傳輸速度慢。 技能可能需要數週的線路訓練才能在停靠數據中體現。
• 評估者傾向性偏差。 如果評估者停止比較，分數差距就會再次拉大。
• 基線資料缺失。 如果之前從未系統地記錄過停車信息，現在就開始記錄，並從那裡開始衡量。

儘早將這些問題告知贊助商，並商定由誰負責解決每個問題。

常見問題

什麼是製造業訓練效果評估？

它檢查培訓是否改變了任務績效，然後檢查停機時間和產量等工廠指標是否發生了變化，並使用支持這種聯繫的比較。

測驗分數能否預測停機時間？

不。評分反映的是操作員在安全操作中的能力。停機時間取決於許多其他因素，因此請將評分作為參考依據之一，並將其與工廠數據進行比較。

您應該採取哪些操作措施？

選擇與技能相關的指標，並明確整體、分母、週期和資料來源。每運轉小時的非計劃停機時間以及返工率是常用的出發點。

如何將培訓與流程升級區分開來？

與尚未訓練的類似生產線或班次進行比較，或分階段推廣。如果無法做到這一點，請在結果旁邊報告其他變更，並將其描述為合理的貢獻。

從哪兒開始

選擇一條線路和一個指標，例如每運轉小時的非計畫停機時間（分鐘）。記下下一季計劃的其他變更。請一位維修主管編寫一個基準故障案例和一個匹配的後續案例，並讓兩位評估員獨立對五個回饋進行評分。在他們意見不一致的地方修改評分標準，然後建立上述報告表格，表格欄位留空，並在收到證據後填寫完整。

要了解像這樣的故障案例如何即時運行並在之後按自己的節奏重複使用，請探索 AhaSlides.