制造培训效果评估：如何衡量故障排除培训与停机时间和产量之间的关系

一家工厂在三月份为其机器操作员举办了一次故障排除培训课程。同年，维护部门完成了包装线的工艺升级。到了六月份，该生产线的非计划停机时间显著减少。工厂经理向培训经理提出了一个合理的问题：是不是那次培训课程起了作用？

这是一个示例场景，并非已记录的客户案例。不过，这个问题很常见。培训和运营变更往往同时发生，而数据无法区分究竟是哪一方促成了这些变更。本指南面向工厂培训经理以及与其合作的维护或质量负责人。它阐述了如何将观察到的故障排除能力与运营指标联系起来，如何客观地解读这种联系，以及需要报告哪些内容。案例、评分和阈值必须由设备所有者进行验证。

什么是制造业培训效果评估？

这种方法旨在检验培训项目是否提升了员工的工作能力，并进一步验证这种提升是否体现在停机时间和产量等运营数据中，同时采用可靠的对比方法来建立二者之间的联系。它结合了两种证据：任务绩效（操作员能否诊断故障？）和工厂指标（停机或废品率是否有所变化？）。它并不将其中一项指标的提升视为另一项指标提升的证明。

要闻速览

1. 明确结果和比较对象

课程开始前，写下三件事。

1. 决定。 这项分析能帮助人们做出什么决定：扩大项目规模、修改项目还是终止项目？一份没有附带任何决策的评估计划，最终生成的报告无人问津。
2. 干预措施和角色。 哪些操作员、技术人员和值班主管在培训范围内？他们具体接受过哪些培训？教导操作员阅读报警历史记录并首先检查成本低廉、安全性高的部件的故障排除培训，与教导技术人员调整传感器的培训是截然不同的。
3. 对比。 与什么相比？与他们自己的基准线相比，与尚未训练的队伍相比，还是与去年的同一条队伍相比？

此外，还有单独的成本。交付成本是指项目运行所需的成本：设计时间、协调员时间、工具等。运营成本是指工厂为此付出的成本：操作员停工、实验台闲置等。如果您打算讨论投资回报率，则两者都应纳入计算。 ROI研究所对其ROI方法论进行了描述这增加了一个步骤，用于在将结果转化为金钱之前，隔离项目的实际效果。你不必完全采纳这种方法，但它提出的问题是正确的。

2. 衡量实际任务

完成率和满意度评分反映的是交付情况。保留这些数据，将其标记为交付指标，但不要将其作为影响评估的证据。

与工厂相关的衡量指标是任务表现。使用课程目标技能的可观察证据：

1. 基线。 在培训之前，使用评分标准对每个操作员在安全故障案例（例如具有报警历史记录和他们可以要求的一些读数的数字案例）上进行评分。
2. 培训后进行类似的评估。 使用难度相同的不同案例，这样才能衡量的是技能而非对第一个答案的记忆。我们的指南 客观测试机器操作员的故障排除技能 涵盖案例构建方法和答案解析。
3. 转账支票。 询问经过一段时间后，这种行为是否在实际工作中出现，例如，在维护主管对最近一次故障决策的审查中。

此 柯克帕特里克模型 这是一个简明的流程图：反应、学习、行为和结果。根据我们的经验，项目通常会报告前两个层面，然后提及第四个层面。而这四个层面之间的联系——即工作中的行为——往往缺乏充分的证据。有关一般情况，请参阅我们的指南。 衡量培训效果，不仅限于课程完成情况.

关于认知需求的一点说明。诊断几种病因中哪一种符合症状是分析，判断哪种行动是合理的是评估。我们的指南 将学习活动与布鲁姆分类法相匹配 解释如何使测试与这些需求相匹配。使用布鲁姆分类法来设计任务。不要用它来预测停机时间：测试中的更高层级是对任务要求的描述，而不是对工厂将遇到的情况的预测。

3. 将任务证据与操作数据联系起来

现在将这两种证据并列比较。两个数字足以说明问题：任务得分的变化和相应的停机时间的变化。

对于每项植物指标，在查看结果之前，请先定义四个方面。

1. 人口。 是哪条生产线、哪个班次、哪台机器？整个工厂的停机时间数据并不能说明一个训练有素的团队的工作情况。
2. 分母。 每计划运行小时的停车分钟数，或每千次循环的停车次数，而非绝对总数。运行时间翻倍的生产线，即使操作人员的技术水平没有变化，停车时间也会更长。
3. 期间。 训练前后的时间长度相同，但训练后的前几周将单独进行，以便人们适应新环境。
4. 源。 该数字的来源，例如维护日志、机器自身的停机记录或质量体系，以及所有者是谁。

选择与技能水平接近的指标。 OEE（整体设备效率） 它综合考虑了可用性、性能和质量。其可用性因子统计的是导致计划生产中断的事件，而其质量因子统计的是不符合标准的零件，包括返工。这些指标与本指南关注的两大要素完美契合：停机时间和良率（合格品占总产量的比例）。应关注各个组成部分，而非单一的OEE值，因为故障排除课程更有可能解决计划外停机问题，而非计划内换型等问题，而平均值会掩盖这些信息。其性能因子还能捕捉到小规模停机和运行缓慢的情况，而这些情况在可用性数据中可能被较短的停机时间所掩盖。

然后，用一句你能站得住脚的话解释这种合理的联系。例如：“如果操作员按照从便宜到昂贵的顺序进行检查，就能更快地解决小故障，因此我们预计包装线上的计划外停机时间会更短。”这是一个包含机制的假设。“分数上升，停机时间减少”则是一种相关性，只有排除其他可能的解释后，这种相关性才会消失。

4. 考虑其他可能的解释

仔细查看对比窗口中还有哪些变化。先从这个列表开始。

• 工艺或设备变更。 在我们的场景中，维护升级是最显而易见的。其他升级方式还包括更换传感器、更改配方或使用新的薄膜或材料。
• 工作量和产品组合。 更安静的场地或更简单的产品可以在不改变技术水平的情况下减少停机时间。
• 人员配备。 新员工入职、离职、加班和轮班模式变化都会导致停机时间延长。
• 政策与权力。 如果允许操作人员调查故障，仅此一项就能缩短停机时间。
• 测量值发生变化。 一种新的停车记录方式可能会在一夜之间改变数据。

两种设计方案很有帮助。 分阶段推出 先训练一行或一个班次，然后再训练类似的一行或一个班次，这样第二个班次在等待期间就起到了比较的作用。 匹配比较 将经过培训的操作人员与未经培训的操作人员配对，使用类似的机器和产品。但这两种方法并非总是可行：生产线各不相同，人员轮换频繁，而且工厂可能不希望为了测试而推迟培训。如果两种方法都不可行，请说明原因，并将结果作为一项合理的贡献与其他变化并列报告，而不是作为效应量。

技术人员培训研究表明了这项任务的重要性。Schaafstal、Schraagen 和 van Berlo 设计了一门课程，将通用故障排除策略与设备的功能分解相结合。在他们的评估中，接受过这种培训的技术人员在更短的时间内解决了大约两倍于接受传统培训的技术人员的故障数量（Schaafstal 等人，2000参与者是结构化评估中的技术人员，而不是带电线路的操作员，因此应将其视为衡量任务的原因，而不是期望达到的数字。

5. 汇报结果并选择下一步行动

每季度以相同方式提交一份小表格。以下是一个结果字段为空的布局示例。这些单元格故意留空：人为捏造的效果量比没有效果量更糟糕。

然后根据证据选择下一步行动，这是在查看数字之前就已商定好的。

• 等级 如果任务分数在未见过的案例中上升，则转移检查显示生产线上的行为，并且工厂测量值朝着预期的方向移动，与比较或排除竞争解释。
• 修改 如果分数上升了，但罚球行为却没有改变，这通常表明问题出在权威、工具或时间压力上，而不是课程本身。
• 停止或重新考虑 如果分数没有上升，或者植物指标发生变化，但任务数据中没有任何可以解释这种变化。

采用简单的三项标准评分规则，每项标准评分为 0 到 2 分，可以保证任务得分有意义。

锚点：0 表示缺失或缺乏支持，1 表示部分缺失但存在相关遗漏，2 表示完整且符合既定标准。请单独定义关键错误，例如不安全操作，以免良好的总分掩盖此类错误。这只是一个建议的起点，并非经过验证的准备就绪标准。我们的指南 评估培训中的判断力和问题解决能力 涵盖校准评估员和编写锚点。

互动式教学有助于

任务得分的好坏取决于其背后的实践水平。在引导式培训中，您可以展示报警历史记录，要求每位操作员承诺他们会做的第一项检查，然后展示检查结果的分布情况，并进行讨论。之后，同样的案例也可以由学员自主练习，并提出一个开放式问题，要求两位评估员对理由进行评分。 AhaSlides 支持互动式学习，并可在直播和自主学习模式之间灵活切换。请将您计划使用的任何创作、反馈或报告功能与自身的工作流程进行比对，并在验证其运行情况之前，将模拟器、人工智能和系统集成视为外部或未经确认的功能。如果您的课程还涵盖警报驱动型工作，请参阅我们的指南。 培训维修技术人员解读预测性人工智能警报 展示了如何应用同样的以任务为先的方法。

但这并不能解决什么问题。

• 技能提升后仍然存在的限制。 缺少备件、没有调查权限以及奖励产量而非诊断的生产线，都会限制其效果。
• 小样本。 一条横线横跨四分之一区域可以显示出某种模式，但很少能确定原因。
• 传输速度慢。 技能可能需要数周的线路训练才能在停靠数据中体现出来。
• 评估者倾向性偏差。 如果评估者停止比较，分数差距就会再次拉大。
• 基线数据缺失。 如果之前从未系统地记录过停车信息，现在就开始记录，并从那里开始衡量。

尽早将这些问题告知赞助商，并商定由谁负责解决每个问题。

常见问题

什么是制造业培训效果评估？

它检查培训是否改变了任务绩效，然后检查停机时间和产量等工厂指标是否发生了变化，并使用支持这种联系的比较。

测试分数能否预测停机时间？

不。评分反映的是操作员在安全操作中的能力。停机时间取决于许多其他因素，因此请将评分作为参考依据之一，并将其​​与工厂数据进行比较。

您应该采取哪些操作措施？

选择与技能相关的指标，并明确总体、分母、周期和数据来源。每运行小时的非计划停机时间以及返工率是常用的出发点。

如何将培训与流程升级区分开来？

与尚未训练的类似生产线或班次进行比较，或分阶段推广。如果无法做到这一点，请在结果旁边报告其他变更，并将其描述为合理的贡献。

从哪儿开始

选择一条线路和一个指标，例如每运行小时的非计划停机时间（分钟）。记下下一季度计划的其他变更。请一位维护主管编写一个基准故障案例和一个匹配的后续案例，并让两位评估员独立对五个反馈进行评分。在他们意见不一致的地方修改评分标准，然后创建上述报告表格，表格字段留空，并在收到证据后填写完整。

要了解像这样的故障案例如何实时运行并在之后按自己的节奏重复使用，请探索 AhaSlides.