如何衡量课程结束后的培训效果

周一，一位培训经理打开了学习仪表盘。完成率达到96%，平均满意度为4.5分（满分5分）。这时，一位团队负责人提出了一个棘手的问题：“大家处理这些客户升级投诉的方式有什么不同吗？”仪表盘无法回答这个问题。它只记录了课程已完成，并没有记录工作上的任何变化。

这是大多数培训指标都无法弥补的缺陷。完成率只能告诉你谁到达了终点，却无法告诉你谁学会了技能、谁运用了技能，或者业务是否取得了进展。本指南提供了一套证据层级和一个单页的衡量计划，你可以将其应用于任何项目，而无需假装每个课程都需要进行完整的因果投资回报率研究。

以上开篇场景仅为示例，并非已记录的客户案例。

要闻速览

1. 明确数据应支持的决策。

在选择指标之前，先明确它将用于指导什么决策。以下三种常见决策需要不同的证据支持：

• 改进程序。 你需要知道学习者在哪些方面遇到了困难，因此项目级和任务级的结果比及格分数更重要。
• 确认准备就绪。 你需要证据证明一个人能够按照约定的标准完成一项特定的任务，通常是通过观察或评分任务来实现的。
• 评估推广效果。 你需要比较不同的组或时期，因此一致的衡量标准、分母和时间安排最为重要。

如果你无法确定数据支持哪种决策，那么你收集了所有数据却得出不了什么结论。一个简单的测试：如果结果不理想，你会采取哪些不同的措施？如果答案是“什么都不做”，那么这个指标就失去了存在的意义。

2. 根据目标衡量学习成果

从工作任务入手，而不是课程内容。将目标写成一个人实际会做的事情（例如“根据既定标准对升级投诉进行分类”），然后设计与之匹配的评估。卡内基梅隆大学埃伯利中心明确指出：评估、目标和教学活动应该相互促进，如果只评估事实记忆而教授分析技能，学习者就会练习错误的东西。埃伯利中心关于协调评估、目标和教学策略的指导).

实际上，这为您提供了三种设计选择：

1. 设定基线。 在训练前评估任务，或使用简短的诊断工具，以便了解每位学习者的起点。如果没有基线数据，训练后取得的好成绩可能仅仅反映了先前的技能水平。
2. 使用匹配的后续方法。 后续评估应使用新的案例而非练习过的案例，测试相同的任务和标准。重复相同的题目有助于记忆答案。
3. 将满意度单独列出。 学员的反馈有助于改进培训体验，但美国疾病控制与预防中心 (CDC) 在其培训评估指南中明确指出，学员满意度并不能决定培训是否有效 (美国疾病控制与预防中心，评估培训：衡量有效性）报告此事，但绝不能以此代替学习。

这里可以使用一个简单的三点评分标准。每个标准分别评分：0 分（缺失或缺乏依据）、1 分（部分完成，但遗漏了相关内容）或 2 分（完整且理由充分）。同时，请单独定义关键错误，以免总分掩盖严重缺陷。评分标准应与学科专家协商调整；您自行编写的评分标准仅供参考，并非经过验证的标准。

3. 评估工作暴露后的转移情况

在课程中学习和在工作中实际运用是两回事。美国疾病控制与预防中心（CDC）的指南将学习评估与学习迁移评估区分开来，后者考察的是学习者回到工作岗位后，如何成功地运用所学知识。

技能迁移证据需要时间。在学习者真正有机会运用该技能之后安排后续跟进，对于日常任务可能需要两周时间，而对于不常用的任务则可能需要几个月。然后，通过以下一种或多种方式收集证据：

• 观察或工作样本审查 采用与培训中使用的相同标准。
• 经理或同事的意见 使用具体的、基于行为的问题，而不是“他们是否有所改善？”。
• 系统证据 任务会留下痕迹，例如已填写的表格或已记录的案例。

记录障碍与记录结果同样重要。例如，学员在培训中能够完成任务，但在工作中却无法完成，可能是因为缺乏必要的工具、权限、时间或主管的支持。即使课堂上的任务表现有所提高，这些限制因素仍然存在，而且这些发现最有可能影响你接下来的决策。问问自己“是什么阻碍了你应用这项技能？”，并对答案进行分类。

4. 结合背景解读运营结果

诸如错误率、处理时间或解决率之类的运营指标之所以重要，是因为这些是组织真正关心的问题。但同时，这些指标也最容易被过度解读。

三个习惯让你保持诚实：

1. 使用相近的利率。 当数量发生变化时，统计数据会产生误导。应将错误率与一个特定的分母进行比较：每百例错误率，而不是总错误率。
2. 列出其他可能的解释。 季节性因素、新工具的启用、人员变动或政策更新都可能导致同一季度内同一数字发生变化。在查看结果之前，请先将这些因素记录下来。
3. 请说明这是哪种类型的索赔。 如果受过培训的员工比未经培训的员工表现更好，这只是观察到的关联。要得出因果结论，则需要设计一个能够排除其他可能性的实验方案，例如设置对照组或分阶段推广。大多数项目不需要如此严谨的设计，因此可以直接说明：“结果朝着我们预期的方向发展；以下是其他变化。”

避免仅凭培训就承诺投资回报。请报告您的观察结果、背景以及局限性。

5. 制定切实可行的测量计划

将数据按项目整理成一个表格。每一行代表一个数据必须回答的问题。

示例（仅供参考，不显示结果）

想象一下这样一个程序，旨在帮助客户支持人员处理升级投诉。其核心思想是：在客服人员独自处理升级投诉之前，确认他们已做好准备。

请注意其中缺失的内容：没有承诺具体的提升百分比，也没有声称单靠训练就能取得最终的成绩。该计划旨在引导你收集真实的数据，而不是寻找某个特定的答案。

互动式和自适应式交付方式的适用场景

当学习本身产生证据时，评估就更容易了。互动活动，例如评分案例题、情景投票和简短的知识测试，可以在培训期间提供每位学习者和每个项目的具体数据；自适应学习可以根据学习者的表现来安排学习路径。混合式教学设计结合了实时课程和自主学习，让学习者可以自主安排时间进行诊断测试，实时练习案例并获得反馈，以及异步完成后续复习。

这些功能支持您计划中第一行和第二行的内容。它们并不能取代转移和结果行，因为转移和结果行取决于实际工作情况。在最终确定设计方案之前，请务必通过演示来确认您需要的具体报告和创作功能，并且在看到任何外部工具或集成正常工作之前，请将其视为与核心工作流程分离的独立组件。

用你自己的程序试试

请填写您目前正在运行的一个项目的六字段计划，从它应该支持的决策开始。

要了解如何在实时或自主学习课程中记录您计划中的学习成果，请探索 AhaSlides。

常见问题

什么是培训效果指标？

这些指标用于判断培训是否达到了预期目的。一套有效的指标体系应涵盖学习目标的达成情况、技能向工作岗位的迁移应用，以及结合实际工作情境解读的运营成果，而不仅仅是完成情况和满意度。

完成率是一个有用的指标吗？

它有助于追踪参与情况和发现访问问题。但它无法证明任何人学习或应用了某项技能，因此需要将其与评估和后续跟进相结合。

训练后多久应该测量迁移效果？

时间要足够长，以便学习者有真正的机会运用这项技能。日常任务可能需要几周时间，而罕见任务则需要更长时间。在培训开始前，请在计划中设定好时间窗口。

我需要证明每门课程的投资回报率吗？

不。要将证据与决策相匹配。许多项目只需提供学习和转化证据以及结合实际情况的运营成果报告即可。只有在项目设计允许的情况下，才应在高风险或高成本的项目中进行因果分析。