评估培训项目：如何开展试点项目以衡量学习效果和工作场所迁移能力

试点项目结束了。十二人参与，几乎所有人都表示有用，项目负责人也很满意。然后运营主管提出了一个合理的问题：“有人改变了工作方式吗？” 试点项目开始前，没有人评估过员工的工作方式，也没有人将他们与其他员工进行比较，而团队在一个月内就改变了工作流程。试点项目带来的是好感，而不是实际效果。

这是一个示例性场景，并非已记录的客户案例。它展示了评估培训项目时常见的错误方式：试点项目虽然开展了，但其设计初衷并非为了解答某个问题。

本指南面向学习与发展部门负责人、教学设计师和培训经理。它涵盖五个步骤：确定试点问题、选择参与者和基准指标、记录学习过程、评估新任务的执行情况和迁移效果，以及确定结果如何影响推广。最后，指南提供了一个可供您修改的模板，并列出了需要注意的限制条件。

什么是训练飞行员？

试点项目是指在正式大规模推广之前，对学习设计进行小规模、限时的试运行。其目的是验证设计方案的可行性和价值，而不是证明其在所有情况下都有效。

这种区别很重要。美国国家补充与综合健康中心将试点研究描述为对将在更大规模中使用的方法和程序进行的小规模测试，并警告说，试点研究没有足够的样本量来回答有关疗效的问题，因此它所显示的任何效果都不稳定（NCCIH，试点研究：常见用途和误用这份指南是为健康研究编写的，但其中的逻辑同样适用。一个由12人组成的试点项目可以告诉你是否能够招募参与者、开展研究、评估结果并进行后续跟进。但它无法自信地告诉你，这种方法对整个组织的影响有多大。

要闻速览

1. 明确试点问题

首先提出一个可以用“是”或“否”或数字回答的问题，并说明这个问题将影响哪个决定。

一个不够严谨的问题：“新的入职培训计划有效吗？” 一个可以验证的问题：“经过重新设计的入职培训后，新员工能否在没有帮助的情况下处理标准的客户升级问题？在我们现有的辅导时间内，试点项目是否切实可行？”

写下三件事：

• 任务。 人们将能够做哪些以前做不到或以前做得不好的事情？
• 决定。 你们会修改设计方案、进行另一次试点还是更广泛地推广？
• 学习和交付假设。 您对试点项目应该测试的先决条件、时间、指导能力和工具有何假设？

如果你无法明确决策，就说明你还没有做好开展试点项目的准备。结果出来的时候，却没有人会立即采取行动。

2. 选择参与者和基线测量

基线数据是指人们在训练前完成任务的表现。如果没有基线数据，“进步”就无从比较。

精心挑选参与者。 选择那些真正执行任务且与你计划推广的目标群体相似的人员。仅由最热情的志愿者组成的试点项目会更好地展现设计效果。

获取基线数据。 使用与后续评估相同的方法，以便进行比较。可选方法包括简短的工作样本、结构化观察、近期产出回顾或评分案例。记录参与者、符合条件的人数以及评估时间。

想想对比一下。 最稳妥的设计方案是将参与试点项目的人员与未参与试点项目的类似人员进行比较。但这并非总是可行或公平的，尤其是在培训是为了安全或合规性目的时。分阶段推广是一种切实可行的替代方案：一组人员立即开始，另一组类似的人员稍后开始，后一组人员作为第一组的对照。无论您选择哪种方案，都应在计划中说明其对所有相关人员的公平性。

3. 交付并记录学习历程

只有了解交付内容，证据才有用。务必详细记录所有情况，因为交付的成本和工作量也是试点测试的内容之一。

记录：

• 准备。 人们在会议开始前做了什么，花了多长时间？
• 实践。 他们完成了哪些案例或练习，并获得了哪些反馈？
• 教练。 教练是谁？执教时长是多少？是实时执教还是异步执教？
• 运营变更。 试点期间发生的其他任何变化，例如新工具的引入、政策的改变、季节性高峰或经理的更换。
• 产品配置和成本。 您实际使用的设备配置，以及交付所需的时间和金钱。

最后两点对推广决策至关重要。如果一个设计方案只有在你无法大规模负担的指导下才能奏效，那么它已经教会了你一些宝贵的经验，而日志恰恰证明了这一点。

4. 评估新任务的表现和迁移

培训评估通常用柯克帕特里克模型的四个层次来描述：反应、学习、行为和结果（柯克帕特里克合伙公司飞行员应该超越第一层级。人们的反应，即他们是否觉得有用，虽然很容易收集，但却无法说明他们是否会改变做法。

测试学习新任务的效果。 给参与者一个他们之前没有练习过的案例，并使用与基线测试相同的评分标准进行评分。这项新任务旨在检验人们能否运用所学知识，而不是他们是否记得某个例子。

工作暴露后的后续跟进。 迁移是指将工作中学到的知识应用到实际工作中，并长期保持这种应用能力。鲍德温和福特在1988年发表的一篇经常被引用的评论文章中，将迁移定义为将所学知识推广到工作中并长期保持这种应用能力，并探讨了培训设计、受训者特征和工作环境如何影响迁移（Baldwin 和 Ford，1988 年因此，在人们实际完成工作后（例如几周后），计划进行后续跟进，并再次衡量同一任务。

打破纪录。 如果有人在工作中没有采用新方法，请询问原因。答案可能是缺少必要的工具、管理者坚持旧方法，或者时间不够。这些都反映的是工作环境的问题，而不是学习者的失败。

不要从满意度推断转移行为。 良好的反馈评分值得记录。但这并不意味着行为发生了改变。

5. 决定结果如何影响推广

在查看结果之前，先制定决策标准。否则，很容易找到理由，无论看到什么都照搬。

结构简单：

要诚实地评估小组的实际能力。将数字视为参考值，报告小组规模和分母，避免使用效果量或做出任何保证。在将效果归功于培训之前，请说明同时发生了哪些其他变化。

试点测量模板

仅供参考。从事这项工作的从业人员在使用前应先进行审核。

互动式教学有助于

交互式格式非常适合试点项目的练习阶段，因为每个人在看到小组答案之前都会先提交自己的答案，这样就能记录推理过程，而不仅仅是出席情况。主持人可以实时演示案例，也可以让参与者自主学习同一个案例进行准备或后续跟进。AhaSlides 支持交互式学习，并可在实时学习和自主学习之间灵活切换。请根据您自身的工作流程检查您计划使用的任何特定创作、反馈或报告功能，并在实际体验之前，将 AI、模拟和集成功能视为外部或未经确认的功能。要选择不同的格式，请参阅 何时使用自适应、交互式和实时学习为了将活动与您想要衡量的思维方式相匹配，请参阅我们的指南。 将学习活动与布鲁姆分类法相匹配.

可能存在的限制

即使是设计精良的试点项目也会留下一些未解决的问题：

• 数量很少。 试点项目展示的是可行性和方向，而不是大规模实施后会产生多大的影响。
• 工作环境。 即使人们在新任务上表现出色，但如果他们的经理、工具或激励措施指向相反的方向，他们仍然不会在工作中运用这项技能。
• 定时。 几周后的随访并不能显示六个月后的情况。
• 同时发生的变化。 同期发生的其他变化也可以解释部分改善情况。
• 选择。 志愿者可能与你实际接触的人群有所不同。

针对这些问题制定单独的解决方案，并告知赞助商飞行员未能解决哪些问题。

常见问题

训练飞行员应该有多高大？

样本量要足够大，以便测试设计方案是否易于实施和评估，同时又要足够小，以便于低成本地进行修改。没有一个绝对正确的样本量。请报告样本量，并将任何结果视为参考值。

评估培训项目是否需要设置对照组？

设立对照组可以增强证据的说服力，但这并非总是可行或公平的。一种切实可行的替代方案是设立基线，然后分阶段推广，让另一组类似的参与者稍后加入。

何时测量转移率？

在人们有时间和机会将所学知识应用到工作中之后（至少几周时间），再次评估同一项任务，并询问阻碍人们使用该任务的障碍是什么。

满意度是一个有用的衡量指标吗？

它有助于提升体验，但并不能证明技能迁移。需要结合新任务的表现来验证。

从哪儿开始

选择一项重要的任务，并写下试点项目将要参考的决策。通过简短的工作样本或评分案例，记录少数人目前如何执行这项任务。然后在试点项目开始前制定决策标准，并在日程安排中预留后续跟进日期。

要了解如何让实践案例在您的团队中实时运行，并在之后以自定进度重复使用，请探索 AhaSlides。