绩效评估标准：如何评估培训中的判断力和问题解决能力

两位培训师观看同一段录像，录像内容是一位新团队领导决定是否将客户投诉上报。第一位培训师给了她最高分：她保持冷静，并选择了合理的选项。第二位培训师只给了中等分：她没有解释自己选择该选项的原因，也没有说明自己有哪些知识盲区。两位培训师都经验丰富，而且都使用了同一份表格。两人都没有错，而这正是问题所在。表格并没有告诉他们应该关注哪些方面。

这是一个示例场景，并非已记录的客户案例。它说明了为什么判断力和问题解决能力难以评估：证据在于推理过程，而推理过程很容易被赋予不同的评分标准。

本指南面向需要制定一套能够有效论证的绩效评估标准（包括教学设计师、培训经理和学习与发展主管）的人员。指南涵盖五个步骤：明确证据、编写可观察的评估标准、描述绩效锚点、校准评估人员以及试用评估标准。最后，指南提供了一个实例并指出了评估标准的局限性。

什么是绩效评估标准？

表现性评价标准是针对学习者需要实际操作而非回忆的任务而设计的评分指南。它列出了重要的评价标准，描述了每个分数等级的含义，并为评价者提供了一个共同的评判依据。对于判断和问题解决能力的评估，任务通常是一个案例：学习者需要决定如何处理，解释其决定，并说明还需要了解哪些信息。

评分标准并非知识测试。记忆性测验可以确认某人是否掌握规则，而评分标准则考察他们在情况复杂多变时能否运用这些规则。

要闻速览

1. 明确绩效证据的定义。

先从任务入手，而不是从形式入手。写下学习者将面临的情境、他们必须做出的决定，以及合格的表现会展现出什么。要具体说明背景和限制：学习者拥有哪些权限，他们被告知了哪些信息，又有哪些信息是故意省略的？

一个有用的检验方法是询问观察者可以指出什么。“展现了良好的判断力”无法被指出。“说明适用的程序，指出一个缺失的事实，并说明会询问谁”则可以被指出。

如果你无法用简洁明了的句子描述证据，那么这项任务就无法评分。请先修改任务本身。任务描述含糊不清，即使评分标准看起来再完善，也必然含糊不清。

2. 写出可观察的准则

选择少量与学习目标相符的评价标准。对于判断力和问题解决能力而言，以下三个标准适用于多种角色：

• 任务执行。 学习者在权限范围内做出决定，并记录下选择及其背后的理由。
• 推理。 学习者解释了限制条件、替代方案以及仍然存在的不确定因素。
• 边界。 学习者遵循既定程序，并在信息或权限不足时寻求帮助。

将每项评价标准写成决策、解释或结果中体现的内容。避免使用描述特征的词语，例如“健全”、“成熟”或“良好”。两位评价者对这些词语的理解可能不同。

尽量减少评分标准的数量。每增加一项标准，评估者之间就可能产生分歧，学生也会因此而一味追求分数而非认真思考。如果某项标准不会改变你对结果的处理方式，那就去掉它。

3. 描述绩效锚点

锚点是对分数等级的简要描述。如果没有锚点，1分或2分的含义完全取决于评估者的主观判断。

对于初版来说，简单的三级量表通常就足够了：

针对每个标准，请简要举例说明 0 分、1 分和 2 分在你的任务中分别代表什么。尽可能使用练习中的真实措辞。抽象的描述容易演变成模糊的形容词。

严重错误需单独处理。 有些失误不应被平均化处理。例如，越权行事、忽视安全措施或违反合规限制等。应将这些失误与评分标准分开列出，并说明其后果：无论总分如何，严重错误都应记录在案并进行后续跟进。否则，学员可能在推理和界限方面得分很高，但其行为在工作中却是不可接受的。

4. 利用示例校准评估人员

评分标准本身不会评分。评估人员仍然需要解读评分标准，因此在对一组学生进行评分之前，请先进行校准。

1. 选择两到三个质量不同的示例回复。最好是飞行员的真实回复。
2. 在进行任何讨论之前，让每位评估员独立评分。
3. 比较分数，更重要的是，比较每个人引用的证据。
4. 如果分数存在差异，找出导致差异的措辞，并更改标准或锚点。
5. 使用新的例子重复上述步骤，直到评估人员因相同原因给出相同的分数为止。

目标是达成对评分标准的共识，而非为了达成一致而达成一致。如果两位评分者出于不同的原因给出相同的分数，那么评分标准仍然存在歧义。

研究结果如何？证据不一，因此要预料到可能会出现一些分歧，并对其进行评估。在2022年发表于《藤田医学杂志》的一项关于视频记录的临床检查的研究中，两位评分者对40个视频进行了评分。前10个视频的评分没有经过任何讨论，而后10个视频的评分则每次都根据评分标准进行讨论。使用加权kappa系数衡量的评分一致性从前10个视频的0.49上升到后10个视频的0.82（Watari 等人，2022 年这项研究规模很小，只针对一项考试任务，所以只能将其视为适度作息可能有所帮助的一个迹象，而不是一个承诺。

单靠培训也无法保证效果。2014 年一项针对 21 名评分员评估 242 名医学生的随机研究发现，简短的参考框架培训课程并没有显著提高单个评分员的准确性，尽管受过培训的评分员评分更严格，也更接近参考小组的评分。作者得出结论，绩效评估具有高度个体性（Weitz 等人，2014实际操作中，要不断用真实案例进行校准，在评分时检查一致性，不要以为一次简报会就足够了。

5. 试用并修订评分标准

在将该标准用于重要决策之前，先进行试点。

• 以小组学习者和两名或两名以上评估员的形式进行。
• 记录评估者意见不一致的地方，并要求每位评估者解释自己的评分。
• 检查评分标准是否区分了强项和弱项。如果所有学习者的得分都是 2 分，则说明任务或锚定条件太简单。
• 询问学习者评分标准让他们明白了什么，又让他们感到困惑了什么。
• 修改后，再用新案例进行试点。

要如实反映试点项目的结果。未经验证的评估标准只是一个工作草案，并非通用的认证标准，在由相关领域的从业人员审核并有证据表明其适用于目标人群之前，不应将其用于做出关乎人员福祉的重大决策。

一个实际案例：升级决策

举例说明。从事这项工作的从业人员在使用前应验证案例和答案标准。

案子。 一位顾客反映订单延迟，并要求全额退款。客服人员无需顾客批准即可提供一定金额的代金券。退款金额超出了代金券限额。经理两小时内无法联系。订单记录显示今年共有四笔订单。

学习者做了什么。 选择一个回应，解释你的决定，引用证据，并说明他们还需要哪些进一步的信息或支持。

推理得分为 1 分。 “我会提供退款，因为顾客很不满意。” 决定如此表态，但没有任何证据，既没有提及退款限额，也没有说明缺少什么。

推理得分为 2 分。 “未经批准，我不会超出限额退款。记录显示今年有四笔订单，所以这位客户很重要，但我还没有确认包裹的下落。我现在会提供限额内的信用额度，告知客户经理何时回复，并向承运商查询物流信息，以便尽快获得批准。”

一个严重的错误。 未经批准就发放退款，无论其他评分如何，都会被记录为严重错误，因为它超出了代理人的权限。

注意一下锚定者们的做法。开场时的两位评估者现在会关注相同的内容：决定、引用的证据、陈述的不确定性以及界限。

互动式教学有助于

互动式形式有助于练习和校准，因为每个人都会在看到小组答案之前先提交自己的答案。在实时课程中，主持人可以展示一个示例答案，要求每位评估者私下评分，然后在讨论之前公布评分结果。同样的案例也可以用于自主学习，以便进行准备。AhaSlides 支持互动式学习，并可在实时课程和自主学习之间灵活切换。请根据您自身的工作流程检查您计划使用的任何特定创作、反馈或报告功能，并在实际体验之前，将 AI、模拟和集成功能视为外部或未经确认的功能。有关选择不同形式的指导，请参阅…… 何时使用自适应、交互式和实时学习为了将活动与您想要评估的思维水平相匹配，请参阅我们的指南。 将学习活动与布鲁姆分类法相匹配.

衡量发生了哪些变化

预先确定哪些证据可以证明学习者能够完成任务。将学习者在新案例（之前未见过）上的表现与基准线进行比较，并考察其推理质量和决策结果。明确纳入哪些学习者、分母以及时间节点。如果分数有所提高，在确认培训效果之前，应检查同期是否还有其他变化，例如使用了新的工具或调整了工作内容。

可能存在的限制

即使是精心设计的规则也无法解决所有问题：

• 评估员时间。 校准和试运行需要时间，必须提前计划。
• 在实际工作中拥有权威。 学习者在练习中可能推理得很好，但仍然缺乏在工作中采取同样行动的权力。
• 案件承保范围。 一个案例只能代表一个决定。单一的分数并不能反映一个人的整体判断力。
• 转让。 在安全环境下的表现与在实际工作中的表现并不相同。适当暴露后，应检查转移情况。

针对这些问题制定单独的解决方案，并告知赞助商。评分标准能让评估更清晰、更公平，但并不能保证最终结果。

常见问题

评分标准和检查清单有什么区别？

核对清单记录某项任务是否完成。评分标准则从多个层面描述任务完成情况，因此更适合需要判断和解释的任务。

评分标准应该包含多少项评价指标？

通常只需要三到五个。选择那些符合学习目标的选项，并剔除那些不会改变你对结果处理方式的选项。

评分标准能否消除评分者之间的分歧？

不。它可以减少这种情况，尤其是在使用锚点和真实示例进行校准的情况下，但您仍然应该在评分和修改不清晰的措辞时检查一致性。

对于高风险决策，我是否应该使用评分标准？

只有在经过试点和相关领域从业人员的审核后，才能正式使用新的评分标准。在有证据表明该标准适用于您的学习者和任务之前，请将其视为草稿。

从哪儿开始

选择一项学员必须正确做出的决定。写下合格表现应体现的证据，选择三个评分标准，为每个标准拟定一个 0 到 2 分的评分锚点，并列出关键错误。然后让两位评估者独立对同一个例子进行评分，比较他们的证据，并在最终评分前修改措辞。

要了解如何让案例在您自己的团队中进行实时演练，以及之后如何以自学的方式再次使用，请探索 AhaSlides。