质量改进培训的投资回报率：如何量化行政改进项目带来的节省

一家医院的团队重新设计了理赔流程。他们对行政人员进行了新流程的培训，六个月后，每笔理赔的成本降低了。财务部门对此很满意，并询问具体数字：这次培训节省了多少成本？

诚实的答案比问题本身更难回答。在同样的六个月里，人员配置发生了变化，理赔量有所转移，而且一家支付方也修改了规则。部分节省来自流程重新设计，部分来自培训，还有一些则与上述因素无关。质量改进培训的投资回报率评估，就是将这些因素区分开来，并以一定的置信度报告剩余部分。

这是一个示例场景，并非已记录的案例。本指南面向医院学习与发展部主任以及与其合作的信息技术或合规负责人。指南内容包括如何定义比较对象、衡量实际任务、将证据与运营数据关联起来、排除其他解释以及如何在不夸大其词的情况下报告结果。

什么是质量改进培训的投资回报率？

质量改进培训的投资回报率 (ROI) 比较了与培训相关的改进项目的收益和成本。它考察的是，组织获得了哪些如果没有培训就无法获得的收益，以及这些收益是否值回培训和项目的成本。最常见的计算方法很简单：净收益（收益减去成本）除以成本，以百分比表示。

计算部分很容易，难的是确定哪些收益属于培训本身。ROI研究所推广五级评估框架，并将“分离项目效果”列为数据分析的一个步骤（ROI研究所其五个层级分别是反应、学习、应用、影响和投资回报率。满意度和完成度位于第一层级。它们是有用的交付指标，但并不能证明节省了成本。

要闻速览

1. 明确结果和比较对象

在收集任何数据之前，请先写下三件事：干预措施、受影响的角色以及分析必须支持的决策。“培训是否节省了资金？”这个问题过于笼统。“我们是否应该将理赔流程方案推广到第二个地点？”则是一个明确的决策，它能告诉你什么样的证据才足够。

然后将两种成本分开。 运输成本 涵盖设计时间、辅导员或教练时间、学员学习时间、材料和任何软件。 运营成本 涵盖流程本身的变化：新工具、修订后的程序、员工学习新方法期间的临时双轨运行。仅计算交付成本的培训投资回报率会使项目显得过于理想化。而将所有成本都计算在内的投资回报率或许才是改进项目的正确衡量标准，但对培训本身却不公平。请明确您要回答的问题，并在报告中加以说明。

员工时间值得重视。即使没有人开具发票，培训所花费的时间也是实实在在的成本，因此应按照财务合作伙伴认可的费率进行记录。

2. 衡量实际任务

这里的任务并非“参加培训课程”，而是学习者在工作中实际完成的任务，例如根据新的核对清单纠正索赔、按原因对拒付进行编码或记录异常情况。要用可观察的证据来衡量这些任务的完成情况。

1. 设定基线 训练前：对真实或类似的任务样本进行测试，并根据既定标准进行评分。
2. 进行类似的评估 训练后，使用难度相似的新任务，而不是学习者练习过的任务。
3. 保持完成度和满意度 作为交付指标，另行报告。

这就是任务证据发挥作用的地方。如果员工现在能够更准确地处理未见过的案例，那么培训与任何操作改进之间的联系就变得合理了。如果他们做不到，那么节省成本不太可能是培训带来的。有关与任务相关的写作练习和反馈的更多信息，请参阅我们的指南。 设计具有实用反馈的互动练习.

3. 将任务证据与操作数据联系起来

现在将任务证据与运营数据放在一起。对于每一项指标，记录四项内容：总体（包含哪些人群）、分母（每项索赔、每位员工或每月）、周期和数据来源。

行政改进项目中常用的衡量指标包括返工率、因可避免原因而被拒赔的比例、完成任务所需时间以及单笔交易成本。仅使用财务合作伙伴批准的单位成本将每项变更转换为货币。然后得出关键数据：

• 预计收益： 计量变化量乘以约定的单位成本。
• 培训带来的收益： 给出合理的百分比，而不是猜测，并写下理由。
• 净估算： 归因收益减去您决定计入的培训和项目成本。

将看似合理的关联视为合理的关联。培训后返工率下降与培训效果相符，但并不能证明培训确实有效。

4. 考虑其他可能的解释

仔细分析对比期间还有哪些其他变化。一份简短的清单会有帮助：

1. 工作量。 交易量是上升还是下降了？交易量较少的季度通常意味着错误也较少。
2. 人员配备。 是经验丰富的人离开了，还是加入的未经培训的新人？
3. 客户或付款方组合。 索赔类型是否发生了变化？
4. 流程或系统变更。 与此同时，工作流程方面还有其他变化吗？

尽可能使用对比。 匹配比较 看看一支类似的、但尚未接受过训练的队伍。 分阶段推出 这种方法几乎可以免费提供这种比较：后接受培训的团队可以作为先接受培训团队的对照组。但在医院里，这两种方法并非总是可行，因为医院里每个团队可能都需要同时进行调整，在这种情况下，你只能如实报告较低的置信水平。

2022 年发表在 BMC Health Services Research 上的一篇关于大规模医疗保健质量改进回报的综述在此很有帮助。该综述的作者对回报的定义很宽泛，指的是从质量改进中获得的任何货币或非货币价值，并指出结果相互关联且难以观察。他们建议评估对结果的贡献，而不是声称直接归因于质量改进，并将传统的投资回报率称为“质量改进价值的远端且不完整的指标”。Thusini等人，《BMC健康服务研究》，2022年这同样适用于行政项目。要汇报贡献的证据以及你对此的信心，而不是仅仅提供一个虚假精确的数字。

5. 汇报结果并选择下一步行动

一份可供财务委员会审议的报告只需一页即可。此示例布局特意将结果字段留空。请用您自己的数据填写，切勿使用借用的效果量数据。

事先确定每项行动的合理性。例如，当未见过的案例任务得分有所提高、运营指标朝着预期方向发展、其他解释得到验证且在谨慎假设下净估计值仍为正值时，您可以扩大项目规模。当任务得分提高但运营指标没有提高时，您可以调整项目，这表明存在培训以外的制约因素。当任务得分和运营指标均未提高时，您可以停止项目。在看到数据之前，务必与您的赞助方商定这些规则，以免结果决定评判标准。

通过一个实际例子进行分析

举例说明。财务合作伙伴和信息技术或合规负责人应在使用前验证案例和答案标准。

案子。 团队重新设计了理赔流程，同时人员配置和业务量也发生了变化。培训后的六个月内，返工率有所下降。同期，两名经验丰富的编码员离职，第二季度业务量略有下降。

任务。 学习者估算培训可以合理节省的成本，解释决定，引用证据，并指出仍然缺失的信息。

第一次尝试。 “返工率下降了，所以培训节省了全部成本。我将下降幅度乘以每次​​返工的成本，并将结果作为投资回报率。” 这种方法将所有功劳都归于培训，而忽略了其他方面的改变。

反馈并重试。 教练会询问还有哪些变化，受过培训的员工和未受过培训的员工之间是否存在差异，以及单位成本的来源。学员需要权衡利弊。

一次更有力的尝试。 “返工量减少了，但两名经验丰富的程序员离职，工作量也下降了，所以我不能把所有原因都归因于培训。未见过案例的任务得分有所提高，这支持了培训的贡献。我会报告观察到的节省、一个我可以解释的较低比例，以及一个中低置信度评级。为了提高置信度，我需要受过培训和未经培训的员工的返工数据，以及财务部门提供的单位成本。” 这段话区分了观察到的节省和实际节省，并说明了缺少哪些证据。

使用简单的评分标准评估能力

请对每个标准进行0到2分的评分：

评分标准：0 分表示缺失或缺乏支持，1 分表示部分缺失但存在相关遗漏，2 分表示完整且符合既定标准。请单独定义关键错误，例如将全部变化归因于培训而未核查其他原因，以确保总分不会掩盖此类错误。本评分标准仅供参考，并非已验证的准备就绪标准：请与实践者共同调整并进行试点。如需了解每项活动与其所需思考方式的匹配情况，请参阅我们的指南。 将学习活动与布鲁姆分类法相匹配.

互动式教学有助于

互动式形式有助于人们在听到答案之前就做出承诺。在直播课程中，主持人可以展示案例，让每个人写下他们认为培训带来的节省比例，然后展示结果分布，最后讨论估算结果差异的原因。同样的案例也可以进行自主学习，以便学员做好准备。AhaSlides 支持互动式学习，并可在直播和自主学习之间灵活切换。请将您计划使用的任何特定创作、反馈或报告功能与您自己的工作流程进行比对，并在实际体验之前，将人工智能、模拟器和系统集成视为外部或未经确认的功能。有关选择形式的指导，请参阅我们关于……的文章。 何时使用自适应、交互式和实时学习.

可能存在的限制

• 归因。 如果没有对照组，你只能估算出某个因素的贡献，而无法证明某个因素的原因。
• 时滞。 有些储蓄需要等待一段时间才能到账，时间太短可能会错过这些储蓄。
• 数据质量。 运营数据可能不完整，或者其定义可能在中途发生变化。
• 其他变化。 人员配备、业务量和付款方规则可能会掩盖少量培训效果。
• 转让。 训练案例中的表现与日常压力下的表现并不相同。

尽早向赞助商说明这些情况。培训可以提高人们的工作能力，但并不会改变工作环境。

常见问题

什么是质量改进培训的投资回报率？

它将与培训相关的改进项目的收益与其成本进行比较，通常以净收益除以成本来表示。关键步骤是确定培训能够合理地带来多少收益。

你能证明培训带来了成本节约吗？

很少见。匹配比较或分阶段推广能提供更有力的证据，但在大多数医院环境中，你只需报告合理的贡献和置信水平，而不是确凿的证据。

配送成本和运营成本是否应该合并计算？

请分别列示。交付成本指培训本身的费用。运营成本指更广泛的改进项目的费用。请说明您的投资回报率计算中使用的是哪一项。

满意度调查能证明节省了成本吗？

不。满意度和完成度是交付指标。节省成本需要任务证据和运营数据。

从哪儿开始

选择一个已有基线数据的改进项目。写出分析必须支持的决策，列出将要包含的成本，选择一个运营指标及其分母，并请财务合作伙伴审核单位成本。起草一份一页纸的报告，结果字段留空，并在数据到达之前商定好比例尺、修订或终止规则。

要了解这样的案例如何与您自己的团队一起进行实际操作，并在之后以自定进度重复使用，请探索 AhaSlides。