判断学员是否具备独立执业能力,需要基于多次观察表现,而非单一分数。如果一位学员在某次模拟病例中表现出色,而在其他病例中表现不稳定,这固然能说明一些问题,但信息量还不够。本指南面向医学教育主任和住院医师项目负责人,涵盖五项决策:评估的观察任务、选择具有代表性的陌生病例、制定带有参考标准的观察标准、如何校准评估人员以及如何运用评估结果。本指南侧重于评估设计,而非临床指导。独立执业的授权流程由各机构自行制定,且项目专家应在使用前审核病例和评分标准。
这项研究说了什么,没说什么。
有两种已发表的方法值得了解。2005年,ten Cate提出了 可信赖的专业活动:主管根据观察到的能力,决定受训者可以在无人监督的情况下完成的工作单元。1997年,Martin及其同事描述了…… 技术技能客观结构化评估 (OSATS),它将针对特定任务的检查清单与外科住院医师的总体评分标准相结合。
两者都描述了如何构建评判体系。两者都不能表明某个特定学员已准备就绪,也不能取代专家的监督。你可以利用它们来制定你的评判标准,然后用你自己的评估人员来检验这些标准。
要闻速览
| 问题 | 简答 |
|---|---|
| 你在评判什么? | 根据多次观察表现判断的准备情况。 |
| 什么是模拟器单次得分? | 仅提供数据点,并不代表可独立执业。 |
| 是什么让评价标准变得可用? | 可观察的行为,并举例说明较弱、发展中和熟练的工作表现。 |
| 是什么让评分值得信赖? | 评估人员独立评分,然后比较证据。 |
| 哪些情况应该避免得分? | 单凭自信或速度。 |
| 还有什么它无法决定的? | 授权。这是你们机构自身流程的一部分。 |
1. 明确评估的绩效指标
明确可观察的任务:根据多次观察到的表现来判断是否准备就绪。在定义分数之前,请明确角色、情境和授权范围。“独立胜任能力”对于同一名学员在不同的程序、环境和监督级别下所代表的含义可能有所不同。请写下学员接受评估的内容、合作对象以及如果被判定为准备就绪将会采取的措施。我们的指南将…… 将学习活动与布鲁姆分类法相匹配 帮助你区分需要分析的任务和需要判断的任务。
2. 选择一项不熟悉的、具有代表性的任务
选择一个学员未曾排练过的案例,例如第二个模拟案例,该案例与第一个案例的不同之处在于它更贴近真实案例的运作方式。解释该案例如何体现实际工作,以及它无法揭示哪些方面。一个陌生的案例可以展现技能是否能够迁移,但它无法涵盖所有变化、所有团队或所有复杂情况。因此,最终的评估应基于对学员在不同案例和不同时间段的多次观察,而非仅基于一次评估。
3. 制定可观察的标准和锚点
围绕两点构建评价标准:案例间表现的一致性以及评估者之间的一致性。详细描述每个分数对应的行为表现。例如,对于某个评价标准,您可以这样描述:
- 弱(0)。 需要反复提示,漏掉某个步骤或无法解释自己的选择。
- 发展中(1)。 完成任务时存在遗漏或质量不一致的情况。
- 熟练(2)。 完成任务,解释各种选择,并处理案例中的各种变化。
避免仅根据自信程度或速度来评分。自信的人也可能出错,速度慢的人也可能谨慎。这两种特质都可以作为评分的参考,但不应取代对实际工作内容的考量。如果马丁及其同事描述的评分结构(即在总体评分旁附上针对特定任务的检查清单)有助于评估人员区分步骤和整体质量,则可以采用这种方法。
4. 校准评估人员并开展试点
校准是指使分数具有可比性的过程:
- 独立评分。 让两名或两名以上的评估员在不交谈的情况下对同一个录制或观察到的例子进行评分。
- 对比证据。 请每个人说明他们观察到的导致评分的结果。分歧通常源于评判标准不够明确。
- 修改评判标准。 改写措辞或添加示例,然后对新示例进行评分。
- 小型团队的飞行员。 在将其用于决策之前,先与几位同事进行评估,并检查评估者是否仍然存在分歧。
描述专家监督机制:谁负责审核临界结果,谁拥有最终决定权。
一个经过处理、包含反馈和重试的案例
仅供参考。住院医师项目负责人和外科专家应在使用前验证病例和答案标准。
案子。 一名研究员在一个模拟案例中表现出色,但在另一个模拟案例中表现不稳定。
任务。 做好评判准备。解释你的决定,引用证据,并说明你还需要哪些信息。
第一次尝试。 “这位学员在第一个案例中得分很高,所以他们准备好了。”一位评审员询问第二个案例的情况,评判依据是多少次表演,以及两位评估员的意见是否一致。学员对这些问题都答不上来。
反馈并重试。 审阅者指出,一个高分被当作最终结论,而前后矛盾之处却被忽略了。要求学习者重新考虑。
一次更有力的尝试。 学员指出两个案例不足以说明问题,并注意到第二个案例前后不一致,询问具体差异之处。他们建议对第三个不熟悉的案例进行进一步的观察,并安排一位独立的第二位评估员,同时针对出错的步骤进行有针对性的准备。他们表示目前不建议做出合格的决定,并指出他们仍然需要:评估员的证据、监督流程以及课程对独立实践的定义。
解释每种回应的合理性或不足之处。 评判应依据既定标准,而非评判者的个人偏好。第一种做法将单一分数视为最终定论,这是个严重错误。第二种做法则采用多场演出,区分证据与推断,并明确指出评判的局限性。
5. 利用结果进行后续跟进
根据观察到的差距选择下一步步骤:
- 针对性准备 当缺少某个概念或步骤时。
- 互动练习 技术具备但发挥不稳定。
- 督导式辅导 当员工在实际工作中需要反馈时。
计划重新评估,并说明结果不能做什么:准备情况判断描述了在某个时间点,评估人员在观察到的案例中的表现。
| 标准 | 0:缺失或不支持 | 1:部分,有遗漏 | 2:完整且合理 |
|---|---|---|---|
| 任务执行 | 裁判根据一个分数判断准备情况。 | 使用多个分数而不进行比较。 | 法官根据多次观察的表演和记录证据做出判断。 |
| 推理 | 没有给出理由。 | 给出了理由,但没有指出矛盾之处。 | 解释了各种方案、限制条件和不确定性。 |
| 边界 | 将分数视为授权。 | 没有计划,笔记就会受到限制。 | 采用已批准的流程,并在证据不足时寻求专家意见。 |
本评分标准仅为建议的起点,并非经过验证的准备就绪标准。请单独定义关键错误,例如,可将一次模拟器得分作为独立练习的授权。总分绝不能掩盖任何关键失败。
为了检验流程,请比较基线任务和未见后续任务。衡量绩效一致性和评估者之间的一致性。在开始之前,请明确人群、分母和时间安排,并在确认培训效果之前,留意是否存在任何同期变化,例如新的病例组合或评估者变更。
互动式教学有助于
互动式形式有助于校准步骤。在实时会议中,您可以展示一个示例,并要求每位评估员私下提交分数,然后在讨论证据之前展示分数分布情况。自主学习模式则适合事先进行标准审查和前提条件检查。 AhaSlides,一个面向团队和课堂的一体化互动平台,支持互动式学习以及直播和自主学习两种模式。在使用前,请先检查如何在您的工作流程中运行校准程序。
能力评估无法解决的问题
- 对独立性的模糊定义。 如果没有基准,分数就无从比较。
- 观测数据太少。 一两个案例不能证明其一致性。
- 从不进行校准的评估人员。 协议不会单独出现。
- 证据有限。 以上两个来源描述的是方法,而不是结果。
常见问题
什么是外科手术能力评估?
根据观察到的表现与既定标准进行对比,判断受训人员是否能够按照贵机构要求的标准完成规定的外科手术任务。
一次模拟器测试得分足以判断战备状态吗?
不,这只是一个数据点。准备情况的判断取决于多项观察到的表现以及贵机构批准的流程。
什么是OSAT?
技术技能客观结构化评估(OSAT)是一种将特定任务清单与整体评分标准相结合的方法。
如何核实评估人员的意见是否一致?
让他们独立对同一个例子进行评分,比较他们的证据,并修改任何存在分歧的标准。
谁应该审核案例和评分标准?
在任何人评分之前,先由一位外科专家和住院医师项目负责人进行评估。
从哪儿开始
选择一种操作流程,并编写可观察的任务。选择两个不熟悉的案例,让两位评估者分别独立评分,并比较他们的评分结果。如果评分结果存在分歧,则修改评分标准,然后在正式使用评分结果之前,先与几位同事进行试点。
要了解校准课程如何实时或自主进行,请探索 AhaSlides.








