独立診療への準備状況は、1つのスコアではなく、複数の観察されたパフォーマンスに基づいて判断されます。あるシミュレーション症例では良い成績を収めたものの、別の症例では一貫性のない成績だった研修医は、何かを教えてくれたとしても、それだけでは十分ではありません。このガイドは、医学教育責任者および研修プログラム責任者を対象としています。評価対象となる観察可能なタスク、馴染みのない代表的な症例、アンカー付きの観察可能な基準、評価者の調整方法、および結果の活用方法という5つの決定事項を取り上げています。これは評価設計に関するものであり、臨床指導ではありません。独立診療の承認は、所属機関独自のプロセスに従い、使用前に所属プログラムの専門医が症例と評価基準をレビューする必要があります。
研究が示していること、そして示していないこと
知っておくべき2つの発表された方法がある。2005年にten Cateは提案した。 委任可能な専門的活動: 監督者が観察された能力に基づいて、研修生が監督なしで実行できると判断する作業単位。1997年、マーティンらは次のように説明した。 客観的構造化技術スキル評価 (OSATS)は、外科研修医向けに、タスク固有のチェックリストと包括的な評価尺度を組み合わせたものです。
どちらも評価の枠組みを説明するものであり、特定の候補者が適任であることを示すものではなく、専門家による監督に取って代わるものでもありません。これらを参考に評価基準を策定し、その後、独自の評価者でその基準を検証してください。
クイック事実
| メッセージ | 簡潔な答え |
|---|---|
| あなたは何を判断しているのですか? | 複数のパフォーマンスを観察した結果に基づく、準備状況。 |
| シミュレーターのスコアはいくつですか? | これはあくまで一つのデータポイントであり、独立開業の認可を意味するものではありません。 |
| 基準を実用的なものにする要素とは何か? | 観察可能な行動例と、不十分な作業、発展途上の作業、熟練した作業の例。 |
| スコアの信頼性を高める要素は何ですか? | 評価者はそれぞれ独立して採点を行い、その後、証拠を比較する。 |
| 得点を避けるべき点は何ですか? | 自信か、それともスピードか。 |
| 何が決定できないというのか? | 承認。それは貴機関独自のプロセスに委ねられています。 |
1. 評価対象となるパフォーマンスを定義する
観察可能なタスクを明記してください。複数の観察されたパフォーマンスから準備状況を判断します。スコアを定義する前に、役割、コンテキスト、および権限の範囲を明記してください。「独立した能力」は、ある手順、ある環境、およびある監督レベルにおける研修医と、別の研修医における独立した能力とは意味が異なります。研修医が何を、誰と行うように評価されているのか、そして準備が整っていると判断された場合に何が起こるのかを書き留めてください。 学習活動をブルームの分類法に合わせる 分析が必要なタスクと判断が必要なタスクを区別するのに役立ちます。
2. 馴染みのない、代表的なタスクを選択する
研修生がまだ練習していない事例、例えば、実際の事例とは異なる2つ目の模擬事例を選んでください。それが実際の業務をどのように反映しているのか、また、どのような点が不明瞭なのかを説明してください。馴染みのない事例を1つだけ見れば、スキルが応用できるかどうかは分かりますが、あらゆるバリエーション、あらゆるチーム、あらゆる複雑な状況を網羅することはできません。だからこそ、意思決定は1つの事例ではなく、複数の事例と時間軸にわたって観察された複数のパフォーマンスに基づいて行われるのです。
3. 観察可能な基準とアンカーを記述する
評価基準は、事例間のパフォーマンスの一貫性と評価者間の合意という2つの点に基づいて構築します。各評価項目が行動面でどのようなものかを記述します。例えば、ある基準については以下のように記述できます。
- 弱い(0)。 繰り返し指示を与える必要がある、手順を飛ばしてしまう、または選択理由を説明できない。
- 開発中(1)。 作業を完了する際に、漏れがあったり、ケースごとに品質にばらつきがあったりする。
- 熟練(2)。 タスクを完了し、選択肢を説明し、ケースのバリエーションに対応します。
自信やスピードだけに基づいて採点するのは避けましょう。自信のある人でも間違えることがありますし、動作が遅い人でも慎重すぎる場合があります。これらの特性は採点の根拠にはなり得ますが、実際に行われた作業の証拠に取って代わるものではありません。マーティンらが提唱する、タスクごとのチェックリストと総合評価を併用する構造は、評価者が各ステップと全体的な品質を区別するのに役立つのであれば活用しましょう。
4. 評価者の能力を検証し、パイロットテストを実施する。
キャリブレーションとは、スコアを比較可能にするプロセスです。
- 独立して採点する。 2人以上の評価者が、会話をせずに同じ録画または観察された事例を採点する。
- 証拠を比較してください。 それぞれに、その点数に至った理由を説明してもらいましょう。意見の相違は、たいてい曖昧な基準に起因するものです。
- 基準を改訂する。 文言を書き直すか、例を追加し、新しい例に点数を付けてください。
- 少人数グループのパイロット。 意思決定に用いる前に、数人の同僚に評価を依頼し、評価者間で意見の相違がないか確認しましょう。
専門家による監督体制について説明してください。境界線上の結果を審査するのは誰で、最終決定権は誰にあるのでしょうか。
フィードバックと再試行を含む作業済みケース
例示です。使用前に、研修プログラム責任者と外科専門医が症例と解答基準を検証する必要があります。
ケース。 ある研修医は、あるシミュレーション事例では優れた成績を収めたが、別の事例では成績が不安定だった。
その任務。 裁判官の準備状況。判決理由を説明し、証拠を挙げ、さらに必要な情報を述べてください。
最初の試み。 「彼は最初のケースで高得点を取ったので、準備は万端だ。」審査員は、2番目のケースで何が起こったのか、評価は何回のパフォーマンスに基づいているのか、そして2人の審査員の意見は一致したのかを尋ねる。学習者はこれらの質問のどれにも答えられない。
フィードバックと再試行。 レビュー担当者は、高評価の点数が1つだけであったことを結論として扱い、矛盾点を無視したと指摘しています。学習者には再考を求めます。
より強力な試み。 学習者は、2つの事例では不十分であると述べ、2つ目の事例に矛盾があることを指摘し、何が異なっていたのかを尋ねた。そして、3つ目の馴染みのない事例におけるさらなる観察、独立した2人目の評価者、そして問題が生じた手順に焦点を当てた準備を提案した。学習者は、現時点では準備完了の判断を下すことはできないとし、評価者の証拠、監督プロセス、そしてプログラムにおける独立実践の定義がまだ必要だと述べた。
それぞれの回答が妥当である理由、あるいは不完全である理由。 審査は、審査員の個人的な好みではなく、承認された基準に基づいて行うべきである。最初の試みでは、1つのスコアを承認の根拠としているが、これは重大な誤りである。2番目の試みでは、複数の演奏を用い、証拠と推論を区別し、判断の限界を明示している。
5. 結果をフォローアップに活用する
観測されたギャップから次のステップを選択してください。
- 的を絞った準備 概念や手順が欠けていた場合。
- インタラクティブな練習 スキルは持っているが、一貫性がない場合。
- 指導付きコーチング その人が実際の仕事でフィードバックを必要としているとき。
再評価を計画し、その結果では何ができないかを明記してください。準備状況の評価とは、ある時点において、観察された事例について、関与した評価者によるパフォーマンスを説明するものです。
| 基準 | 0:存在しないか、サポートされていない | 1:部分的、省略あり | 2:完全かつ正当な |
|---|---|---|---|
| タスクの実行 | 審査員の準備状況は1点から判断できる。 | 複数のスコアを比較せずに使用する。 | 複数の公演を審査員が観察し、証拠を記録する。 |
| 推論 | 理由は何も説明しない。 | 矛盾点を指摘せずに理由を説明する。 | 代替案、制約、不確実性について説明する。 |
| 境界 | スコアを認証として扱う。 | 計画なしに制限事項を書き留める。 | 承認された手順に従い、証拠が不十分な場合は専門家の意見を求める。 |
この評価基準はあくまでも出発点となる提案であり、検証済みの準備基準ではありません。重大なエラーは個別に定義し、例えばシミュレーターのスコアを独立実習の承認として提示するなどしてください。総合スコアで重大な失敗を隠蔽してはなりません。
プロセスを確認するには、ベースラインと未確認のフォローアップタスクを比較します。パフォーマンスの一貫性と評価者間の合意度を測定します。トレーニングを開始する前に、対象集団、分母、およびタイミングを定義し、トレーニングの効果を評価する前に、新しい症例構成や評価者の変更など、同時発生的な変化がないかを確認します。
インタラクティブな配信が役立つ場面
インタラクティブな形式は、キャリブレーションの段階で役立ちます。ライブセッションでは、例を示し、各評価者に個別にスコアを提出してもらい、その後、結果のばらつきを表示してから証拠について議論することができます。自己ペースでの実施は、基準の見直しや前提条件の確認を事前に行うのに適しています。 AhaSlidesチームや教室向けのオールインワン型エンゲージメントプラットフォームである は、インタラクティブな学習と、ライブ配信および自己ペース配信の両方をサポートします。 を利用する前に、ご自身のワークフローでどのようにキャリブレーションを実行するかを確認してください。
能力評価では解決できないこと
- 独立の定義が曖昧だ。 それがなければ、スコアを比較する基準がない。
- 観測数が少なすぎる。 1つか2つの事例だけでは一貫性を示すことはできない。
- 校正を全く行わない評価者。 合意は自然に生じるものではない。
- 証拠には限界がある。 上記の2つの資料は、あなたの研究員にとっての結果ではなく、方法について述べているものです。
よくある質問
外科手術能力評価とは何ですか?
研修医が、定められた基準に対する観察されたパフォーマンスに基づいて、定められた外科手術を貴プログラムが要求する基準で遂行できるかどうかを判断する。
シミュレーターのスコア1つだけで、準備状況を判断するのに十分だろうか?
いいえ。それはあくまで一つのデータポイントに過ぎません。準備状況の判断は、複数の実績データと、貴機関が承認したプロセスに基づいて行われます。
OSATSとは何ですか?
客観的構造化技術技能評価(OSAT)とは、タスク固有のチェックリストと包括的な評価尺度を組み合わせた手法である。
評価者間の意見の一致をどのように確認しますか?
彼らに同じ例をそれぞれ独立して採点させ、それぞれの根拠を比較し、意見が異なる基準があれば修正させる。
誰が事例と評価基準を審査すべきでしょうか?
外科専門医と研修プログラム責任者が、採点を行う前に審査を行います。
どこから始めれば
手順を1つ選び、観察可能なタスクを記述する。馴染みのない症例を2つ選び、2人の評価者にそれぞれ独立して採点してもらい、その評価結果を比較する。評価結果に意見の相違がある場合は、基準を修正し、採点結果を意思決定に用いる前に、数名の研修医で試験的に実施する。
キャリブレーションセッションをライブまたは自己ペースで実行する方法を確認するには、以下をご覧ください。 AhaSlides.








