AI画像セグメンテーションと自動ラボフラグを検証するための診断技術者のトレーニング方法

アイテムが見つかりません。
Blog サムネイル画像

技術者は、習慣的に自動出力を信頼したり疑ったりするのではなく、証拠と照らし合わせて確認するように訓練されている場合に、自動出力を適切に検証します。このガイドは、診断サービス責任者、検査室または放射線科の教育者を対象としています。パフォーマンスの問題の説明、ギャップの診断、実践の設計、例題の実施、および移転の評価という5つのステップを網羅しています。これはトレーニングの設計に関するものであり、製品やその精度に関するものではありません。フラグの処理方法は、承認された手順によって決定され、検査室または放射線科の教育者は、使用前にすべてのケースを記述し、検証する必要があります。

研究が示していること、そして示していないこと

ゴダード、ラウドサリ、ワイアットによる体系的なレビューでは、 自動化バイアス自動化された提案に、他の証拠が反対の方向を示している場合でも従ってしまう傾向。また、どのような要因がそのバイアスの発生確率を高めたり低めたりするのかも検討しており、研修設計者が参考にできる情報を提供している。

この資料は、自社のチームのトレーニング方法については何も説明しておらず、特定のツールについても何も触れていません。まずは事例を作成する際に参考にし、その後、自社のスタッフでトレーニングをテストしてみてください。

クイック事実

メッセージ簡潔な答え
その任務は何ですか?自動画像セグメンテーションや検査機関のフラグを証拠と照合する。
主なリスクは何ですか?自信に満ちたように見えるという理由だけで出力結果を受け入れるか、習慣的に拒否するか。
練習を役立つものにするには何が必要か?非公開の事例、論理的な回答、そして決定に関連するフィードバック。
スコアの信頼性を高める要素は何ですか?評価者はそれぞれ独立して採点を行い、その後、証拠を比較する。
得点を避けるべき点は何ですか?ツールとの合意は、どちらの方向でも構いません。
何が決定できないというのか?ツールの正確性は、検証プロセスによって決まります。

1. パフォーマンス上の問題点を説明する

まず状況を説明します。自動フラグが画像コンテキストまたはサンプル情報と矛盾しています。次に、担当者が行うべきことを説明します。セグメンテーションフラグまたはラボフラグを証拠と照合し、次に何をすべきかを決定します。すべてのフラグに従う技術者と、直感でフラグを無視する技術者では、対応が異なります。サービスがどちらのフラグをいつ認識するかを説明します。

2. 学習と状況のギャップを診断する

必要なタスクを現在の活動や評価と比較してください。スタッフがベンダーのデモンストレーションでツールを学び、ボタンの位置で評価される場合、彼らは操作を練習するだけで、出力を確認する判断力を養うことはできません。 学習活動をブルームの分類法に合わせる 2つを区別するのに役立ちます。トレーニングを処方する前に、他の原因を確認してください。作業負荷、出力の表示方法、スタッフがそれを上書きすることが期待されているかどうか、エスカレーション経路が明確かどうかです。 機械による人工的な結果と真の発見を見分ける 関連するスキルを網羅しています。

3. 目的意識を持った準備と練習を計画する

3層構造を計画する:

  • 準備。 前提条件を簡単に自己確認します。利用規約、サービスのフラグルール、エスカレーション手順を確認してください。リコールチェックでは、前提条件のみを確認します。
  • ブラインドケース訓練。 画像または結果にフラグを付けて表示し、それを受け入れるかどうか、そしてその理由を尋ね、その後、決定に関連したフィードバックを提供します。フラグが正しい場合と正しくない場合を、どちらが正しいかは明示せずに混ぜて表示します。
  • 価値を生み出す場面でのリアルタイムな意見提供。 先輩同僚が曖昧な事例について解説する。明確な事例であれば、非同期レビューで十分だ。

フィードバックと再試行を含む作業済みケース

例示。使用前に、臨床検査技師または放射線技師の教育者が症例と解答基準を作成し、検証する必要があります。

ケース。 自動フラグにより​​、サンプル結果は正常と判定されます。サンプル情報には、患者の治療内容に最近の変更があったこと、および同じ患者の以前の検査結果が通常範囲を大きく逸脱していたことが記載されています。

その任務。 どうすべきかを決めてください。その決定理由を説明し、根拠となる証拠を挙げ、さらに必要な情報を述べてください。

最初の試み。 「システム上は正常とのことなので、リリースします。」レビュー担当者は、以前の結果、治療内容の変更、そして履歴と異なる結果が出た場合の手順書の内容について質問する。学習者はこれらの質問のどれにも答えられない。

フィードバックと再試行。 レビュー担当者は、フラグが証拠として扱われているが、それは単なる入力の一つに過ぎないと指摘している。学習者は履歴から始めるように求められる。

より強力な試み。 学習者は、フラグと履歴の間の矛盾を指摘し、治療変更がその原因である可能性があり、結果を保留して承認されたエスカレーション手順に従うと述べた。学習者は、まだ必要なこととして、履歴と異なる結果に関する手順のルールとレビュー担当者の見解を挙げた。

それぞれの回答が妥当である理由、あるいは不完全である理由。 審査員の個人的な好みではなく、承認された基準に基づいて判断してください。最初の試みでは、フラグのみに基づいて結果を出力し、矛盾する証拠を無視していますが、これは重大な誤りです。2回目の試みでは、出力結果を証拠と照合し、役割の範囲内で判断を行います。

ケースセットの構築

練習の質は、使用する事例の質によって決まります。最初は事例の数を少なくしましょう。

  1. 自社サービスにおけるユースケース。 現実の紛争は、教科書に載っているような整然とした紛争よりも多くのことを教えてくれる。
  2. フラグが正しい場合も含めてください。 失敗ばかりを目にする従業員は、あらゆるものを疑うようになる。
  3. 専門家に回答を書いてもらいましょう。 証拠が示す内容、確認すべき事項、および承認された対応を記録してください。
  4. 患者または個人を特定できる情報はすべて削除してください。 事例をトレーニングに回す前に、所属サービスのデータに関する規則に従ってください。
  5. 職員が暗記している事例は削除する。 二度見た事例は、判断力ではなく記憶力を試すものだ。

スタッフが最も頻繁に間違えるケースに注目してください。それらは実際に議論すべきケースであり、手順が不明確な箇所やトレーニングが不十分な箇所を明らかにするのに役立ちます。

4.能力を評価し、移転計画を策定する

新規案件におけるエラー認識とエスカレーションの根拠について、各評価項目を0~2点で採点してください。

基準0:存在しないか、サポートされていない1:部分的、省略あり2:完全かつ正当な
タスクの実行旗だけで承認または拒否する。衝突を察知するが、それに対して行動を起こさない。出力結果を証拠と照合し、承認された回答を選択して記録する。
推論理由は何も説明しない。不確実性について言及せずに理由を説明する。代替案、制約、不確実性について説明する。
境界手続き外の行為を行う。理由を述べずに事態をエスカレートさせる。承認された手順に従い、情報が不足している場合は支援を求める。

採点の調整:2人の評価者が独立して同じ回答を採点し、その根拠を比較して、意見が一致しない基準を修正します。このルーブリックは提案された出発点であり、検証済みの準備基準ではありません。重大なエラーは個別に定義します。たとえば、手順で保留するように指示されている結果をリリースした場合などです。総合スコアは重大な失敗を隠してはなりません。推論の基準については、ガイドを参照してください。 訓練における判断力と問題解決能力の評価.

職場でのフォローアップを追加しましょう。数週間後に、実際のオーバーライドやエスカレーションについて、監督者によるレビューを実施します。ベースラインと未確認のフォローアップケースを比較し、開始前に対象集団、分母、タイミングを定義し、トレーニングの効果を評価する前に、ソフトウェアのアップデートや新しいフラグ設定など、同時発生的な変更がないか確認してください。

インタラクティブな配信が役立つ場面

ライブセッションでは、事例を提示し、各参加者に個別に判断を提出してもらい、その後、判断結果を表示してから、その根拠について議論します。各自のペースで進める形式は、前提知識の確認と、その後の判断の見直しに適しています。 AhaSlidesチームや教室向けのオールインワン型エンゲージメントプラットフォームである は、インタラクティブな学習をサポートし、ライブ配信と自己ペース配信の両方に対応しています。診断ツールではなく、AIの出力を実行したり検証したりする機能はありません。このプラットフォームを利用する前に、ご自身のワークフローでどのようにドリルを実行するかを確認してください。

トレーニングでは解決できないこと

  • 出力結果が読みにくいツール。 トレーニングではディスプレイの不具合は直りません。
  • 明確なエスカレーション経路がない。 職員は存在しないルートを使用することはできません。
  • 誰も審査しなかった事例。 間違った例は、間違った教訓を教える。
  • 証拠には限界がある。 上記の情報源は、あなたのチームのトレーニング成果ではなく、バイアスについて述べているものです。

よくある質問

自動化バイアスとは何ですか?

他の証拠が反対の方向を示している場合でも、自動化された提案に従う傾向。

スタッフはもっと頻繁にツールを上書きすべきだろうか?

目標にするのではなく、出力結果を証拠と照らし合わせて確認し、上書き率ではなく、推論の妥当性を評価するように訓練すべきです。

評価者間の意見の一致をどのように確認しますか?

彼らに同じ答えをそれぞれ独立して採点させ、根拠を比較し、意見が異なる基準があれば修正させる。

誰が判例を作成すべきか?

誰かがそれらについて訓練を受けたり評価を受けたりする前に、検査室または放射線科の教育者または上級専門家。

これは、そのツールが正確かどうかを示すものですか?

いいえ。精度は検証プロセスに必要なものです。

どこから始めれば

フラグの種類を1つ選び、フラグが正しかったケースを2つ含む、レビュー済みのケースを5つ集めます。ブラインドテストを1回実施し、2人の評価者のスコアを比較して、相違点があれば評価基準を修正します。

訓練をライブまたは自己ペースで実行する方法を確認するには、以下をご覧ください。 AhaSlides.

視聴者のエンゲージメントを高めるためのヒント、洞察、戦略を購読してください。
ありがとうございました! あなたの提出物は受領されました!
おっと! フォームの送信中に問題が発生しました。

他の投稿をチェックする

AhaSlides フォーブス誌が選ぶアメリカのトップ500企業にも採用されています。今すぐエンゲージメントの力を体験してください。

無料で始めましょう
© AhaSlides 有限会社