技術人員只有在接受過相關培訓,懂得對照證據進行核查,而不是憑習慣盲目信任或質疑自動化輸出結果時,才能有效驗證其準確性。本指南面向診斷服務主管以及實驗室或放射科教育人員,涵蓋五個步驟:描述績效問題、診斷差距、設計實踐方案、透過實例進行演練以及評估遷移效果。本指南的重點在於訓練設計,而非任何產品或其準確性。您已批准的流程決定了標記的處理方式,實驗室或放射科教育人員應在使用前編寫並驗證每個案例。
這項研究說了什麼,沒說什麼。
Goddard、Roudsari 和 Wyatt 的一項系統性綜述考察了… 自動化偏差:即使其他證據指向相反的方向,人們仍傾向於採納自動建議。它還分析了哪些因素會增加或減少這種偏見的可能性,這為培訓設計人員提供了參考。
它沒有告訴你如何訓練自己的團隊,也沒有提到任何具體的工具。你可以用它來建立案例,然後用自己的員工測試訓練效果。
要聞速覽
| 問題 | 簡答 |
|---|---|
| 任務是什麼? | 將自動影像分割結果或實驗室標記與證據進行比對。 |
| 主要風險是什麼? | 接受結果只是因為它看起來很有說服力,或者出於習慣而拒絕它。 |
| 練習為何有用? | 盲案,給予合理的答复,並就此作出回饋。 |
| 是什麼讓評分值得信賴? | 評估人員獨立評分,然後比較證據。 |
| 哪些情況應該避免得分? | 與工具達成一致,無論哪種方向。 |
| 還有什麼它無法決定的? | 工具的準確性取決於你的驗證流程。 |
1. 描述效能問題
首先描述情況:自動標記與影像上下文或樣本資訊衝突。說明角色必須執行的操作:對照證據檢查分割或實驗室標記,並決定下一步操作。嚴格遵循每個標記的技術人員與憑直覺忽略標記的技術人員的工作方式截然不同。說明您的服務會遇到哪種情況,以及何時遇到。
2. 診斷學習與情境差距
將所需任務與目前的活動和評估進行比較。如果員工只透過供應商演示來學習工具,並且評估標準是按鈕的位置,那麼他們練習的是操作,而不是檢查輸出結果的判斷。我們的指南 將學習活動與布魯姆分類法相匹配 幫助您區分兩者。在製定培訓計畫之前,請先檢查其他原因:工作量、輸出結果的顯示方式、是否要求員工手動變更設置,以及升級流程是否清晰。我們的指南 區分機器偽影和真實發現 涵蓋相關技能。
3. 設計有目的的準備與練習
計劃分為三層:
- 準備。 簡要地自行檢查前提條件:條款、您服務的標記規則和升級步驟。複查僅用於確認前提條件。
- 盲孔鑽探。 展示帶有標記的圖片或結果,詢問是否接受並說明原因,然後根據決定提供回饋。混合展示標記正確和錯誤的情況,但不說明哪個正確哪個錯誤。
- 即時輸入,創造價值。 一位資深同事講解了一個疑難案例。對於案情清晰的案例,非同步審閱就足夠了。
一個經過處理的案例,包含回饋和重試
僅供參考。實驗室或放射學教育工作者應在使用前編寫並驗證病例和答案標準。
案子。 自動標記會將樣本結果標記為正常。樣本資訊顯示,該患者的治療方案近期發生了變化,而該患者先前的檢測結果遠遠超出正常範圍。
任務。 決定該怎麼做。解釋你的決定,列舉證據,並說明你還需要哪些資訊。
第一次嘗試。 「系統顯示結果正常,所以我將發布。」一位審閱者詢問了先前的結果、治療方案的變更以及程序中關於與既往記錄不符的結果的說明。學員對這些問題都無法回答。
反饋並重試。 審閱者指出,該標誌被當作證據處理,但它實際上只是眾多輸入資訊之一。學習者需要從歷史記錄入手。
一次更有力的嘗試。 學習者指出標記結果與歷史記錄之間的衝突,認為治療方案的改變或許可以解釋這一現象,並表示會保留結果,遵循既定的升級流程。他們也表示需要:針對結果與歷史記錄不符的情況,程序中的具體規定以及審核人員的意見。
解釋每種回應的合理性或不足之處。 評判應依據既定標準,而非評審員的個人偏好。第一次嘗試僅憑標記就發布結果,忽略了相互矛盾的證據,這是一個嚴重錯誤。第二次嘗試則將產出結果與證據進行比對,並嚴格遵守了職責範圍。
建構案例集
練習的效果取決於你使用的案例品質。一開始案例數量就少一些:
- 來自您自身服務的用例。 真實的衝突比教科書上所描述的衝突更有啟發意義。
- 包括旗幟指向正確的情況。 只看到失敗的員工會學會不信任一切。
- 請專家撰寫答案。 記錄證據顯示的內容、需要檢查的內容以及已批准的應對措施。
- 移除所有能辨識患者或個人身分的資訊。 在將案例提交訓練之前,請遵循您所在機構的資料規則。
- 刪除員工已熟記的案例。 同一個案例重複出現,考驗的是記憶力,而不是判斷力。
注意哪些個案員工最常出錯。這些案例需要現場討論,因為它們可以反映出流程中哪些環節不夠清晰,以及培訓方面存在不足。
4. 評估能力並制定轉移計劃
運用錯誤辨識能力和升級處理背後的邏輯,對新案例進行分析。每項標準評分範圍為 0 到 2 分:
| 標準 | 0:缺失或不支持 | 1:部分,有遺漏 | 2:完整且合理 |
|---|---|---|---|
| 任務執行 | 僅根據標誌位接受或拒絕。 | 發現衝突卻不採取行動。 | 將輸出結果與證據進行比對,選擇認可的答案並記錄下來。 |
| 推理 | 沒有給出理由。 | 給出了理由,但沒有提及不確定性。 | 解釋了各種方案、限制條件和不確定性。 |
| 邊界 | 違反程序行事。 | 事態升級,卻不說明原因。 | 使用經批准的程序,並在資訊不足時尋求協助。 |
校準評分標準:讓兩位評估員獨立對同一答案進行評分,比較他們的評分依據,並修改任何分歧的評分標準。本評分細則僅供參考,並非經過驗證的合格標準。請單獨定義關鍵錯誤,例如發布程式要求保留的結果。總分絕不能掩蓋任何關鍵錯誤。有關推理標準,請參閱我們的指南。 評估訓練中的判斷力和問題解決能力.
增加工作場所後續跟進:幾週後對實際的權限覆蓋和升級情況進行監督審查。比較基準案例和未見過的後續案例,在開始之前確定總體、分母和時間點,並在確認訓練效果之前查找同時發生的變化,例如軟體更新或新的標誌設定。
互動式教學有助於
在即時課程中,展示一個案例,要求每個人私下提交決策,然後展示決策分佈圖,最後討論理由。這種自主學習模式適合進行課前檢查和課後理由回顧。 AhaSlides這是一個面向團隊和課堂的一體化互動平台,支援互動式學習以及直播和自主學習兩種模式。它並非診斷工具,也不會運作或檢查人工智慧的輸出結果。在使用前,請先在您自己的工作流程中驗證這些練習的運作方式。
哪些訓練解決不了的問題
- 一款輸出結果難以解讀的工具。 培訓無法修復顯示問題。
- 沒有明確的升級途徑。 員工不能使用不存在的路線。
- 無人審核的案例。 錯誤的例子會傳遞錯誤的教訓。
- 證據有限。 上述來源描述的是一種偏見,而不是針對您團隊的訓練結果。
常見問題
什麼是自動化偏見?
即使其他證據指向相反的方向,人們仍然傾向於聽從自動產生的建議。
員工是否應該更頻繁地手動調整工具的使用方式?
這不是目標。訓練他們根據證據檢驗輸出結果,並評估推理過程,而不是評估否決率。
如何核實評估人員的意見是否一致?
讓他們獨立地對同一個答案進行評分,比較他們的證據,並修改任何存在分歧的標準。
誰應該撰寫案例?
在任何人接受培訓或接受評分之前,實驗室或放射學教育者或高級專家會進行評估。
這能說明某個工具是否準確嗎?
不,準確性是用於驗證過程的。
從哪兒開始
選擇一種標記類型,收集五個已審核的案例,其中至少兩個案例的標記正確。進行盲測,比較兩位評估員的評分,並修改評分標準有差異的部分。
要了解演練如何即時或自主運行,請探索 AhaSlides.








