Техніки добре перевіряють автоматизовані результати, коли вони навчені перевіряти їх на відповідність доказам, а не довіряти їм за звичкою. Цей посібник призначений для керівників діагностичних служб та викладачів лабораторій або радіології. Він охоплює п'ять кроків: опис проблеми з продуктивністю, діагностика прогалин, розробка практики, робота на прикладі та оцінка перенесення знань. Йдеться про розробку навчання, а не про будь-який продукт чи його точність. Ваші затверджені процедури вирішують, що відбувається з позначкою, і викладач лабораторії або радіології повинен писати та перевіряти кожен випадок перед використанням.
Що говорять дослідження, а що ні
Систематичний огляд, проведений Годдардом, Рудсарі та Вайаттом, розглядав ухил автоматизації: схильність дотримуватися автоматизованої пропозиції, навіть коли інші докази вказують на протилежне. Також було розглянуто, що робить упередженість більш чи менш ймовірною, що дає дизайнерам навчання щось для роботи.
Він не розповідає вам, як навчати власну команду, і нічого не говорить про конкретний інструмент. Використовуйте його для формування своїх справ, а потім протестуйте навчання зі своїми співробітниками.
Швидкі факти
| Питання | Коротка відповідь |
|---|---|
| Яке завдання? | Перевірте автоматичну сегментацію зображень або лабораторні позначки на відповідність доказам. |
| Який основний ризик? | Прийняття результату, оскільки він виглядає впевнено, або відхилення його за звичкою. |
| Що робить практику корисною? | Сліпі справи, обґрунтована відповідь та зворотний зв'язок, пов'язані з рішенням. |
| Що робить оцінки достовірними? | Оцінювачі оцінюють незалежно один від одного, а потім порівнюють докази. |
| Чого слід уникати набирати очок? | Згода з інструментом, в будь-якому напрямку. |
| Що воно не може вирішити? | Чи є інструмент точним. Ваш процес перевірки це робить. |
1. Опишіть проблему продуктивності
Почніть із ситуації: автоматична позначка конфліктує з контекстом зображення або інформацією про зразок. Вкажіть, що має зробити ця роль: перевірити сегментацію або лабораторні позначки на відповідність доказам та вирішити, що робити далі. Технік, який дотримується кожної позначки, робить щось інше, ніж той, хто ігнорує її, спираючись на інтуїцію. Вкажіть, яку з двох позначок бачить ваша служба і коли.
2. Діагностуйте прогалини у навчанні та контексті
Порівняйте необхідне завдання з поточними діями та оцінюваннями. Якщо співробітники вивчають інструмент з демонстрації постачальника та оцінюються за розташуванням кнопок, вони практикують його використання, а не оцінюють результати перевірки. Наш посібник з зіставлення навчальних завдань з таксономією Блума допомагає вам розрізнити одне й те саме. Перш ніж призначати навчання, перевірте інші причини: робоче навантаження, як відображаються результати, чи очікується, що персонал ігноруватиме їх, і чи зрозумілий шлях ескалації. Наш посібник з розрізнення машинних артефактів від справжніх знахідок охоплює пов'язану навичку.
3. Розробіть цілеспрямовану підготовку та практику
Плануйте три шари:
- Підготовка. Коротка перевірка попередніх вимог у самостійному темпі: умови, правила прапорців вашого сервісу та кроки ескалації. Перевірка відкликання підтверджує лише попередні вимоги.
- Свердла для сліпих корпусів. Покажіть зображення або результат із прапорцем, запитайте, чи прийняти його та чому, а потім дайте відгук, пов’язаний із рішенням. Змішайте випадки, коли прапорець правильний, і випадки, коли він не правильний, не пояснюючи, який є який.
- Живий внесок там, де він додає цінності. Старший колега обговорює неоднозначний випадок. Асинхронного огляду достатньо для зрозумілих випадків.
Опрацьована справа зі зворотним зв'язком та повторною спробою
Ілюстрація. Викладач лабораторії або радіології повинен написати та перевірити випадок і відповісти на критерії перед використанням.
Справа. Автоматична позначка позначає результат зразка як нормальний. Інформація про зразок зазначає нещодавню зміну в лікуванні пацієнта, а попередній результат того ж пацієнта значно виходив за межі звичайного діапазону.
Завдання. Вирішіть, що робити. Поясніть своє рішення, наведіть докази та вкажіть, яка додаткова інформація вам потрібна.
Перша спроба. «Система каже, що це нормально, тому я це опублікую». Рецензент запитує про попередній результат, зміну лікування та що процедура говорить про результат, який відрізняється від анамнезу. Учень не має відповіді на жодне з цих питань.
Зворотній зв'язок та повторна спроба. Рецензент зазначає, що прапор розглядався як доказ, хоча він був одним із вхідних даних. Учня просять почати з історії.
Сильніша спроба. Учень називає конфлікт між прапорцем та історією, каже, що зміна методу лікування може його пояснити, і буде зберігати результат та дотримуватися затвердженого маршруту ескалації. Він каже, що йому ще потрібно: правило процедури для результатів, які відрізняються від історії, та думка рецензента.
Чому кожна відповідь є обґрунтованою або неповною. Оцінювати за затвердженими критеріями, а не за вподобаннями рецензента. Перша спроба видає результат лише на основі прапора та ігнорує суперечливі докази, що є критичною помилкою. Друга спроба перевіряє результат на відповідність доказам та залишається в межах своєї ролі.
Складання набору для кейсів
Практика настільки хороша, наскільки хороші випадки, які ви використовуєте. Спочатку зробіть набір невеликим:
- Випадки використання з вашого власного сервісу. Справжні конфлікти навчають більше, ніж акуратні підручники.
- Включіть випадки, коли прапор правий. Співробітники, які бачать лише невдачі, вчаться не довіряти всьому.
- Нехай відповідь напише спеціаліст. Запишіть, що показують докази, що потрібно перевірити та схвалену відповідь.
- Видаліть усе, що може ідентифікувати пацієнта або особу. Дотримуйтесь правил обробки даних вашої служби, перш ніж розпочати навчання щодо справи.
- Викресліть справи, які співробітники запам'ятали. Випадок, розглянутий двічі, перевіряє пам'ять, а не судження.
Зверніть увагу, у яких випадках персонал помиляється найчастіше. Саме їх слід обговорювати в прямому ефірі, і вони можуть показати, де процедура незрозуміла, а також де недостатньо навчання.
4. Оцінка можливостей та планування передачі
Використовуйте розпізнавання помилок та обґрунтування ескалації нової справи. Оцініть кожен критерій від 0 до 2:
| критерій | 0: відсутній або не підтримується | 1: часткове, з пропусками | 2: повний та обґрунтований |
|---|---|---|---|
| Виконання завдання | Приймає або відхиляє лише на основі прапора. | Виявляє конфлікт, не вживаючи заходів. | Звіряє вихідні дані з доказами, вибирає схвалену відповідь та записує її. |
| Обґрунтування | Не дає жодної причини. | Наводить причину, не називаючи невизначеності. | Пояснює альтернативи, обмеження та невизначеність. |
| Межі | Дії поза процедурою. | Посилюється без пояснення причин. | Використовує затверджену процедуру та звертається за допомогою, коли інформації недостатньо. |
Калібрування оцінювання: нехай два оцінювачі оцінюють одну й ту саму відповідь незалежно один від одного, порівнюють їхні докази та переглядають будь-який критерій, де вони не погоджуються. Ця рубрика є запропонованою відправною точкою, а не підтвердженим стандартом готовності. Визначте критичні помилки окремо, наприклад, оприлюднюючи результат, який процедура вважає прийнятним. Загальний бал ніколи не повинен приховувати критичну невдачу. Критерії міркування дивіться в нашому посібнику з оцінювання судження та вирішення проблем у навчанні.
Додайте подальший контроль на робочому місці: контрольований огляд реальних змін та ескалацій через кілька тижнів. Порівняйте базові та невидимі випадки подальшого контролю, визначте генеральну сукупність, знаменник та час, перш ніж розпочати, та зверніть увагу на одночасні зміни, такі як оновлення програмного забезпечення або нові налаштування прапорців, перш ніж зараховувати навчання.
Де допомагає інтерактивна доставка
Під час живої сесії продемонструйте справу та попросіть кожну особу приватно представити рішення, потім покажіть розгортку, перш ніж обговорювати обґрунтування. Самостійне виступлення підходить для перевірки попередніх вимог та подальшого перегляду обґрунтування. AhaSlides, універсальна платформа для взаємодії з командами та класами, підтримує інтерактивне навчання та проведення занять як у реальному часі, так і у власному темпі. Вона не є діагностичним інструментом і не запускає та не перевіряє результати штучного інтелекту. Перевірте, як би ви виконали ці вправи у власному робочому процесі, перш ніж покладатися на неї.
Що не виправить навчання
- Інструмент, результат якого важко читати. Тренування не можуть виправити дисплей.
- Немає чіткого шляху ескалації. Персонал не може використовувати маршрут, якого не існує.
- Справи, які ніхто не розглядав. Неправильний приклад дає неправильний урок.
- Обмеження доказів. У вищезазначеному джерелі описується упередженість, а не результати навчання вашої команди.
Часті питання
Що таке упередженість автоматизації?
Тенденція дотримуватися автоматичної пропозиції, навіть коли інші докази вказують на протилежне.
Чи варто персоналу частіше ігнорувати цей інструмент?
Не як мету. Навчіть їх перевіряти результат на відповідність доказам та оцінювати міркування, а не рівень ігнорування.
Як перевірити, чи погоджуються оцінювачі?
Нехай вони оцінюють ту саму відповідь незалежно один від одного, порівнюють свої докази та переглядають будь-які критерії, за якими вони відрізняються.
Хто має писати кейси?
Викладач лабораторії чи радіології, або старший спеціаліст, перш ніж хтось пройде навчання або оцінювання за їхньою допомогою.
Чи говорить це про те, чи є інструмент точним?
Ні. Точність потрібна для вашого процесу перевірки.
З чого почати
Виберіть один тип прапорця та зберіть п'ять перевірених випадків, включаючи два, де прапорець правильний. Проведіть одне сліпе тренування, порівняйте оцінки двох оцінювачів та перегляньте критерії, де вони відрізняються.
Щоб побачити, як тренування може проводитися в режимі реального часу або у власному темпі, ознайомтеся AhaSlides.








