Технические специалисты хорошо проверяют результаты автоматизированных процедур, если их обучают сверять их с имеющимися данными, а не доверять им или не доверять им по привычке. Это руководство предназначено для руководителей диагностических служб и преподавателей лабораторных или радиологических дисциплин. Оно охватывает пять этапов: описание проблемы в работе, диагностика недостатков, разработка практических заданий, разбор примера и оценка переноса знаний. Речь идет о разработке учебных программ, а не о каком-либо продукте или его точности. Ваши утвержденные процедуры определяют, что происходит с сигналом тревоги, и преподаватель лабораторных или радиологических дисциплин должен разработать и проверить каждый случай перед его использованием.
Что говорят и чего не говорят исследования
В систематическом обзоре, проведенном Годдардом, Рудсари и Уайаттом, рассматривались следующие вопросы. предвзятость автоматизации: тенденция следовать автоматическим рекомендациям, даже когда другие данные указывают на обратное. Также был проведен анализ факторов, повышающих или понижающих вероятность предвзятости, что дает разработчикам учебных программ ориентир для работы.
В нем не объясняется, как обучать собственную команду, и ничего не говорится о конкретном инструменте. Используйте его для разработки кейсов, а затем протестируйте обучение на своих сотрудниках.
Интересные факты
| Вопрос | Короткий ответ |
|---|---|
| Какая задача? | Сравните результаты автоматической сегментации изображений или ошибки лабораторных проверок с имеющимися данными. |
| В чём заключается основной риск? | Принимать результат, потому что он выглядит уверенно, или отвергать его по привычке. |
| Что делает практику полезной? | Рассмотрение дел вслепую, обоснованный ответ и обратная связь, связанная с принятым решением. |
| Что делает оценки достоверными? | Эксперты проводят независимую оценку, а затем сравнивают полученные данные. |
| Чего следует избегать при начислении баллов? | Согласие с инструментом, в любом направлении. |
| Что оно не может решить? | Точность инструмента определяется вашим процессом проверки. |
1. Опишите проблему с производительностью.
Начните с описания ситуации: автоматический флаг противоречит контексту изображения или информации об образце. Укажите, что должна сделать соответствующая роль: проверить флаги сегментации или лабораторные флаги на соответствие имеющимся данным и решить, что делать дальше. Техник, который отслеживает каждый флаг, делает нечто иное, чем тот, кто игнорирует его на основе интуиции. Укажите, какой из двух вариантов видит ваша служба и когда.
2. Диагностика пробелов в знаниях и контексте.
Сравните требуемую задачу с текущими задачами и оценками. Если сотрудники осваивают инструмент на демонстрации поставщика и оцениваются по расположению кнопок, они практикуют работу с ним, а не проверку результатов. Наше руководство по соответствие учебных мероприятий таксономии Блума Это поможет вам отличить одно от другого. Прежде чем назначать обучение, проверьте другие причины: рабочую нагрузку, способ отображения результатов, предполагается ли, что персонал будет их игнорировать, и понятен ли порядок эскалации. Наше руководство по Машинные артефакты, отличающие реальные результаты от реальных данных. охватывает смежный навык.
3. Разработайте целенаправленную подготовку и практику.
Планируйте три уровня:
- Подготовка. Краткая самостоятельная проверка предварительных условий: условия использования, правила обработки запросов в вашей службе и шаги по эскалации. Повторная проверка подтверждает только наличие необходимых предварительных условий.
- Упражнения по отработке «слепых» случаев. Покажите изображение или результат с флажком, спросите, следует ли его принять и почему, а затем дайте обратную связь, связанную с принятым решением. Смешивайте случаи, когда флажок верен, и случаи, когда он неверен, не указывая, какой из них какой.
- Ввод данных в режиме реального времени там, где это приносит пользу. Старший коллега обсуждает неоднозначный случай. Для ясных случаев достаточно асинхронного анализа.
Пример решения задачи с обратной связью и возможностью повторной попытки.
Иллюстративный пример. Преподаватель лабораторных или радиологических дисциплин должен разработать и проверить критерии для разбора случаев и ответов перед их использованием.
Дело. Автоматический флажок помечает результат анализа как нормальный. В информации об анализе отмечается недавнее изменение в лечении пациента, а предыдущий результат того же пациента значительно выходил за пределы нормы.
Задача. Примите решение. Объясните свое решение, приведите доказательства и укажите, какая дополнительная информация вам необходима.
Первая попытка. «Система показывает, что это нормально, поэтому я опубликую результат». Рецензент спрашивает о предыдущем результате, изменении лечения и о том, что говорится в протоколе о результате, отличающемся от анамнеза. У обучающегося нет ответа ни на один из этих вопросов.
Отправьте отзыв и попробуйте снова. Рецензент отмечает, что флаг рассматривался как доказательство, хотя он являлся лишь одним из входных данных. Учащемуся предлагается начать с истории.
Более убедительная попытка. Обучающийся указывает на конфликт между отметкой и историей болезни, говорит, что изменение лечения может это объяснить, и готов оставить результат и следовать утвержденному порядку эскалации. Он говорит, что ему еще нужно: правила процедуры для результатов, отличающихся от истории болезни, и мнение эксперта.
Почему каждый ответ является обоснованным или неполным. Оценивайте по утвержденным критериям, а не по предпочтениям рецензента. Первая попытка выдает результат, основываясь только на флаге, и игнорирует противоречивые данные, что является критической ошибкой. Вторая проверка сверяет результат с имеющимися данными и остается в рамках заданной роли.
Формирование набора аргументов
Успех практики напрямую зависит от качества используемых вами кейсов. Начните с небольшого набора:
- Примеры использования из вашего собственного сервиса. Реальные конфликты учат большему, чем упрощенные ситуации из учебников.
- Включите случаи, когда флаг установлен правильно. Сотрудники, которые видят только неудачи, учатся не доверять ничему.
- Пусть ответ напишет специалист. Зафиксируйте, что показывают доказательства, что нужно проверить и какой ответ был утвержден.
- Удалите все, что позволяет идентифицировать пациента или человека. Перед отправкой задания в обучающий режим необходимо соблюдать правила обработки данных, установленные вашей службой.
- Исключить из рассмотрения дела, которые сотрудники запомнили наизусть. Рассмотрение дела дважды проверяет память, а не рассудительность.
Обратите внимание на те случаи, в которых сотрудники чаще всего допускают ошибки. Именно их следует обсуждать вживую, и они могут показать, где процедура неясна, а также где обучение недостаточное.
4. Оценить возможности и спланировать передачу.
Используйте алгоритмы распознавания ошибок и обоснование необходимости эскалации в новом случае. Оцените каждый критерий по шкале от 0 до 2:
| Критерий | 0: отсутствует или не поддерживается | 1: частичный, с пропусками | 2: полный и обоснованный |
|---|---|---|---|
| Выполнение задачи | Принимает или отклоняет решение, основываясь исключительно на флаге. | Выявляет конфликт, не предпринимая никаких действий. | Проверяет результат на соответствие имеющимся данным, выбирает утвержденный ответ и регистрирует его. |
| аргументация | Причина не указана. | Объясняет причину, не называя при этом неопределенность. | Объясняет альтернативные варианты, ограничения и неопределенность. |
| Границы | Действует вне рамок процедуры. | Ситуация обостряется, не объясняя причин. | Использует утвержденную процедуру и обращается за помощью, если информации недостаточно. |
Откалибруйте систему оценки: попросите двух независимых экспертов оценить один и тот же ответ, сравните их оценки и скорректируйте критерии, в которых они расходятся. Данная рубрика является предлагаемой отправной точкой, а не утвержденным стандартом готовности. Определите критические ошибки отдельно, например, выпуск результата, который, согласно процедуре, должен оставаться неизменным. Общая оценка ни в коем случае не должна скрывать критическую ошибку. Критерии обоснования см. в нашем руководстве. оценка способности к принятию решений и решению проблем в процессе обучения.
Добавьте последующее наблюдение на рабочем месте: контролируемый анализ реальных случаев нарушения и эскалации через несколько недель. Сравните базовые и ранее не встречавшиеся случаи последующего наблюдения, определите целевую группу, знаменатель и сроки до начала, а также отслеживайте сопутствующие изменения, такие как обновление программного обеспечения или новые настройки флагов, прежде чем засчитывать обучение.
Где интерактивная доставка помогает
На интерактивном занятии покажите кейс и попросите каждого участника высказать свое решение в частном порядке, затем покажите результаты и обсудите аргументацию. Самостоятельное обучение подходит для предварительной проверки знаний и последующего анализа аргументации. AhaSlidesЭто универсальная платформа для взаимодействия команд и учебных классов, поддерживающая интерактивное обучение, как в режиме реального времени, так и в самостоятельном темпе. Она не является диагностическим инструментом и не проверяет результаты работы ИИ. Прежде чем полагаться на неё, проверьте, как вы будете проводить эти упражнения в своём рабочем процессе.
Что обучение не исправит
- Инструмент, результаты работы которого трудно прочитать. Обучение не может исправить дисплей.
- Четкого пути эскалации нет. Персонал не может использовать маршрут, которого не существует.
- Дела, которые никто не рассматривал. Неправильный пример учит неправильному уроку.
- Ограничения по количеству доказательств. Приведённый выше источник описывает предвзятость, а не результаты обучения вашей команды.
Часто задаваемые вопросы
Что такое предвзятость автоматизации?
Тенденция следовать автоматическим рекомендациям, даже когда другие данные указывают на обратное.
Следует ли сотрудникам чаще отменять изменения в этом инструменте?
Не в качестве цели. Обучите их сверять результаты с доказательствами и оценивать обоснование, а не процент отклонений.
Как проверить, что мнения экспертов совпадают?
Предложите им независимо друг от друга оценить один и тот же ответ, сравнить свои доказательства и пересмотреть любые критерии, по которым они расходятся.
Кто должен писать эти дела?
Преподаватель лабораторных или радиологических дисциплин, либо старший специалист, прежде чем кто-либо пройдет обучение или получит оценку по этим дисциплинам.
Можно ли по этому признаку определить точность инструмента?
Нет. Точность необходима для процесса проверки.
Когда начать
Выберите один тип флага и соберите пять рассмотренных случаев, включая два, где флаг правильный. Проведите одно слепое упражнение, сравните оценки двух экспертов и скорректируйте критерии в тех случаях, когда они различаются.
Чтобы увидеть, как может проходить тренировка в реальных условиях или в удобном для вас темпе, изучите... AhaSlides.








