Оценка хирургической компетентности: как определить, когда хирург-ординатор достиг самостоятельной компетентности.

Предметы не найдены.
Blog миниатюрное изображение

Готовность к самостоятельной практике — это оценка, основанная на нескольких наблюдаемых примерах, а не на одном балле. Если ординатор хорошо справляется с одним симулированным случаем, но нестабильно с другим, это говорит о чем-то, но недостаточно. Это руководство предназначено для руководителей программ медицинского образования и руководителей программ ординатуры. Оно охватывает пять аспектов: оцениваемое наблюдаемое задание, незнакомый и репрезентативный случай, наблюдаемые критерии с опорными точками, калибровка оценщиков и использование результатов. Речь идет о разработке системы оценки, а не о клинических рекомендациях. Разрешение на самостоятельную практику остается в рамках собственных процедур вашего учреждения, и специалист из вашей программы должен проверить случай и критерии оценки перед использованием.

Что говорят и чего не говорят исследования

Стоит ознакомиться с двумя опубликованными методами. В 2005 году тен Кате предложил доверенные профессиональные виды деятельности: единицы работы, которые, по мнению руководителя, стажер может выполнять самостоятельно, основываясь на наблюдаемой компетентности. В 1997 году Мартин и его коллеги описали Объективная структурированная оценка технических навыков (OSATS), которая сочетает в себе контрольный список задач с общей рейтинговой шкалой для хирургических ординаторов.

Оба документа описывают, как структурировать процесс оценки. Ни один из них не указывает на готовность конкретного кандидата и не заменяет специализированный надзор. Используйте их для формирования собственных критериев, а затем проверьте эти критерии с помощью собственных оценщиков.

Интересные факты

ВопросКороткий ответ
Что вы оцениваете?Готовность, определяемая на основе многочисленных наблюдений за результатами.
Что такое один балл в симуляторе?Это лишь один из показателей. Он не является разрешением на самостоятельную практику.
Что делает критерии пригодными для использования?Наблюдаемые модели поведения с примерами слабой, развивающейся и компетентной работы.
Что делает оценки достоверными?Эксперты проводят независимую оценку, а затем сравнивают полученные данные.
Чего следует избегать при начислении баллов?Уверенность или скорость сами по себе.
Что оно не может решить?Авторизация. Это входит в рамки процедур вашего учреждения.

1. Определите, какой вид деятельности оценивается.

Опишите наблюдаемую задачу: оценка готовности на основе множества наблюдаемых действий. Укажите роль, контекст и границы полномочий, прежде чем определять оценку. «Независимая компетентность» означает нечто иное для стажера в зависимости от процедуры, условий и уровня контроля. Запишите, что именно оценивается у стажера, с кем он работает и что произойдет, если его признают готовым. Наше руководство по соответствие учебных мероприятий таксономии Блума Это помогает отделить задачи, требующие анализа, от тех, которые требуют оценки.

2. Выберите незнакомую, типичную задачу.

Выберите случай, который коллега не отрабатывал, например, второй смоделированный случай, отличающийся от первого тем, что характерно для реальных ситуаций. Объясните, как он отражает реальную работу и что он не может установить. Один незнакомый случай может показать, переносятся ли навыки, но он не может охватить все варианты, все команды или все сложности. Именно поэтому решение основывается на нескольких наблюдаемых результатах, полученных в разных случаях и в разное время, а не на одном единственном.

3. Сформулируйте наблюдаемые критерии и опорные точки.

Сформулируйте критерии, основываясь на двух факторах: стабильности результатов в разных случаях и согласованности оценок экспертов. Опишите, как каждый показатель проявляется в поведении. В качестве одного из критериев можно описать:

  • Слабый (0). Требует многократных подсказок, пропускает шаг или не может объяснить свой выбор.
  • Развитие (1). Выполняет задачу, допуская упущения или демонстрируя непостоянное качество в разных случаях.
  • Умелый (2). Выполняет задачу, объясняет варианты решения и рассматривает возможные изменения в ситуации.

Избегайте оценок, основанных только на уверенности или скорости. Уверенный в себе человек может ошибиться, а медлительный — быть внимательным. Оба качества могут сочетаться с оценкой, но не должны заменять доказательства выполненной работы. Используйте структуру, описанную Мартином и его коллегами, — контрольный список для конкретной задачи рядом с общей оценкой, если это поможет вашим оценщикам отделить этапы от общего качества.

4. Провести калибровку экспертов и запустить пилотный проект.

Калибровка — это процесс, в ходе которого результаты становятся сопоставимыми:

  1. Оценить самостоятельно. Попросите двух или более экспертов оценить один и тот же записанный или наблюдаемый пример, не разговаривая друг с другом.
  2. Сравните имеющиеся данные. Попросите каждого рассказать, что именно он увидел, что привело к такой оценке. Разногласия обычно выражаются по нечетким критериям.
  3. Пересмотрите критерии. Переформулируйте текст или добавьте пример, затем оцените новый пример.
  4. Пилот в небольшой группе. Перед принятием решений проведите оценку с участием нескольких коллег и проверьте, сохраняются ли разногласия между экспертами.

Опишите надзор со стороны специалистов: кто рассматривает спорные результаты и кто несет ответственность за принятие окончательного решения.

Пример решения задачи с обратной связью и возможностью повторной попытки.

Иллюстративный пример. Руководитель программы ординатуры и хирург-специалист должны проверить случай и критерии ответа перед использованием.

Дело. Участник демонстрирует хорошие результаты в одном смоделированном случае, но непостоянные — в другом.

Задача. Готовность судьи. Объясните свое решение, приведите доказательства и укажите, какая дополнительная информация вам необходима.

Первая попытка. «Ученик отлично справился с первым заданием, так что они готовы». Рецензент спрашивает, что произошло во втором задании, на скольких результатах основывается оценка и пришли ли к согласию два оценщика. У обучающегося нет ответа ни на один из этих вопросов.

Отправьте отзыв и попробуйте снова. Рецензент отмечает, что одна высокая оценка была воспринята как вердикт, а несоответствие было проигнорировано. Учащемуся предлагается пересмотреть свое решение.

Более убедительная попытка. Обучающийся заявляет, что двух случаев недостаточно, отмечает несоответствие во втором случае и спрашивает, в чем заключалось различие. Он предлагает дополнительное наблюдение за выполнением задания в третьем, незнакомом случае, привлечение независимого второго эксперта и целенаправленную подготовку к этапу, на котором была допущена ошибка. Он говорит, что пока не рекомендует принимать решение о готовности, и указывает, что ему еще необходимо: заключение экспертов, процесс надзора и определение самостоятельной практики в рамках программы.

Почему каждый ответ является обоснованным или неполным. Оценивайте по утвержденным критериям, а не по предпочтениям рецензента. Первая попытка рассматривает одну оценку как разрешение, что является критической ошибкой. Вторая использует несколько результатов, отделяет доказательства от выводов и указывает пределы принятого решения.

5. Используйте результаты для дальнейших действий.

Выберите следующий шаг из обнаруженного разрыва:

  • Целенаправленная подготовка когда отсутствовала какая-либо концепция или шаг.
  • Интерактивная практика когда навык есть, но он непостоянен.
  • Тренерская работа под наблюдением когда человеку нужна обратная связь в реальной работе.

Запланируйте переоценку и укажите, чего не может достичь результат: оценка готовности описывает результаты работы по рассмотренным случаям с участием оценщиков в определенный момент времени.

Критерий0: отсутствует или не поддерживается1: частичный, с пропусками2: полный и обоснованный
Выполнение задачиГотовность судей оценивается по одному баллу.Использует несколько оценок, не сравнивая их.Судьи, наблюдавшие за несколькими выступлениями, зафиксировали доказательства.
аргументацияПричина не указана.Объясняет причину, не указывая на конкретное несоответствие.Объясняет альтернативные варианты, ограничения и неопределенность.
ГраницыРассматривает оценку как авторизацию.Примечания указывают на ограничения без плана.Использует утвержденную процедуру и обращается за консультацией к специалистам, если имеющихся доказательств недостаточно.

Данная рубрика представляет собой предлагаемую отправную точку, а не утвержденный стандарт готовности. Критические ошибки следует определять отдельно, например, представляя одну оценку на симуляторе как разрешение на самостоятельную практику. Общая оценка ни в коем случае не должна скрывать критическую ошибку.

Для проверки процесса сравните исходные данные и данные по контрольным заданиям, которые ранее не выполнялись. Измерьте согласованность результатов и степень согласия между оценщиками. Определите целевую группу, знаменатель и сроки до начала обучения, а также отслеживайте сопутствующие изменения, такие как изменение состава участников или смена оценщиков, прежде чем засчитывать обучение.

Где интерактивная доставка помогает

Интерактивные форматы помогают на этапе калибровки. В ходе интерактивной сессии можно показать пример и попросить каждого эксперта выставить оценку в частном порядке, затем отобразить распределение баллов перед обсуждением доказательств. Самостоятельное обучение подходит для предварительного анализа критериев и проверки предварительных условий. AhaSlides, универсальная платформа для взаимодействия команд и учебных классов, поддерживает интерактивное обучение, а также обучение в режиме реального времени и в удобном для вас темпе. Прежде чем полагаться на эту платформу, проверьте, как вы будете проводить калибровку в своем рабочем процессе.

Что не исправит оценка компетенций

  • Нечеткое определение независимости. Без него результаты сравнивать не с чем.
  • Слишком мало наблюдений. Одного-двух случаев недостаточно для подтверждения последовательности.
  • Оценщики, которые никогда не проводят калибровку. Соглашение само по себе не возникает.
  • Ограничения по количеству доказательств. Два источника, указанные выше, описывают методы, а не результаты для ваших коллег.

Часто задаваемые вопросы

Что такое оценка хирургической компетентности?

Оценивая на основе наблюдаемых результатов выполнения заданных задач в соответствии с установленными критериями, можно определить, способен ли стажер выполнить определенную хирургическую задачу на уровне, требуемом вашей программой обучения.

Достаточно ли одной оценки, полученной на симуляторе, чтобы определить готовность?

Нет. Это всего лишь один показатель. Решение о готовности основывается на нескольких наблюдаемых результатах и ​​утвержденной в вашем учебном заведении процедуре.

Что такое OSATS?

Объективная структурированная оценка технических навыков — это метод, сочетающий в себе контрольный список для конкретной задачи с общей рейтинговой шкалой.

Как проверить, что мнения экспертов совпадают?

Предложите им независимо оценить один и тот же пример, сравнить свои доказательства и пересмотреть любые критерии, по которым они расходятся.

Кто должен проверять дело и критерии оценки?

Перед выставлением оценок специалист-хирург и руководитель программы ординатуры.

Когда начать

Выберите одну процедуру и опишите наблюдаемое задание. Выберите два незнакомых случая, попросите двух экспертов независимо оценить каждый из них и сравните их результаты. В случае разногласий скорректируйте критерии, затем проведите пилотное тестирование на нескольких участниках, прежде чем использовать полученные оценки для принятия решений.

Чтобы узнать, как может проходить калибровочная сессия в режиме реального времени или в удобном для вас темпе, ознакомьтесь с информацией ниже. AhaSlides.

Подпишитесь, чтобы получать советы, идеи и стратегии для повышения вовлеченности аудитории.
Спасибо! Ваша заявка была получена!
К сожалению! Что-то пошло не так при отправке формы.

Посмотрите другие публикации

AhaSlides Используется компаниями из списка Forbes «500 крупнейших американских компаний». Ощутите силу вовлеченности уже сегодня.

Начни бесплатно
© 2026 AhaSlides Пте Лтд