Готовність до самостійної практики – це судження, побудоване на кількох спостережуваних результатах, а не на одній оцінці. Спеціаліст, який добре справляється з одним симульованим випадком і нестабільно з іншим, щось вам розповів, але недостатньо. Цей посібник призначений для директорів медичної освіти та керівників програм резидентури. Він охоплює п'ять рішень: оцінюване спостережуване завдання, незнайомий та репрезентативний випадок, спостережувані критерії з орієнтирами, як калібрувати оцінювачів та як використовувати результати. Йдеться про дизайн оцінювання, а не про клінічне керівництво. Дозвіл на самостійну практику залишається у власних процесах вашого закладу, і спеціаліст з вашої програми повинен переглянути випадок та рубрику перед використанням.
Що говорять дослідження, а що ні
Варто знати два опубліковані методи. У 2005 році десять Кейтів запропонували довірливу професійну діяльністьодиниці роботи, які керівник вирішує, що стажер може виконувати самостійно, на основі спостережуваної компетентності. У 1997 році Мартін та його колеги описали Об'єктивна структурована оцінка технічних навичок (OSATS), який поєднує контрольний список для конкретних завдань із глобальною шкалою оцінювання для хірургічних резидентів.
Обидва описують, як структурувати судження. Жоден з них не показує, що конкретний спеціаліст готовий, і жоден з них не замінює нагляду спеціаліста. Використовуйте їх для формування своїх критеріїв, а потім перевірте ці критерії з власними оцінювачами.
Швидкі факти
| Питання | Коротка відповідь |
|---|---|
| Що ти засуджуєш? | Готовність, виходячи з кількох спостережуваних виступів. |
| Який результат можна оцінити за один симулятор? | Один момент. Це не дозвіл на незалежну практику. |
| Що робить критерії корисними? | Спостережувана поведінка з прикладами слабкої, успішної та успішної роботи. |
| Що робить оцінки достовірними? | Оцінювачі оцінюють незалежно один від одного, а потім порівнюють докази. |
| Чого слід уникати набирати очок? | Впевненість чи швидкість. |
| Що воно не може вирішити? | Авторизація. Це відповідає власній процедурі вашої установи. |
1. Визначте оцінювану продуктивність
Сформулюйте завдання, яке можна спостерігати: оцінювання готовності на основі кількох спостережуваних показників. Перш ніж визначати оцінку, визначте роль, контекст та межі повноважень. «Незалежна компетентність» означає щось інше для спеціаліста в одній процедурі, одному середовищі та на одному рівні керівництва, ніж для іншого. Запишіть, що саме оцінюється від спеціаліста, з ким і що відбувається, якщо його оцінять як готового. Наш посібник з зіставлення навчальних завдань з таксономією Блума допомагає вам відокремити завдання, які потребують аналізу, від тих, які потребують оцінки.
2. Виберіть незнайоме, типове завдання
Оберіть випадок, який цей співробітник не репетирував, наприклад, другий змодельований випадок, який відрізняється від першого тим, як це роблять реальні випадки. Поясніть, як він відображає фактичну роботу та що він не може встановити. Один незнайомий випадок може показати, чи відбувається передача навичок, але він не може охопити всі варіації, кожну команду чи кожне ускладнення. Ось чому рішення ґрунтується на кількох спостережуваних показниках, розподілених по випадках та часу, а не на одному.
3. Запишіть спостережувані критерії та опорні точки
Побудуйте критерії навколо двох речей: узгодженості результатів у різних випадках та згоди оцінювача. Опишіть, як кожна оцінка виглядає в поведінці. Для одного критерію ви можете описати:
- Слабкий (0). Потребує повторних підказок, пропускає крок або не може пояснити вибір.
- Розвиток (1). Виконує завдання з пропусками або нерівномірною якістю в різних випадках.
- Досвідчений (2). Виконує завдання, пояснює вибір та розглядає варіант у кейсі.
Уникайте оцінок, заснованих лише на впевненості чи швидкості. Впевнена людина може помилятися, а повільна може бути обережною. Обидві риси можуть бути поруч із оцінкою, але не повинні замінювати доказів того, що було зроблено. Використовуйте структуру, яку описують Мартін та його колеги, контрольний список для конкретних завдань поруч із глобальною оцінкою, якщо це допомагає вашим оцінювачам відокремити кроки від загальної якості.
4. Калібрування оцінювачів та проведення пілотного проекту
Калібрування – це процес, коли результати стають порівнянними:
- Оцінюйте самостійно. Нехай два або більше оцінювачів оцінюють один і той самий записаний або спостережуваний приклад, не розмовляючи.
- Порівняйте докази. Попросіть кожного сказати, що вони побачили, що призвело до такої оцінки. Розбіжності зазвичай криються в неоднозначному критерії.
- Перегляньте критерій. Перепишіть формулювання або додайте приклад, а потім напишіть новий приклад.
- Пілот у невеликій групі. Проведіть оцінювання з кількома колегами, перш ніж використовувати його для прийняття рішень, і перевірте, чи оцінювачі все ще не погоджуються.
Опишіть спеціалізований нагляд: хто переглядає пограничні результати та хто відповідає за остаточне рішення.
Опрацьована справа зі зворотним зв'язком та повторною спробою
Ілюстрація. Керівник програми ординатури та спеціаліст-хірург повинні перевірити випадок та критерії відповіді перед використанням.
Справа. Хлопець добре виконує один змодельований кейс, але непослідовно виконує інший.
Завдання. Готовність судді. Поясніть своє рішення, наведіть докази та вкажіть, яка додаткова інформація вам потрібна.
Перша спроба. «Хлопець отримав високий бал за перший кейс, тож він готовий». Рецензент запитує, що сталося з другим кейсом, на скількох результатах ґрунтується судження та чи погодилися два оцінювачі. Учень не має відповіді на жодне з цих питань.
Зворотній зв'язок та повторна спроба. Рецензент зазначає, що один сильний бал був сприйнятий як вердикт, а невідповідність проігноровано. Учня просять переглянути своє рішення.
Сильніша спроба. Учень стверджує, що двох випадків недостатньо, зазначає суперечливий другий випадок і запитує, що в ньому відрізняється. Він пропонує додаткове спостереження за виконанням третього незнайомого випадку, незалежного другого оцінювача та цілеспрямовану підготовку до кроку, який пішов не так. Він каже, що поки що не рекомендував би рішення про готовність, і що йому все ще потрібно: докази оцінювачів, процес нагляду та визначення програми незалежної практики.
Чому кожна відповідь є обґрунтованою або неповною. Оцінювати за затвердженими критеріями, а не за вподобаннями рецензента. Перша спроба трактує одну оцінку як авторизацію, що є критичною помилкою. Друга використовує кілька показників, відокремлює докази від висновків та визначає межі рішення.
5. Використовуйте результати для подальшого спостереження
Виберіть наступний крок з виявленого розриву:
- Цілеспрямована підготовка коли бракувало концепції або кроку.
- Інтерактивна практика коли навичка є, але вона непослідовна.
- Коучинг під наглядом коли співробітнику потрібен зворотний зв'язок у реальній роботі.
Сплануйте повторну оцінку та вкажіть, чого не можна досягти в результаті: оцінка готовності описує ефективність спостережуваних випадків із залученими оцінювачами в певний момент часу.
| критерій | 0: відсутній або не підтримується | 1: часткове, з пропусками | 2: повний та обґрунтований |
|---|---|---|---|
| Виконання завдання | Оцінює готовність за одним балом. | Використовує кілька партитур без їх порівняння. | Судді з кількох спостережуваних виступів та записують докази. |
| Обґрунтування | Не дає жодної причини. | Наводить причину, не називаючи невідповідностей. | Пояснює альтернативи, обмеження та невизначеність. |
| Межі | Трактує оцінку як авторизацію. | Нотатки обмежуються без плану. | Використовує затверджену процедуру та звертається за допомогою до фахівців, коли доказів недостатньо. |
Ця рубрика є запропонованою відправною точкою, а не затвердженим стандартом готовності. Визначте критичні помилки окремо, наприклад, представивши один бал симулятора як дозвіл на самостійну практику. Загальний бал ніколи не повинен приховувати критичну невдачу.
Щоб перевірити процес, порівняйте базові та невидимі подальші завдання. Виміряйте узгодженість виконання та узгодженість оцінювачів. Визначте генеральну сукупність, знаменник та часові рамки, перш ніж розпочати, і зверніть увагу на одночасні зміни, такі як новий склад справ або зміна оцінювачів, перш ніж зараховувати навчання.
Де допомагає інтерактивна доставка
Інтерактивні формати допомагають на етапі калібрування. Під час живої сесії ви можете показати приклад і попросити кожного оцінювача приватно надати оцінку, а потім відобразити розкид перед обговоренням доказів. Самостійне викладання відповідає попередньому перегляду критеріїв та перевірці попередніх вимог. AhaSlides, універсальна платформа для взаємодії команд і класів, підтримує інтерактивне навчання, а також проведення занять як у реальному часі, так і у самостійному темпі. Перш ніж покладатися на неї, перевірте, як би ви виконали калібрування у власному робочому процесі.
Чого не виправить оцінка компетенцій
- Розпливчасте визначення незалежності. Без нього результати ні з чим порівнювати.
- Занадто мало спостережень. Один чи два випадки не можуть показати узгодженість.
- Оцінювачі, які ніколи не проводять калібрування. Угода не виникає сама по собі.
- Обмеження доказів. Два вищезазначені джерела описують методи, а не результати для ваших колег.
Часті питання
Що таке оцінка хірургічної компетентності?
Оцінювання, на основі спостережуваної ефективності відповідно до визначених критеріїв, того, чи може стажер виконати визначене хірургічне завдання відповідно до стандартів, вимог вашої програми.
Чи достатньо одного балу на симуляторі, щоб визначити готовність?
Ні. Це один показник. Рішення про готовність ґрунтується на кількох спостережуваних показниках та затвердженій вашою установою процедурі.
Що таке ОСАТС?
Об'єктивна структурована оцінка технічних навичок – метод, який поєднує контрольний список для конкретного завдання з глобальною шкалою оцінювання.
Як перевірити, чи погоджуються оцінювачі?
Нехай вони оцінять той самий приклад незалежно один від одного, порівняють свої докази та переглянуть будь-який критерій, за яким вони відрізняються.
Хто має переглянути справу та рубрику?
Хірург-спеціаліст та програма ординатури очолюють процес, перш ніж будь-кого оцінюють.
З чого почати
Виберіть одну процедуру та напишіть спостережуване завдання. Виберіть два незнайомі випадки, попросіть двох оцінювачів оцінити кожен з них незалежно та порівняйте їхні докази. Перегляньте критерії, де вони розходяться, а потім пілотуйте їх з кількома колегами, перш ніж використовувати оцінки для будь-якого рішення.
Щоб дізнатися, як сеанс калібрування може проходити в режимі реального часу або у власному темпі, ознайомтеся AhaSlides.








