Рубрика оценки эффективности работы: как оценивать способность к принятию решений и решению проблем в процессе обучения.

Два тренера просматривают одну и ту же запись, на которой новый руководитель группы решает, следует ли передать жалобу клиента на рассмотрение вышестоящему руководству. Первый ставит ей высшую оценку: она сохранила спокойствие и выбрала разумный вариант. Второй ставит ей среднюю оценку: она так и не объяснила, почему выбрала именно этот вариант или чего не знала. Оба тренера опытные. Оба использовали одну и ту же форму. Ни один из них не ошибся, и в этом проблема. Форма не указывала, на что именно следует обращать внимание.

Это иллюстративный сценарий, а не задокументированный случай из практики клиента. Он показывает, почему сложно оценить способность к принятию решений и решению проблем: доказательства содержатся в рассуждениях, а рассуждения легко оценить по-разному.

Это руководство предназначено для разработчиков учебных программ, менеджеров по обучению и руководителей отделов обучения и развития персонала, которым необходима обоснованная система оценки эффективности работы. Оно охватывает пять этапов: определение критериев оценки, формулирование наблюдаемых критериев, описание основных показателей эффективности, калибровка оценщиков и пилотное тестирование системы оценки. В заключение приводится пример с подробным разбором и рассматриваются оставшиеся ограничения.

Что такое критерии оценки эффективности работы?

Рубрика оценки выполнения задания — это руководство по выставлению баллов за задание, в котором обучающийся что-то делает, а не просто вспоминает. В ней перечислены важные критерии, описано, как выглядит каждый уровень оценки, и предоставлена ​​общая основа для принятия решения оценщиками. В случае оценки способности к суждению и решению проблем задание обычно представляет собой кейс: обучающийся решает, что делать, объясняет свое решение и указывает, что еще ему необходимо знать.

Рубрика не является проверкой знаний. Тест на запоминание может подтвердить, что человек знает правила. Рубрика же показывает, может ли он применять эти правила в сложной ситуации.

Интересные факты

1. Определите критерии оценки эффективности.

Начните с задания, а не с формы. Опишите ситуацию, с которой столкнется обучающийся, решение, которое ему предстоит принять, и то, что должно быть видно при компетентном выполнении задания. Будьте конкретны в отношении контекста и ограничений: какими полномочиями обладает обучающийся, какая информация ему предоставляется и что намеренно умалчивается?

Полезным критерием является вопрос о том, на что мог бы указать наблюдатель. На фразу «Проявляет здравый смысл» указать нельзя. А вот на фразу «Указывает, какая процедура применяется, называет один недостающий факт и говорит, к кому бы он обратился» — можно.

Если вы не можете описать доказательства простыми предложениями, задание не готово к оценке. Сначала исправьте задание. Нечеткое задание приводит к нечеткой оценочной таблице, какой бы отполированной она ни казалась.

2. Сформулируйте наблюдаемые критерии.

Выберите небольшое количество критериев, соответствующих цели обучения. Для оценки ситуации и решения проблем во многих ролях хорошо подходят три критерия:

• Выполнение задачи. Учащийся принимает решение в рамках своих полномочий и записывает свой выбор, а также подтверждающие его доказательства.
• Рассуждение. Учащийся объясняет ограничения, альтернативные варианты и то, что еще остается неясным.
• Границы. Обучающийся использует утвержденные процедуры и обращается за помощью, когда отсутствует информация или полномочия.

Каждый критерий следует описывать как результат принятия решения, объяснения или итогового результата. Избегайте слов, обозначающих характеристики, таких как «здоровый», «зрелый» или «хороший». Два эксперта могут по-разному интерпретировать эти слова.

Не переусердствуйте с количеством критериев. Каждый дополнительный критерий создает почву для разногласий между оценщиками и побуждает учащихся гнаться за баллами, а не думать. Если критерий не меняет того, как вы бы поступили с результатом, откажитесь от него.

3. Опишите опорные точки эффективности.

«Якорь» — это краткое описание того, как выглядит уровень оценки. Без якорей оценка 1 или 2 означает то, что хочет сказать оценщик.

Для первого варианта часто достаточно простой трехуровневой шкалы:

Для каждого критерия добавьте короткий пример того, как звучат 0, 1 и 2 в контексте вашей задачи. По возможности используйте реальные формулировки из тренировочных попыток. Абстрактные формулировки часто сводятся к расплывчатым прилагательным.

Критические ошибки следует рассматривать отдельно. Некоторые ошибки не следует усреднять. Примерами являются действия, выходящие за рамки полномочий, игнорирование мер безопасности или нарушение установленных норм. Перечислите их отдельно от критериев оценки и укажите последствия: критическая ошибка регистрируется и отслеживается независимо от итоговой оценки. В противном случае обучающийся может получить высокие баллы за логическое мышление и соблюдение границ, совершая действия, которые были бы неприемлемы на работе.

4. Калибровка оценок экспертов с использованием примеров.

Рубрика сама по себе не оценивает работы. Эксперты все равно интерпретируют ее, поэтому перед выставлением оценок группе необходимо провести калибровку.

1. Выберите два или три примера ответов, различающихся по качеству. Лучше всего подойдут реальные попытки пилота.
2. Перед обсуждением пусть каждый эксперт оценит их независимо.
3. Сравните баллы и, что более важно, доказательства, приведенные каждым участником.
4. В случаях, когда оценки различаются, найдите формулировку, которая привела к этому, и измените критерий или опорный параметр.
5. Повторяйте с новым примером до тех пор, пока оценщики не выставят одинаковую оценку по тем же причинам.

Цель состоит в том, чтобы критерии были поняты одинаково, а не в достижении согласия ради самого согласия. Если два эксперта ставят одинаковую оценку по разным причинам, критерии оценки все равно остаются неоднозначными.

Что говорят исследования? Данные противоречивы, поэтому будьте готовы к некоторым разногласиям и измерьте их. В исследовании 2022 года, опубликованном в журнале Fujita Medical Journal, посвященном видеозаписям клинических обследований, два эксперта оценили сорок видеороликов. Первые десять они оценивали без модерации, а по остальным каждый раз обсуждали свою оценку в соответствии с критериями рубрики. Согласованность, измеренная с помощью взвешенного коэффициента каппа, выросла с 0.49 по первым десяти видеороликам до 0.82 по последним десяти.Ватари и коллеги, 2022 годЭто было небольшое исследование одного экзаменационного задания, поэтому воспринимайте его как признак того, что умеренность может помочь, а не как обещание.

Одной лишь подготовки недостаточно. Рандомизированное исследование 2014 года, в котором 21 эксперт оценивал 242 студента-медика, показало, что краткий курс обучения с использованием системы координат не привел к заметному повышению точности оценок отдельных экспертов, хотя обученные эксперты выставляли более строгие оценки, более близкие к эталонной группе. Авторы пришли к выводу, что оценка эффективности работы в значительной степени индивидуальна.Вайц и коллеги, 2014 г.Практическое задание состоит в том, чтобы продолжать калибровку на реальных примерах, проверять согласованность результатов по мере их получения и не предполагать, что одной ознакомительной сессии достаточно.

5. Проведите пилотное тестирование и пересмотрите критерии оценки.

Прежде чем использовать эту шкалу для принятия важных решений, проведите её пилотное тестирование.

• Проведите его с небольшой группой обучающихся и двумя или более оценщиками.
• Зафиксируйте случаи разногласий между экспертами и попросите каждого объяснить свою оценку.
• Убедитесь, что критерии позволяют различать сильные и слабые ответы. Если каждый учащийся получает 2 балла, значит, задание или опорные точки слишком простые.
• Спросите учащихся, что было ясно из критериев оценки, а что их смутило.
• Пересмотрите, а затем проведите повторное тестирование с новым вариантом.

Будьте честны в отношении того, что показывает пилотный проект. Непроверенная оценочная шкала — это рабочий черновик. Это не универсальный стандарт сертификации, и ее не следует использовать для принятия важных решений в отношении людей до тех пор, пока специалист, занимающий аналогичную должность, не проверит ее и у вас не будет доказательств того, что она работает для вашей целевой группы.

Пример решения: принятие решения об эскалации.

Это иллюстративный пример. Специалист, выполняющий эту работу, должен проверить обоснованность случая и критерии ответа перед их использованием.

Дело. Клиент сообщает о задержке заказа и просит полный возврат средств. Сотрудник может предложить компенсацию в размере определенной суммы без согласования. Сумма возврата превышает эту сумму. Менеджер недоступен в течение двух часов. В примечаниях указано четыре заказа за этот год.

Что делает обучающийся. Выберите ответ, объясните принятое решение, приведите доказательства и укажите, какая дополнительная информация или поддержка им потребуется.

Ответ получил 1 балл по логике рассуждений. «Я предложу возврат денег, потому что клиент расстроен». Решение изложено, но нет никаких доказательств, не упоминается лимит и не указывается, чего именно не хватает.

Ответ получил 2 балл по логике рассуждений. «Я не буду возвращать деньги сверх установленного лимита без согласования. В примечаниях указано четыре заказа за этот год, поэтому этот клиент важен, но я не подтвердил местонахождение посылки. Я предложу сейчас кредит в пределах установленного лимита, сообщу клиенту, когда менеджер ответит, и попрошу перевозчика предоставить информацию об отслеживании, чтобы согласование прошло быстро».

Критическая ошибка. Возврат средств без согласования регистрируется как критическая ошибка, независимо от других показателей, поскольку выходит за рамки полномочий агента.

Обратите внимание на действия ведущих. Два эксперта, участвовавшие в начале, теперь будут искать одно и то же: решение, приведенные доказательства, заявленную неопределенность и границу.

Где интерактивная доставка помогает

Интерактивные форматы помогают в практике и калибровке, поскольку каждый участник подтверждает свой ответ до того, как увидит ответ группы. На сессии в режиме реального времени модератор может показать пример ответа, попросить каждого участника оценить его в частном порядке, а затем показать итоговую оценку перед обсуждением. Те же самые примеры можно использовать для самостоятельной подготовки. AhaSlides поддерживает интерактивное обучение и переключение между режимом реального времени и самостоятельным обучением. Проверьте любые конкретные функции создания контента, обратной связи или отчетности, которые вы планируете использовать, на соответствие вашему рабочему процессу, и рассматривайте функции ИИ, моделирования и интеграции как внешние или неподтвержденные, пока не убедитесь в их работоспособности. Для получения рекомендаций по выбору формата см. Когда использовать адаптивное, интерактивное и обучение в режиме реального времени?Чтобы подобрать задания, соответствующие уровню мышления, который вы хотите оценить, ознакомьтесь с нашим руководством. соответствие учебных мероприятий таксономии Блума.

Измерьте, что изменилось.

Заранее определите, какие доказательства подтвердят способность обучающихся выполнить задание. Сравните результаты на новом, ранее не встречавшемся примере с базовым уровнем и оцените качество рассуждений, а также принятое решение. Определите, кто включен в сравнение, знаменатель и временные рамки. Если результаты улучшатся, проверьте, что еще изменилось за тот же период, например, новый инструмент или другой набор заданий, прежде чем засчитывать обучение.

Ограничения, которые могут остаться

Даже хорошо разработанная система критериев не решает всех проблем:

• Время, затраченное оценщиком. Калибровка и пилотирование требуют времени, которое необходимо спланировать.
• Авторитет на реальной работе. Учащийся может хорошо рассуждать в ходе выполнения упражнения, но при этом не обладать достаточными полномочиями для подобных действий на работе.
• Обзор дела. Один случай демонстрирует одно решение. Единичный балл не отражает суждения человека в целом.
• Перевод. Эффективность в безопасных условиях отличается от эффективности на рабочем месте. После соответствующего воздействия необходимо проверить возможность переноса.

Для каждого пункта необходимо разработать отдельный план исправления и сообщить об этом спонсорам. Рубрика делает оценку более понятной и справедливой. Она не превращает оценку в гарантию.

Часто задаваемые вопросы

В чём разница между рубрикой и контрольным списком?

Контрольный список фиксирует, было ли что-то сделано. Рубрика описывает, насколько хорошо это было сделано, на нескольких уровнях, поэтому она подходит для задач, требующих оценки и объяснения.

Сколько критериев должна содержать рубрика?

Обычно их несколько, от трех до пяти. Выберите те, которые соответствуют цели обучения, и отбросьте все, которые не повлияют на то, как вы будете использовать результат.

Может ли оценочная шкала устранить разногласия между экспертами?

Нет. Это может уменьшить проблему, особенно при использовании опорных точек и калибровке на реальных примерах, но все равно следует проверять согласованность оценок и исправлять неясные формулировки.

Следует ли использовать критерии оценки при принятии важных решений?

Только после пилотного тестирования и проверки специалистом, занимающим данную должность. Рассматривайте новую рубрику как черновик, пока не получите доказательства того, что она подходит для ваших учеников и заданий.

Когда начать

Выберите одно решение, которое ваши ученики должны принять правильно. Опишите доказательства, которые продемонстрирует компетентное выполнение задания, выберите три критерия, составьте для каждого оценочный критерий от 0 до 2 и перечислите критические ошибки. Затем попросите двух независимых экспертов оценить один и тот же пример, сравнить их оценки и исправить формулировки, прежде чем оценивать кого-либо.

Чтобы увидеть, как можно провести тестирование кейса в реальных условиях с вашей командой, а затем использовать его в удобном для вас темпе, изучите AhaSlides.