Двоє тренерів переглядають один і той самий запис, на якому новий керівник команди вирішує, чи передавати скаргу клієнта на розгляд. Перший ставить їй найвищу оцінку: вона залишилася спокійною та обрала розумний варіант. Другий ставить їй середню оцінку: вона ніколи не пояснювала, чому обрала його або чого не знала. Обидва тренери мають досвід. Обидва використовували одну й ту саму форму. Жодна з них не є неправильною, і в цьому проблема. Форма не підказувала їм, на що звертати увагу.
Це ілюстративний сценарій, а не задокументований випадок клієнта. Він показує, чому оцінити судження та вирішення проблем важко: докази містяться в міркуваннях, а міркування легко оцінити по-різному.
Цей посібник призначений для розробників навчальних програм, менеджерів з навчання та керівників відділів навчання та розвитку, яким потрібна рубрика оцінювання ефективності, яку вони можуть захистити. Він охоплює п'ять кроків: визначення доказів, опис критеріїв, що піддаються спостереженню, опис орієнтирів ефективності, калібрування оцінювачів та пілотне впровадження рубрики. Він завершується наведеним робочим прикладом та обмеженнями, що залишаються.
Що таке рубрика оцінювання успішності?
Рубрика оцінювання успішності – це посібник з оцінювання завдання, де учень щось робить, а не згадує. Вона перераховує важливі критерії, описує, як виглядає кожен рівень оцінки, і надає оцінювачам спільну основу для прийняття рішень. Для оцінювання та вирішення проблем завдання зазвичай є кейсом: учень вирішує, що робити, пояснює рішення та каже, що ще йому потрібно знати.
Рубрика – це не перевірка знань. Тест на повторення правил може підтвердити, що хтось знає правила. Рубрика показує, чи може людина застосовувати ці правила в неохайній ситуації.
Швидкі факти
| Питання | Коротка відповідь |
|---|---|
| Який бал ви отримуєте? | Рішення, пояснення та результати, які може спостерігати оцінювач. |
| Скільки критеріїв? | Невелика кількість, зазвичай від трьох до п'яти, пов'язана з метою. |
| Що робить якір корисним? | Описаний приклад того, як виглядає кожен рівень оцінки в цьому завданні. |
| Навіщо розділяти критичні помилки? | Отже, середній бал не може приховати небезпечну дію. |
| Як ви зменшуєте розбіжності? | Оцініть той самий приклад самостійно, порівняйте докази та виправте нечіткі формулювання. |
| Коли рубрика готова? | Після пілотного проекту, і лише для того завдання та групи населення, з якою ви його пілотували. |
1. Визначте докази ефективності
Почніть із завдання, а не з форми. Запишіть ситуацію, з якою зіткнеться учень, рішення, яке він має прийняти, і що буде видно в результаті компетентного виконання. Конкретно вкажіть контекст та обмеження: які повноваження має учень, яку інформацію йому надають, а що навмисно пропускають?
Корисним тестом є запитання, на що спостерігач може вказати. Не можна вказати на «демонструє здоровий глузд». Можна вказати на «зазначає, яка процедура застосовується, називає один факт, якого бракує, і каже, кого б вони запитали».
Якщо ви не можете описати докази простими реченнями, завдання не готове до оцінювання. Спочатку виправте завдання. Розпливчасте завдання породжує розпливчасту рубрику, якою б відшліфованою вона не виглядала.
2. Запишіть критерії, які можна спостерігати
Виберіть невелику кількість критеріїв, які відповідають навчальній меті. Для оцінювання та вирішення проблем три з них добре підходять у багатьох ролях:
- Виконання завдання. Учень приймає рішення в межах своїх повноважень та фіксує цей вибір і докази, що його підтверджують.
- Міркування. Учень пояснює обмеження, альтернативи та те, що все ще невизначено.
- Межі. Учень використовує затверджені процедури та звертається по допомогу, коли інформації чи авторитетних джерел бракує.
Запишіть кожен критерій як щось, що спостерігається в рішенні, поясненні або результаті. Уникайте слів, що називають рису, таких як «міцний», «зрілий» або «хороший». Два оцінювачі читають ці слова по-різному.
Зберігайте невелике число. Кожен додатковий критерій додає підстави для розбіжностей оцінювачів та привід для учнів ганятися за балами, а не думати. Якщо критерій не змінює те, що ви б зробили з результатом, відмовтеся від нього.
3. Опишіть ключові показники ефективності
Якір – це короткий опис того, як виглядає рівень оцінки. Без анкерів оцінка 1 або 2 означає те, що хоче бачити оцінювач.
Для першого варіанту часто достатньо простої трирівневої шкали:
| Рахунок | Сенс |
|---|---|
| 0 | Відсутній або непідтримуваний. |
| 1 | Частково, з відповідними пропусками. |
| 2 | Повний та обґрунтований відповідно до узгоджених критеріїв. |
Для кожного критерію додайте короткий приклад того, як звучать оцінки 0, 1 та 2 для вашого завдання. Використовуйте реальні формулювання з практики, де це можливо. Анотації, написані в абстрактному вигляді, як правило, повертаються до розпливчастих прикметників.
Розглядайте критичні помилки окремо. Деякі невдачі не слід ігнорувати. Прикладами є дії, що перевищують ваші повноваження, ігнорування заходів безпеки або порушення ліміту відповідності. Перелічіть їх окремо від критеріїв оцінювання та вкажіть наслідок: критична помилка фіксується та вживається подальших заходів незалежно від загальної кількості балів. В іншому випадку учень може отримати високі бали за міркування та межі, водночас вчинюючи дії, які були б неприйнятними на роботі.
4. Калібрування оцінювачів за допомогою прикладів
Рубрика не оцінює сама себе. Оцінювачі все одно інтерпретують її, тому калібруйте її, перш ніж оцінювати когорту.
- Виберіть два або три приклади відповідей, які відрізняються за якістю. Найкраще підійдуть реальні спроби пілотного проекту.
- Нехай кожен оцінювач оцінить їх незалежно, перед будь-яким обговоренням.
- Порівняйте бали та, що ще важливіше, докази, які наводила кожна людина.
- Якщо оцінки відрізняються, знайдіть формулювання, яке це спричинило, та змініть критерій або ключову фразу.
- Повторюйте з новим прикладом, доки оцінювачі не поставлять однакову оцінку з тих самих причин.
Метою є спільне тлумачення критеріїв, а не згоди заради їхньої самої мети. Якщо два оцінювачі ставлять однакову оцінку з різних причин, рубрика все одно залишається неоднозначною.
Що кажуть дослідження? Докази неоднозначні, тому підготуйтеся до деяких розбіжностей та оцініть їх. У дослідженні відеозаписів клінічних обстежень, опублікованому у 2022 році в Fujita Medical Journal, два оцінювачі оцінили сорок відео. Перші десять вони оцінювали без модерації, а решту кожного разу обговорювали свою оцінку за критеріями рубрики. Згода, виміряна за допомогою зваженого коефіцієнта каппа, зросла з 0.49 для перших десяти відео до 0.82 для останніх десяти (Ватарі та колеги, 2022). Це було невелике дослідження одного екзаменаційного завдання, тому сприймайте це як знак того, що модерація може допомогти, а не як обіцянку.
Саме лише навчання також не є гарантією. Рандомізоване дослідження 2014 року, в якому 21 оцінювач оцінювали 242 студентів-медиків, показало, що короткий навчальний сеанс з використанням системи референцій не покращив помітно точність окремих оцінювачів, хоча навчені оцінювачі оцінювали результати точніше та ближче до референтної панелі. Автори дійшли висновку, що оцінювання результатів є дуже індивідуальним (Вайц та колеги, 2014). Практичне завдання полягає в тому, щоб продовжувати калібрування на реальних прикладах, перевіряти узгодженість під час оцінювання та не вважати, що одного брифінгу достатньо.
5. Пілотне випробування та перегляд рубрики
Перш ніж використовувати рубрику для важливих рішень, протестуйте її.
- Проведіть його з невеликою групою учнів та двома або більше оцінювачами.
- Запишіть, з чим оцінювачі не погоджуються, і попросіть кожного пояснити свою оцінку.
- Перевірте, чи критерії розділяють сильні та слабкі відповіді. Якщо кожен учень отримує 2 бали, завдання або опорні точки занадто легкі.
- Запитайте учнів, що рубрика пояснила, а що їх спантеличило.
- Перегляньте, а потім знову запустіть пілотний проект з новою справою.
Будьте чесними щодо того, що показує пілотний проект. Невалідована рубрика – це робочий проект. Вона не є універсальним стандартом сертифікації, і її не слід використовувати для прийняття важливих рішень щодо людей, доки її не перегляне фахівець, який займає цю посаду, і у вас не буде доказів того, що вона працює для вашої групи населення.
Практичний приклад: рішення про ескалацію
Ілюстрація. Практик, який виконує цю роботу, повинен перевірити випадок та критерії відповіді перед використанням.
Справа. Клієнт повідомляє про затримку замовлення та просить повне відшкодування. Агент може запропонувати кредит до встановленої суми без схвалення. Відшкодування перевищує цю суму. Менеджер недоступний протягом двох годин. У примітках зазначено чотири замовлення цього року.
Що робить учень. Виберіть відповідь, поясніть рішення, наведіть докази та вкажіть, яка додаткова інформація чи підтримка їм потрібна.
Відповідь оцінюється в 1 бал за обґрунтованість. «Я б запропонував повернення коштів, бо клієнт засмучений». Рішення оголошено, але немає жодних доказів, жодної згадки про ліміт і жодних ознак того, чого бракує.
Відповідь оцінюється в 2 бал за обґрунтованість. «Я б не повертав кошти понад ліміт без схвалення. У примітках зазначено чотири замовлення цього року, тому цей клієнт важливий, але я не підтвердив, де знаходиться посилка. Я б запропонував кредит у межах мого ліміту зараз, повідомив би клієнту, коли менеджер відповість, і попросив би перевізника надати інформацію про відстеження, щоб схвалення було швидким».
Критична помилка. Видача відшкодування без схвалення реєструється як критична помилка незалежно від інших оцінок, оскільки вона виходить за межі повноважень агента.
Зверніть увагу на те, що зробили «якорі». Два оцінювачі з початку тепер шукатимуть одне й те саме: рішення, наведені докази, заявлену невизначеність та межу.
Де допомагає інтерактивна доставка
Інтерактивні формати допомагають у практиці та калібруванні, оскільки кожна людина зобов'язується відповісти, перш ніж побачити відповідь групи. Під час живого сеансу фасилітатор може показати зразок відповіді, попросити кожного оцінювача оцінити її приватно, а потім розкрити розкид перед обговоренням. Ті ж самі випадки можна використовувати у власному темпі для підготовки. AhaSlides підтримує інтерактивне навчання та перехід між живим та власним темпом. Перевірте будь-яку конкретну функцію створення, зворотного зв'язку чи звітності, на яку ви плануєте покладатися, порівняно з вашим власним робочим процесом, і розглядайте функції штучного інтелекту, моделювання та інтеграції як зовнішні або непідтверджені, доки ви не побачите їх у роботі. Щоб отримати рекомендації щодо вибору між форматами, див. коли використовувати адаптивне, інтерактивне та живе навчанняЩоб підібрати завдання відповідно до рівня мислення, який ви хочете оцінити, див. наш посібник зіставлення навчальних завдань з таксономією Блума.
Виміряйте, що змінилося
Заздалегідь вирішіть, які докази свідчитимуть про те, що учні можуть виконати завдання. Порівняйте результати роботи над новим, раніше невідомим випадком з базовим рівнем та перегляньте якість міркувань, а також рішення. Визначте, хто бере участь, знаменник та час. Якщо результати покращуються, перевірте, що ще змінилося за той самий період, наприклад, новий інструмент або інший набір робіт, перш ніж зараховувати навчання.
Обмеження, які можуть залишитися
Навіть добре складена рубрика не вирішує всіх проблем:
- Час оцінювача. Калібрування та пілотування потребують часу, який необхідно планувати.
- Авторитет у реальній роботі. Учень може добре міркувати під час виконання вправи, але все ж не мати повноважень діяти таким чином на роботі.
- Покриття справ. Один випадок показує одне рішення. Один бал не описує чиєсь судження загалом.
- Трансфер Продуктивність у безпечному середовищі не те саме, що продуктивність на роботі. Перевірте перенесення після відповідного впливу.
Заплануйте окремі виправлення для цих проблем і повідомте про це спонсорів. Рубрика робить оцінювання зрозумілішим і справедливішим. Вона не перетворює бал на гарантію.
Часті питання
Яка різниця між рубрикою та контрольним списком?
Контрольний список фіксує, чи було щось зроблено. Рубрика описує, наскільки добре це було зроблено на кількох рівнях, тому вона підходить для завдань, які потребують оцінки та пояснення.
Скільки критеріїв має містити рубрика?
Кілька, зазвичай від трьох до п'яти. Виберіть ті, що відповідають навчальній меті, і відкиньте ті, що не змінять те, що ви робите з результатом.
Чи може рубрика усунути розбіжності між оцінювачами?
Ні. Це може зменшити його, особливо з використанням опорних точок та калібрування на реальних прикладах, але вам все одно слід перевіряти узгодженість під час оцінювання та виправляти нечіткі формулювання.
Чи варто використовувати рубрику для важливих рішень?
Тільки після пілотного проекту та перевірки фахівцем, який відповідає за цю роль. Ставтеся до нової рубрики як до чернетки, доки не отримаєте доказів того, що вона підходить для ваших учнів та завдання.
З чого почати
Виберіть одне рішення, яке ваші учні повинні прийняти правильно. Напишіть докази того, що продемонструє компетентне виконання, виберіть три критерії, складіть для кожного критерію оцінку від 0 до 2 та перелічіть критичні помилки. Потім попросіть двох оцінювачів оцінити один і той самий приклад незалежно один від одного, порівняйте їхні докази та виправте формулювання, перш ніж ви оцінюєте когось.
Щоб побачити, як кейс може працювати в режимі реального часу з вашою командою та використовуватися знову у власному темпі згодом, ознайомтеся з AhaSlides.
