Kryteria oceny wyników: jak oceniać osąd i rozwiązywanie problemów w szkoleniu

Dwóch trenerów ogląda to samo nagranie, na którym nowa liderka zespołu decyduje, czy eskalować skargę klienta. Pierwszy z nich wystawia jej najwyższą ocenę: zachowała spokój i wybrała rozsądną opcję. Drugi ocenia ją przeciętnie: nie wyjaśniła, dlaczego ją wybrała ani czego nie wiedziała. Obaj trenerzy mają doświadczenie. Obaj korzystali z tego samego formularza. Żaden z nich nie jest błędny i to jest problem. Formularz nie wskazał im, na co zwrócić uwagę.

To przykładowy scenariusz, a nie udokumentowany przypadek klienta. Pokazuje on, dlaczego trudno ocenić osąd i rozwiązywanie problemów: dowody tkwią w rozumowaniu, a rozumowanie łatwo oceniać inaczej.

Ten przewodnik jest przeznaczony dla projektantów materiałów dydaktycznych, menedżerów szkoleń i kierowników działów L&D, którzy potrzebują rubryki oceny wyników, której będą w stanie bronić. Obejmuje on pięć kroków: zdefiniowanie dowodów, opracowanie obserwowalnych kryteriów, opisanie punktów odniesienia, kalibrację asesorów i pilotaż rubryki. Na końcu znajduje się przykładowy opis i ograniczenia, które pozostały.

Czym jest kryteria oceny wyników?

Rubryka oceny wyników to przewodnik punktowy dla zadania, w którym uczeń wykonuje jakąś czynność, a nie ją przypomina. Zawiera ona listę istotnych kryteriów, opisuje, jak wygląda każdy poziom punktacji i daje oceniającym wspólną podstawę do podejmowania decyzji. W przypadku osądu i rozwiązywania problemów zadanie zazwyczaj ma formę przypadku: uczeń decyduje, co zrobić, wyjaśnia swoją decyzję i mówi, co jeszcze powinien wiedzieć.

Rubryka nie jest testem wiedzy. Test sprawdzający znajomość reguł może potwierdzić ich znajomość. Rubryka pokazuje, czy dana osoba potrafi je zastosować w nieuporządkowanej sytuacji.

Szybkie fakty

1. Określ dowody wykonania

Zacznij od zadania, a nie od formy. Zapisz sytuację, z którą spotka się uczeń, decyzję, którą musi podjąć, i to, co uwidoczni kompetentne wykonanie. Określ szczegółowo kontekst i ograniczenia: jakie uprawnienia ma uczeń, jakie informacje mu przekazano i czego celowo brakuje?

Przydatnym testem jest pytanie, na co obserwator mógłby wskazać. Nie można wskazać na „Wykazuje dobrą ocenę sytuacji”. Można natomiast wskazać na „Określa, która procedura ma zastosowanie, wymienia jeden brakujący fakt i mówi, kogo by zapytał”.

Jeśli nie potrafisz opisać dowodów prostymi zdaniami, zadanie nie jest gotowe do zaliczenia. Najpierw popraw zadanie. Niejasne zadanie generuje niejasną rubrykę, niezależnie od tego, jak dopracowana by nie była.

2. Zapisz obserwowalne kryteria

Wybierz kilka kryteriów, które odpowiadają celowi edukacyjnemu. W przypadku osądu i rozwiązywania problemów, trzy z nich sprawdzają się w wielu rolach:

• Wykonywanie zadań. Uczeń podejmuje decyzję w ramach swoich uprawnień i zapisuje swój wybór oraz dowody, które go potwierdzają.
• Rozumowanie. Uczący się wyjaśnia ograniczenia, alternatywy i to, co jest jeszcze niepewne.
• Granic. Uczeń posługuje się zatwierdzonymi procedurami i prosi o pomoc, gdy brakuje mu informacji lub autorytetu.

Zapisz każde kryterium jako coś, co można zaobserwować w decyzji, wyjaśnieniu lub wynikach. Unikaj słów, które określają cechę, takich jak „solidny”, „dojrzały” lub „dobry”. Dwóch asesorów interpretuje te słowa inaczej.

Utrzymuj niską liczbę kryteriów. Każde dodatkowe kryterium daje oceniającym okazję do wyrażenia sprzeciwu i powód, dla którego uczniowie gonią za ocenami, zamiast się zastanawiać. Jeśli kryterium nie zmienia tego, co zrobisz z wynikiem, zrezygnuj z niego.

3. Opisz kotwice wydajności

Kotwica to krótki opis poziomu punktacji. Bez kotwic, wynik 1 lub 2 oznacza to, co oceniający chce, aby oznaczał.

W przypadku pierwszej wersji często wystarcza prosta, trzystopniowa skala:

Dla każdego kryterium dodaj krótki przykład brzmienia 0, 1 i 2 w kontekście Twojego zadania. Używaj prawdziwych sformułowań z próbnych prób, jeśli to możliwe. Zakotwiczenia w streszczeniu często wracają do niejasnych przymiotników.

Błędy krytyczne należy traktować osobno. Niektórych błędów nie należy uśredniać. Przykładami są działania wykraczające poza zakres uprawnień, zignorowanie procedury bezpieczeństwa lub przekroczenie limitu zgodności. Wymień je, pomijając kryteria punktowe, i określ konsekwencje: błąd krytyczny jest rejestrowany i podejmowane są odpowiednie działania, niezależnie od wyniku. W przeciwnym razie uczeń może uzyskać dobre wyniki w zakresie rozumowania i granic, podejmując jednocześnie działania, które byłyby niedopuszczalne w pracy.

4. Kalibracja asesorów przy użyciu przykładów

Rubryka sama w sobie nie jest punktowana. Asesorzy nadal ją interpretują, więc skalibruj ją przed oceną grupy.

1. Wybierz dwie lub trzy przykładowe odpowiedzi, które różnią się jakością. Najlepsze są rzeczywiste próby pilotażowe.
2. Niech każdy oceniający oceni je niezależnie przed jakąkolwiek dyskusją.
3. Porównaj wyniki i, co ważniejsze, dowody, na które powołała się każda osoba.
4. Jeśli wyniki się różnią, znajdź sformułowanie, które je spowodowało i zmień kryterium lub punkt odniesienia.
5. Powtarzaj z nowym przykładem, aż oceniający przyznają tę samą ocenę z tych samych powodów.

Celem jest wspólna interpretacja kryteriów, a nie zgoda sama w sobie. Jeśli dwóch asesorów przyzna tę samą ocenę z różnych powodów, rubryka nadal pozostaje niejednoznaczna.

Co mówią badania? Dowody są niejednoznaczne, więc należy się liczyć z pewnymi różnicami zdań i je ocenić. W badaniu z 2022 roku, dotyczącym nagranych badań klinicznych, opublikowanym w czasopiśmie „Fujita Medical Journal”, dwóch oceniających oceniło czterdzieści filmów. Pierwsze dziesięć oceniali bez moderacji, a pozostałe za każdym razem omawiali swoje oceny w odniesieniu do kryteriów rubryki. Zgodność, mierzona ważonym współczynnikiem kappa, wzrosła z 0.49 w pierwszych dziesięciu filmach do 0.82 w ostatnich dziesięciu (Watari i współpracownicy, 2022). Było to niewielkie studium jednego zadania egzaminacyjnego, więc traktuj to jako znak, że moderacja może pomóc, a nie jako obietnicę.

Samo szkolenie również nie daje gwarancji. Randomizowane badanie z 2014 roku, przeprowadzone na 21 oceniających, oceniających 242 studentów medycyny, wykazało, że krótka sesja szkoleniowa w oparciu o ramy odniesienia nie wpłynęła mierzalnie na poprawę dokładności poszczególnych oceniających, chociaż przeszkoleni oceniający uzyskali bardziej rygorystyczne wyniki i wyniki zbliżone do panelu odniesienia. Autorzy doszli do wniosku, że ocena wyników jest procesem wysoce indywidualnym (Weitz i współpracownicy, 2014). Praktyczna nauka polega na ciągłym przeprowadzaniu kalibracji na rzeczywistych przykładach, sprawdzaniu zgodności w trakcie punktowania i niezakładaniu, że pojedyncza sesja informacyjna jest wystarczająca.

5. Pilotuj i popraw rubrykę

Zanim zaczniesz stosować tę metodę w przypadku ważnych decyzji, przeprowadź jej pilotaż.

• Przeprowadź szkolenie z udziałem niewielkiej grupy uczniów i co najmniej dwóch oceniających.
• Zanotuj sytuacje, w których oceniający się nie zgadzają, i poproś każdego z nich o uzasadnienie swojej oceny.
• Sprawdź, czy kryteria oddzielają odpowiedzi silne od słabych. Jeśli każdy uczeń uzyska 2 punkty, zadanie lub punkty zaczepienia są zbyt łatwe.
• Zapytaj uczniów, co zostało wyjaśnione w rubryce, a co ich zdezorientowało.
• Dokonaj przeglądu, a następnie ponownie przeprowadź pilotaż w nowej obudowie.

Bądź szczery co do tego, co pokazuje program pilotażowy. Niezatwierdzona rubryka to robocza wersja. Nie jest to uniwersalny standard certyfikacji i nie należy jej wykorzystywać do podejmowania ważnych decyzji dotyczących ludzi, dopóki nie zostanie przejrzana przez specjalistę w tej roli i nie będziesz mieć dowodów na to, że sprawdza się w Twojej populacji.

Przykład praktyczny: decyzja o eskalacji

Ilustrujący. Praktyk wykonujący tę pracę powinien zweryfikować przypadek i kryteria odpowiedzi przed ich użyciem.

Walizka. Klient zgłasza opóźnienie w realizacji zamówienia i prosi o pełny zwrot pieniędzy. Agent może zaoferować zwrot do określonej kwoty bez konieczności zatwierdzania. Zwrot przekracza tę kwotę. Kierownik jest niedostępny przez dwie godziny. W notatkach widnieją cztery zamówienia w tym roku.

Co robi uczeń. Wybierz odpowiedź, uzasadnij decyzję, przytocz dowody i określ, jakich dodatkowych informacji lub wsparcia będą potrzebować.

Odpowiedź oceniona na 1 punkt za rozumowanie. „Zaproponowałbym zwrot pieniędzy, bo klient jest niezadowolony”. Decyzja została ogłoszona, ale nie ma żadnych dowodów, żadnej wzmianki o limicie i żadnej wskazówki, czego brakuje.

Odpowiedź oceniona na 2 punkt za rozumowanie. „Nie zwróciłbym kwoty przekraczającej limit bez uzyskania zgody. W notatkach widnieją cztery zamówienia w tym roku, więc ten klient ma znaczenie, ale nie potwierdziłem jeszcze, gdzie znajduje się paczka. Zaoferowałbym teraz zwrot w ramach limitu, poinformowałbym klienta, kiedy menedżer odpowie, i poprosił przewoźnika o aktualizację śledzenia, aby zatwierdzenie nastąpiło szybko”.

Krytyczny błąd. Zwrot pieniędzy bez zatwierdzenia jest rejestrowany jako błąd krytyczny, bez względu na wysokość pozostałych punktów, ponieważ wykracza poza uprawnienia agenta.

Zwróć uwagę na to, co zrobili rzecznicy. Obaj asesorzy z otwarcia będą teraz szukać tych samych rzeczy: decyzji, przytoczonych dowodów, podanej niepewności i granicy.

Gdzie interaktywna dostawa pomaga

Formaty interaktywne ułatwiają ćwiczenie i kalibrację, ponieważ każda osoba zobowiązuje się do odpowiedzi przed zapoznaniem się z odpowiedziami grupy. Podczas sesji na żywo prowadzący może pokazać przykładową odpowiedź, poprosić każdego asesora o jej ocenę w trybie indywidualnym, a następnie ujawnić rozkład przed dyskusją. Te same przypadki można wykorzystać do przygotowania we własnym tempie. AhaSlides wspiera interaktywną naukę i przełączanie się między trybem na żywo a trybem we własnym tempie. Sprawdź wszystkie konkretne funkcje tworzenia, przekazywania informacji zwrotnych lub raportowania, na których planujesz polegać, w kontekście własnego procesu pracy, i traktuj funkcje sztucznej inteligencji, symulacji i integracji jako zewnętrzne lub niepotwierdzone, dopóki nie przekonasz się, że działają. Wskazówki dotyczące wyboru formatów znajdziesz w artykule. kiedy stosować naukę adaptacyjną, interaktywną i na żywoAby dopasować aktywności do poziomu myślenia, który chcesz ocenić, zapoznaj się z naszym przewodnikiem dopasowywanie działań edukacyjnych do taksonomii Blooma.

Zmierz, co się zmieniło

Zdecyduj z wyprzedzeniem, jakie dowody wskazują na to, że uczniowie potrafią wykonać zadanie. Porównaj wyniki w nowym, nieznanym przypadku z sytuacją bazową i zwróć uwagę na jakość rozumowania oraz decyzji. Określ, kto jest uwzględniany, jaki jest mianownik i jaki był czas. Jeśli wyniki się poprawią, sprawdź, co jeszcze zmieniło się w tym samym okresie, na przykład nowe narzędzie lub inna kombinacja zadań, przed zaliczeniem szkolenia.

Ograniczenia, które mogą pozostać

Nawet dobrze skonstruowana rubryka nie rozwiąże wszystkich problemów:

• Czas oceniającego. Kalibracja i pilotowanie zajmują czas, który trzeba zaplanować.
• Autorytet w prawdziwej pracy. Uczeń może dobrze rozumować podczas ćwiczeń, ale mimo to nie mieć uprawnień, aby postępować w ten sposób w pracy.
• Relacja ze sprawy. Jeden przypadek pokazuje jedną decyzję. Pojedyncza ocena nie opisuje czyjejś ogólnej oceny.
• Transfer. Wydajność w bezpiecznym środowisku nie jest taka sama, jak wydajność w pracy. Sprawdź transfer po odpowiednim narażeniu.

Zaplanuj osobne poprawki dla tych problemów i poinformuj o tym sponsorów. Rubryka sprawia, że ​​ocena jest bardziej przejrzysta i sprawiedliwa. Nie zmienia ona wyniku w gwarancję.

PYTANIA I ODPOWIEDZI

Jaka jest różnica między rubryką a listą kontrolną?

Lista kontrolna rejestruje, czy coś zostało wykonane. Rubryka opisuje, jak dobrze zostało wykonane, na kilku poziomach, dzięki czemu nadaje się do zadań wymagających osądu i wyjaśnienia.

Ile kryteriów powinna zawierać rubryka?

Niewiele, zazwyczaj od trzech do pięciu. Wybierz te, które odpowiadają celowi nauczania i pomiń te, które nie wpłyną na wynik.

Czy rubryka może usunąć różnice zdań między oceniającymi?

Nie. Można to zmniejszyć, szczególnie przy użyciu kotwic i kalibracji na rzeczywistych przykładach, ale nadal należy sprawdzać zgodność podczas punktowania i korygowania niejasnych sformułowań.

Czy powinienem korzystać z rubryki przy podejmowaniu decyzji o dużym ryzyku?

Dopiero po pilotażu i przeglądzie przez praktyka w tej roli. Traktuj nową rubrykę jako wersję roboczą, dopóki nie uzyskasz dowodów na to, że sprawdza się w przypadku Twoich uczniów i zadania.

Gdzie zacząć

Wybierz jedną decyzję, którą Twoi uczniowie muszą dobrze podjąć. Zapisz dowody na to, że kompetentne wykonanie jest miarodajne, wybierz trzy kryteria, sporządź dla każdego punkt odniesienia w skali od 0 do 2 i wypisz krytyczne błędy. Następnie poproś dwóch asesorów o niezależną ocenę tego samego przykładu, porównaj ich dowody i popraw sformułowania, zanim ocenisz kogokolwiek.

Aby zobaczyć, jak można przeprowadzić analizę przypadku na żywo z udziałem własnego zespołu, a następnie ponownie wykorzystać ją w indywidualnym tempie, zapoznaj się z AhaSlides.