Performans değerlendirme ölçütü: Eğitimde muhakeme ve problem çözme becerilerinin nasıl değerlendirileceği

İki eğitmen, yeni bir ekip liderinin müşteri şikayetini üst kademeye iletme kararı verdiği aynı kaydı izliyor. Birincisi ona en yüksek notu veriyor: sakin kaldı ve mantıklı bir seçenek seçti. İkincisi ise orta düzeyde bir not veriyor: neden böyle bir seçim yaptığını veya neyi bilmediğini hiç söylemedi. Her iki eğitmen de deneyimli. İkisi de aynı formu kullandı. İkisi de yanlış değil ve sorun da bu zaten. Form, onlara neye dikkat etmeleri gerektiğini söylemedi.

Bu, belgelenmiş bir müşteri vakası değil, örnek bir senaryodur. Yargılama ve problem çözmenin neden değerlendirilmesinin zor olduğunu gösterir: kanıt, akıl yürütmededir ve akıl yürütmeyi farklı şekilde puanlamak kolaydır.

Bu kılavuz, savunabilecekleri bir performans değerlendirme ölçütüne ihtiyaç duyan eğitim tasarımcıları, eğitim yöneticileri ve İK ve Öğrenme Birimi başkanları içindir. Beş adımı kapsar: kanıtları tanımlama, gözlemlenebilir kriterleri yazma, performans ölçütlerini açıklama, değerlendiricileri kalibre etme ve ölçütü pilot uygulama ile test etme. Son olarak, bir örnek uygulama ve kalan sınırlamalarla birlikte sunulmaktadır.

Performans değerlendirme rubriği nedir?

Performans değerlendirme rubriği, öğrencinin bir şeyi hatırlamak yerine bir şey yapmasını gerektiren bir görev için puanlama kılavuzudur. Önemli kriterleri listeler, her puan seviyesinin neye benzediğini açıklar ve değerlendiricilere karar verme için ortak bir temel sağlar. Yargılama ve problem çözme için görev genellikle bir vaka çalışmasıdır: öğrenci ne yapacağına karar verir, kararını açıklar ve başka neleri bilmesi gerektiğini söyler.

Değerlendirme ölçeği bir bilgi testi değildir. Hatırlama testi, birinin kuralları bildiğini doğrulayabilir. Değerlendirme ölçeği ise, durum karmaşıklaştığında bu kuralları uygulayabilme yeteneğini gösterir.

Hızlı gerçekler

1. Performans kanıtlarını tanımlayın.

Öncelikle formdan değil, görevden başlayın. Öğrencinin karşılaşacağı durumu, vermesi gereken kararı ve yetkin bir performansın neleri ortaya çıkaracağını yazın. Bağlam ve sınırlamalar konusunda spesifik olun: öğrencinin hangi yetkisi var, hangi bilgiler veriliyor ve kasıtlı olarak neler eksik bırakılıyor?

Faydalı bir test, bir gözlemcinin neye işaret edebileceğini sormaktır. "İyi muhakeme gösteriyor" ifadesi işaret edilemez. "Hangi prosedürün uygulanacağını belirtiyor, eksik olan bir gerçeği adlandırıyor ve kime soracağını söylüyor" ifadesi ise işaret edilebilir.

Kanıtları sade cümlelerle açıklayamıyorsanız, görev puanlamaya hazır değildir. Önce görevi düzeltin. Belirsiz bir görev, ne kadar cilalı görünürse görünsün, belirsiz bir değerlendirme kriteri üretir.

2. Gözlemlenebilir kriterleri yazın.

Öğrenme hedefine uygun az sayıda kriter seçin. Yargılama ve problem çözme için, birçok rolde üç kriter iyi sonuç verir:

• Görev yürütme. Öğrenci, yetkisi dahilinde bir karar verir ve bu kararı ve dayanaklarını kaydeder.
• Akıl yürütme. Öğrenci kısıtlamaları, alternatifleri ve hâlâ belirsiz olan noktaları açıklıyor.
• Sınırlar. Öğrenci onaylanmış prosedürleri kullanır ve bilgi veya yetki eksikliği olduğunda yardım ister.

Her bir kriteri, bir kararda, açıklamada veya sonuçta görülen bir şey olarak yazın. "Sağlam", "olgun" veya "iyi" gibi bir özelliği adlandıran kelimelerden kaçının. İki değerlendirici bu kelimeleri farklı şekilde yorumlar.

Sayıyı düşük tutun. Her ek kriter, değerlendiricilerin anlaşmazlığa düşebileceği bir nokta ve öğrencilerin düşünmek yerine not peşinde koşmaları için bir neden daha yaratır. Bir kriter, sonuçla ilgili yapacağınız şeyi değiştirmiyorsa, onu kaldırın.

3. Performans ölçütlerini açıklayın.

Bir puanlama düzeyinin neye benzediğini kısaca açıklayan bir referans noktası (çapa) bulunur. Referans noktaları olmadan, 1 veya 2 puan, değerlendiricinin istediği anlama gelebilir.

İlk versiyon için genellikle basit bir üç seviyeli ölçek yeterlidir:

Her bir kriter için, göreviniz için 0, 1 ve 2'nin nasıl bir anlam ifade ettiğine dair kısa bir örnek ekleyin. Mümkün olduğunca uygulama denemelerinizden gerçek kelimeler kullanın. Soyut olarak yazılan referans noktaları genellikle belirsiz sıfatlara geri dönme eğilimindedir.

Kritik hataları ayrı olarak ele alın. Bazı hatalar ortalamaya dahil edilmemelidir. Yetki sınırlarını aşmak, güvenlik önlemini göz ardı etmek veya uyumluluk sınırını ihlal etmek bunlara örnektir. Bunları puanlama kriterlerinden ayrı olarak listeleyin ve sonuçlarını belirtin: toplam puan ne olursa olsun, kritik bir hata kaydedilir ve takip edilir. Aksi takdirde, bir öğrenci akıl yürütme ve sınırlar konusunda iyi puan alırken, iş yerinde kabul edilemez bir eylemde bulunabilir.

4. Örnekler kullanarak değerlendiricileri kalibre edin.

Değerlendirme kriterleri kendi kendini değerlendirmez. Değerlendiriciler yine de onu yorumlar, bu nedenle bir grubu değerlendirmeden önce kalibrasyon yapın.

1. Kalite bakımından farklılık gösteren iki veya üç örnek yanıt seçin. Pilot uygulamadan alınan gerçek denemeler en iyisidir.
2. Tartışma başlamadan önce, her değerlendiricinin bunları bağımsız olarak puanlamasını sağlayın.
3. Puanları ve daha da önemlisi, her kişinin sunduğu kanıtları karşılaştırın.
4. Puanlarda farklılık varsa, buna neden olan ifadeyi bulun ve ölçütü veya referans noktasını değiştirin.
5. Değerlendiriciler aynı nedenlerle aynı puanı verene kadar yeni bir örnekle işlemi tekrarlayın.

Amaç, kriterlerin ortak bir şekilde yorumlanmasıdır, sırf anlaşma olsun diye değil. İki değerlendirici farklı nedenlerle aynı puanı verirse, değerlendirme ölçütü yine de belirsizdir.

Araştırmalar ne diyor? Kanıtlar karışık, bu yüzden bazı görüş ayrılıklarına hazırlıklı olun ve bunları ölçün. Fujita Tıp Dergisi'nde 2022 yılında yayınlanan, video kaydı alınmış klinik muayenelerle ilgili bir çalışmada, iki değerlendirici kırk videoyu puanladı. İlk on video için herhangi bir moderasyon olmadan puanlama yaptılar ve geri kalanlar için her seferinde değerlendirme kriterlerine göre puanlamalarını tartıştılar. Ağırlıklı kappa katsayısı ile ölçülen uyum, ilk on videoda 0.49'dan son on videoda 0.82'ye yükseldi.Watari ve meslektaşları, 2022Bu, tek bir sınav sorusuna yönelik küçük bir çalışmaydı, bu nedenle bunu ölçülülüğün yardımcı olabileceğine dair bir işaret olarak değerlendirin, bir garanti olarak değil.

Sadece eğitim de tek başına bir garanti değildir. 2014 yılında 242 tıp öğrencisini değerlendiren 21 değerlendiriciyle yapılan rastgele bir çalışmada, kısa bir referans çerçevesi eğitim seansının, bireysel değerlendiricilerin doğruluğunu ölçülebilir şekilde iyileştirmediği, ancak eğitimli değerlendiricilerin daha titiz ve referans paneline daha yakın puanlar verdiği bulunmuştur. Yazarlar, performansı değerlendirmenin son derece bireysel olduğu sonucuna varmışlardır.Weitz ve meslektaşları, 2014Pratikte önemli olan, kalibrasyonu gerçek örnekler üzerinde sürdürmek, puanlama yaparken uyumu kontrol etmek ve tek bir bilgilendirme oturumunun yeterli olduğunu varsaymamaktır.

5. Değerlendirme kriterlerini pilot uygulama olarak test edin ve gözden geçirin.

Önemli kararlar için bu değerlendirme ölçütünü kullanmadan önce, pilot uygulamasını yapın.

• Bu uygulamayı küçük bir öğrenci grubu ve iki veya daha fazla değerlendirici ile gerçekleştirin.
• Değerlendiricilerin görüş ayrılığı yaşadığı noktaları kaydedin ve her birinden puanlarını açıklamalarını isteyin.
• Kriterlerin güçlü ve zayıf yanıtları birbirinden ayırdığından emin olun. Eğer her öğrenci 2 puan alıyorsa, görev veya sorular çok kolaydır.
• Öğrencilere değerlendirme kriterlerinin neleri açıklığa kavuşturduğunu ve neleri kafalarını karıştırdığını sorun.
• Gözden geçirin, ardından yeni bir vaka ile tekrar pilot uygulama yapın.

Pilot uygulamanın gösterdikleri konusunda dürüst olun. Doğrulanmamış bir değerlendirme ölçütü, çalışma taslağıdır. Evrensel bir sertifikasyon standardı değildir ve bu alanda çalışan bir uzman tarafından incelenip, hedef kitleniz için işe yaradığına dair kanıtınız olana kadar, kişiler hakkında yüksek riskli kararlar almak için kullanılmamalıdır.

Örnek bir uygulama: bir üst kademeye yükseltme kararı

Örnek niteliğindedir. Bu çalışmayı yapan bir uzman, kullanmadan önce vakayı ve cevap kriterlerini doğrulamalıdır.

Dosya. Bir müşteri siparişinin geciktiğini bildiriyor ve tam para iadesi istiyor. Müşteri temsilcisi, onay almadan belirli bir miktara kadar kredi teklif edebilir. Para iadesi bu miktarın üzerindedir. Müdür iki saat boyunca müsait değil. Notlarda bu yıl dört sipariş olduğu görülüyor.

Öğrencinin yaptığı şey. Bir yanıt seçin, kararı açıklayın, kanıtları belirtin ve daha fazla hangi bilgi veya desteğe ihtiyaç duyacaklarını söyleyin.

Yanıt, mantık yürütme açısından 1 puan aldı. “Müşteri üzgün olduğu için para iadesi teklif ediyorum.” Karar belirtiliyor, ancak hiçbir kanıt yok, sınırdan bahsedilmiyor ve neyin eksik olduğuna dair hiçbir işaret yok.

Yanıt, mantık yürütme açısından 2 puan aldı. “Onay almadan limitimin üzerinde para iadesi yapmam. Notlarda bu yıl dört sipariş görünüyor, bu nedenle bu müşteri önemli, ancak paketin nerede olduğunu teyit etmedim. Şimdi limitim dahilinde bir kredi teklif ederdim, müşteriye yöneticinin ne zaman yanıt vereceğini bildirir ve onay sürecinin hızlı olması için kargo şirketinden takip güncellemesi isterdim.”

Kritik bir hata. Onay alınmadan para iadesi yapılması, diğer puanlar ne olursa olsun, yetkilinin yetkisini aştığı için kritik bir hata olarak kaydedilir.

Çapa noktalarının ne yaptığına dikkat edin. Açılıştaki iki değerlendirici şimdi aynı şeyleri arayacak: karar, sunulan kanıt, belirtilen belirsizlik ve sınır.

Etkileşimli sunumun yardımcı olduğu yerler

Etkileşimli formatlar, her katılımcının grubun cevabını görmeden önce bir cevaba karar vermesi sayesinde uygulama ve kalibrasyona yardımcı olur. Canlı bir oturumda, kolaylaştırıcı örnek bir yanıt gösterebilir, her değerlendiriciden bunu özel olarak puanlamasını isteyebilir ve ardından tartışmadan önce sonuçları açıklayabilir. Aynı örnekler, hazırlık için kendi hızınızda da kullanılabilir. AhaSlides, etkileşimli öğrenmeyi ve canlı ile kendi hızınızda sunum arasında geçişi destekler. Kullanmayı planladığınız herhangi bir özel yazma, geri bildirim veya raporlama işlevini kendi iş akışınıza göre kontrol edin ve yapay zeka, simülasyon ve entegrasyon özelliklerini, çalıştıklarını görene kadar harici veya doğrulanmamış olarak değerlendirin. Formatlar arasında seçim yapma konusunda rehberlik için bkz. Uyarlanabilir, etkileşimli ve canlı öğrenmeyi ne zaman kullanmalı?Değerlendirmek istediğiniz düşünme düzeyine uygun etkinlikleri seçmek için kılavuzumuza bakın. Öğrenme etkinliklerini Bloom Taksonomisi ile eşleştirmek.

Değişenleri ölçün

Öğrencilerin görevi yapabileceğini gösteren kanıtların neler olacağına önceden karar verin. Yeni, daha önce görülmemiş bir vakadaki performansı temel bir performansla karşılaştırın ve karar verme kalitesinin yanı sıra muhakeme kalitesine de bakın. Kimlerin dahil edileceğini, paydayı ve zamanlamayı tanımlayın. Puanlar iyileşirse, eğitimi onaylamadan önce aynı dönemde başka nelerin değiştiğini (örneğin yeni bir araç veya farklı bir iş karışımı) kontrol edin.

Kalabilecek kısıtlamalar

İyi hazırlanmış bir değerlendirme sistemi bile her şeyi çözmez:

• Değerlendirme görevlisinin çalışma süresi. Kalibrasyon ve pilot uygulama, planlanması gereken zaman gerektiren bir süreçtir.
• Gerçek işte otorite. Öğrenci alıştırmada iyi bir şekilde akıl yürütebilir ancak iş yerinde bu şekilde davranma yetkisine sahip olmayabilir.
• Dava kapsamı. Bir vaka, bir kararı gösterir. Tek bir puan, bir kişinin genel yargı yeteneğini tanımlamaz.
• Aktarım. Güvenli bir ortamdaki performans, iş yerindeki performansla aynı değildir. Uygun maruz kalma sonrasında transferi kontrol edin.

Bunlar için ayrı ayrı çözümler planlayın ve sponsorlara bildirin. Bir değerlendirme ölçütü, değerlendirmeyi daha net ve adil hale getirir. Ancak bir puanı garantiye dönüştürmez.

Sık Sorulan Sorular

Değerlendirme ölçeği ile kontrol listesi arasındaki fark nedir?

Bir kontrol listesi, bir şeyin yapılıp yapılmadığını kaydeder. Bir değerlendirme ölçeği ise, işin ne kadar iyi yapıldığını çeşitli seviyelerde açıklar; bu nedenle, yargılama ve açıklama gerektiren görevler için uygundur.

Bir değerlendirme ölçeğinde kaç kriter bulunmalıdır?

Az sayıda, genellikle üç ila beş tane. Öğrenme hedefine uyanları seçin ve sonucu nasıl kullanacağınızı değiştirmeyecek olanları eleyin.

Değerlendirme kriterleri, değerlendiriciler arasındaki görüş ayrılıklarını ortadan kaldırabilir mi?

Hayır. Özellikle gerçek örnekler üzerinde referans noktaları ve kalibrasyon ile azaltılabilir, ancak yine de puanlama yaparken uyumu kontrol etmeli ve belirsiz ifadeleri düzeltmelisiniz.

Önemli kararlar için bir değerlendirme ölçütü kullanmalı mıyım?

Ancak, ilgili alanda çalışan bir uzman tarafından pilot uygulama ve inceleme yapıldıktan sonra kullanıma sunulmalıdır. Yeni bir değerlendirme ölçütünü, öğrencileriniz ve göreviniz için işe yaradığına dair kanıtınız olana kadar taslak olarak değerlendirin.

Nerede başlar

Öğrencilerinizin iyi vermesi gereken bir karar seçin. Yetkin bir performansın göstereceği kanıtları yazın, üç kriter belirleyin, her biri için 0 ile 2 arasında bir puanlama sistemi oluşturun ve kritik hataları listeleyin. Ardından, iki değerlendiricinin aynı örneği bağımsız olarak puanlamasını sağlayın, kanıtlarını karşılaştırın ve herhangi birini puanlamadan önce kelime seçimini düzeltin.

Bir vaka çalışmasının kendi ekibinizle nasıl canlı olarak yürütülebileceğini ve sonrasında kendi hızınızda tekrar nasıl kullanılabileceğini görmek için AhaSlides'ı inceleyin.