Rubrik penilaian prestasi: cara menilai pertimbangan dan penyelesaian masalah dalam latihan

Dua orang jurulatih menonton rakaman yang sama tentang seorang ketua pasukan baharu yang memutuskan sama ada untuk mengemukakan aduan pelanggan. Yang pertama memberikannya markah tertinggi: dia tetap tenang dan memilih pilihan yang bijak. Yang kedua memberikannya skor sederhana: dia tidak pernah menyatakan mengapa dia memilihnya atau apa yang dia tidak tahu. Kedua-dua jurulatih berpengalaman. Kedua-duanya menggunakan borang yang sama. Kedua-duanya tidak salah, dan itulah masalahnya. Borang itu tidak memberitahu mereka apa yang perlu dicari.

Ini adalah senario ilustrasi, bukan kes pelanggan yang didokumenkan. Ia menunjukkan mengapa pertimbangan dan penyelesaian masalah sukar untuk dinilai: bukti terdapat dalam penaakulan, dan penaakulan mudah untuk dinilai secara berbeza.

Panduan ini adalah untuk pereka bentuk pengajaran, pengurus latihan dan ketua P&P yang memerlukan rubrik penilaian prestasi yang boleh mereka pertahankan. Ia merangkumi lima langkah: mentakrifkan bukti, menulis kriteria yang boleh diperhatikan, menerangkan sauh prestasi, menentukur penilai dan merintis rubrik. Ia diakhiri dengan contoh yang telah diusahakan dan had yang masih ada.

Apakah rubrik penilaian prestasi?

Rubrik penilaian prestasi ialah panduan pemarkahan untuk tugasan di mana pelajar melakukan sesuatu dan bukannya mengingati sesuatu. Ia menyenaraikan kriteria yang penting, menerangkan rupa setiap tahap skor dan memberi penilai asas bersama untuk membuat keputusan. Untuk pertimbangan dan penyelesaian masalah, tugasan biasanya merupakan satu kes: pelajar memutuskan apa yang perlu dilakukan, menerangkan keputusan tersebut dan menyatakan apa lagi yang mereka perlu tahu.

Rubrik bukanlah ujian pengetahuan. Kuiz mengingat semula boleh mengesahkan bahawa seseorang mengetahui peraturan tersebut. Rubrik menunjukkan sama ada mereka boleh menggunakan peraturan tersebut apabila keadaan tidak kemas.

fakta Pantas

1. Tentukan bukti prestasi

Mulakan dengan tugasan, bukan borangnya. Tuliskan situasi yang akan dihadapi oleh pelajar, keputusan yang perlu mereka buat dan apa yang akan ditunjukkan oleh prestasi yang cekap. Pastikan konteks dan hadnya khusus: apakah autoriti yang dimiliki oleh pelajar, apakah maklumat yang diberikan kepada mereka dan apa yang sengaja hilang?

Satu ujian yang berguna adalah untuk bertanya apa yang boleh ditunjukkan oleh pemerhati. "Menunjukkan pertimbangan yang baik" tidak boleh ditunjukkan. "Menyatakan prosedur yang terpakai, menamakan satu fakta yang tiada dan menyatakan siapa yang akan mereka tanya" boleh.

Jika anda tidak dapat menerangkan bukti dalam ayat yang mudah, tugasan itu belum bersedia untuk diberi skor. Betulkan tugasan itu dahulu. Tugasan yang samar-samar menghasilkan rubrik yang samar-samar, walau bagaimanapun rupanya.

2. Tulis kriteria yang boleh diperhatikan

Pilih sebilangan kecil kriteria yang sepadan dengan objektif pembelajaran. Untuk pertimbangan dan penyelesaian masalah, tiga kriteria berfungsi dengan baik dalam pelbagai peranan:

• Pelaksanaan tugasan. Pelajar membuat keputusan mengikut autoriti mereka dan merekodkan pilihan tersebut serta bukti di sebaliknya.
• Berakal. Pelajar menerangkan kekangan, alternatif dan apa yang masih tidak pasti.
• Sempadan. Pelajar menggunakan prosedur yang diluluskan dan meminta bantuan apabila maklumat atau autoriti hilang.

Tulis setiap kriteria sebagai sesuatu yang dilihat dalam keputusan, penjelasan atau output. Elakkan perkataan yang menamakan sesuatu sifat, seperti "baik", "matang" atau "baik". Dua penilai membaca perkataan tersebut secara berbeza.

Kekalkan nombor yang rendah. Setiap kriteria tambahan memberi ruang kepada penilai untuk tidak bersetuju dan alasan untuk pelajar mengejar markah daripada berfikir. Jika kriteria tidak mengubah apa yang akan anda lakukan dengan hasilnya, buanglah kriteria tersebut.

3. Huraikan sauh prestasi

Sauh merupakan penerangan ringkas tentang bagaimana rupa tahap skor. Tanpa sauh, skor 1 atau 2 bermaksud apa sahaja yang dimaksudkan oleh penilai.

Skala tiga peringkat yang mudah selalunya cukup untuk versi pertama:

Bagi setiap kriteria, tambahkan contoh ringkas tentang bagaimana bunyi 0, 1 dan 2 untuk tugasan anda. Gunakan perkataan sebenar daripada percubaan latihan di mana sahaja yang anda boleh. Sauh yang ditulis dalam abstrak cenderung untuk kembali kepada kata adjektif yang samar-samar.

Rawat ralat kritikal secara berasingan. Sesetengah kegagalan tidak boleh dirata-ratakan. Bertindak di luar bidang kuasa anda, mengabaikan langkah keselamatan atau melanggar had pematuhan adalah contohnya. Senaraikannya selain daripada kriteria yang dijaringkan dan nyatakan akibatnya: ralat kritikal direkodkan dan disusuli apa sahaja yang dinyatakan dalam jumlah keseluruhan. Jika tidak, pelajar boleh mendapat markah yang baik dalam penaakulan dan batasan semasa mengambil tindakan yang tidak boleh diterima di tempat kerja.

4. Kalibrasi penilai menggunakan contoh

Rubrik tidak memberi skor dengan sendirinya. Penilai masih mentafsirkannya, jadi ukur sebelum anda memberi skor kepada kohort.

1. Pilih dua atau tiga contoh respons yang berbeza kualitinya. Percubaan sebenar daripada seorang jururunding adalah yang terbaik.
2. Minta setiap penilai memberi markah secara bebas, sebelum sebarang perbincangan.
3. Bandingkan skor dan, yang lebih penting, bukti yang dipetik oleh setiap orang.
4. Jika skor berbeza, cari perkataan yang menyebabkannya dan ubah kriteria atau sauh.
5. Ulang dengan contoh baharu sehingga penilai memberikan skor yang sama atas sebab yang sama.

Tujuannya adalah pembacaan kriteria secara bersama, bukan persetujuan untuk kepentingannya sendiri. Jika dua penilai memberikan skor yang sama atas sebab yang berbeza, rubriknya masih samar-samar.

Apakah yang dikatakan oleh kajian ini? Buktinya bercampur-campur, jadi rancang untuk beberapa perselisihan faham dan ukurnya. Dalam kajian pemeriksaan klinikal yang dirakam video pada tahun 2022 dalam Fujita Medical Journal, dua penilai menjaringkan empat puluh video. Untuk sepuluh pertama mereka menjaringkan tanpa kesederhanaan, dan untuk selebihnya mereka membincangkan pemarkahan mereka berdasarkan kriteria rubrik setiap kali. Persetujuan, diukur dengan pekali kappa berwajaran, meningkat daripada 0.49 pada sepuluh video pertama kepada 0.82 pada sepuluh terakhir (Watari dan rakan sekerja, 2022). Ia merupakan kajian kecil tentang satu tugasan peperiksaan, jadi anggaplah ia sebagai tanda bahawa kesederhanaan boleh membantu, bukan janji.

Latihan sahaja bukanlah jaminan. Satu kajian rawak pada tahun 2014 yang melibatkan 21 penilai yang menilai 242 pelajar perubatan mendapati bahawa sesi latihan kerangka rujukan yang singkat tidak meningkatkan ketepatan penilai individu secara terukur, walaupun penilai terlatih mendapat skor yang lebih ketat dan lebih hampir dengan panel rujukan. Penulis menyimpulkan bahawa penilaian prestasi adalah sangat individu (Weitz dan rakan sekerja, 2014). Bacaan praktikal adalah untuk meneruskan penentukuran pada contoh sebenar, semak persetujuan semasa anda mendapat skor, dan jangan menganggap satu sesi taklimat sahaja sudah mencukupi.

5. Rintis dan semak semula rubrik

Sebelum anda menggunakan rubrik untuk keputusan yang penting, kaji dahulu.

• Jalankannya dengan sekumpulan kecil pelajar dan dua atau lebih penilai.
• Rekodkan di mana penilai tidak bersetuju dan minta setiap seorang menjelaskan skor mereka.
• Pastikan kriteria tersebut mengasingkan respons kuat dan lemah. Jika setiap pelajar mendapat skor 2, tugasan atau sauh adalah terlalu mudah.
• Tanya pelajar apa yang dijelaskan oleh rubrik dan apa yang mengelirukan mereka.
• Semak semula, kemudian rintis sekali lagi dengan kes baharu.

Bersikap jujur ​​tentang apa yang ditunjukkan oleh projek rintis. Rubrik yang tidak disahkan adalah draf kerja. Ia bukanlah piawaian pensijilan universal dan ia tidak boleh digunakan untuk membuat keputusan berisiko tinggi tentang orang ramai sehingga pengamal dalam peranan tersebut telah menyemaknya dan anda mempunyai bukti bahawa ia berkesan untuk populasi anda.

Contoh yang berkesan: keputusan peningkatan

Ilustrasi. Seorang pengamal yang melakukan kerja ini harus mengesahkan kes dan kriteria jawapan sebelum digunakan.

Kes itu. Seorang pelanggan melaporkan pesanan yang tertangguh dan meminta bayaran balik penuh. Ejen boleh menawarkan kredit sehingga jumlah yang ditetapkan tanpa kelulusan. Bayaran balik melebihi jumlah tersebut. Pengurus tidak dapat dihubungi selama dua jam. Nota menunjukkan empat pesanan tahun ini.

Apa yang dilakukan oleh pelajar. Pilih satu respons, jelaskan keputusan tersebut, petik bukti dan nyatakan maklumat atau sokongan lanjut yang mereka perlukan.

Satu respons mendapat skor 1 untuk penaakulan. “Saya akan menawarkan bayaran balik kerana pelanggan kecewa.” Keputusan itu dinyatakan, tetapi tiada bukti, tiada sebutan tentang hadnya dan tiada tanda-tanda apa yang hilang.

Satu respons mendapat skor 2 untuk penaakulan. “Saya tidak akan membayar balik melebihi had saya tanpa kelulusan. Nota menunjukkan empat pesanan tahun ini, jadi pelanggan ini penting, tetapi saya belum mengesahkan di mana bungkusan itu berada. Saya akan menawarkan kredit dalam had saya sekarang, memberitahu pelanggan bila pengurus akan membalas dan meminta kemas kini penjejakan daripada syarikat penerbangan supaya kelulusan dapat dilakukan dengan cepat.”

Satu kesilapan kritikal. Mengeluarkan bayaran balik tanpa kelulusan direkodkan sebagai ralat kritikal walau apa pun skor lain, kerana ia melangkaui kuasa ejen.

Perhatikan apa yang dilakukan oleh sauh. Kedua-dua penilai dari pembukaan kini akan mencari perkara yang sama: keputusan, bukti yang dipetik, ketidakpastian yang dinyatakan dan sempadan.

Di mana penghantaran interaktif membantu

Format interaktif membantu dengan latihan dan penentukuran kerana setiap orang komited kepada jawapan sebelum melihat jawapan kumpulan. Dalam sesi langsung, fasilitator boleh menunjukkan sampel respons, meminta setiap penilai untuk memberi skor secara tertutup dan kemudian mendedahkan sebaran sebelum perbincangan. Kes yang sama boleh digunakan mengikut rentak kendiri untuk persediaan. AhaSlides menyokong pembelajaran interaktif dan beralih antara penyampaian langsung dan mengikut rentak kendiri. Semak sebarang fungsi pengarangan, maklum balas atau pelaporan tertentu yang anda rancang untuk anda andalkan berbanding aliran kerja anda sendiri, dan anggap ciri AI, simulasi dan integrasi sebagai luaran atau belum disahkan sehingga anda melihatnya berfungsi. Untuk panduan tentang memilih antara format, lihat bila perlu menggunakan pembelajaran adaptif, interaktif dan secara langsungUntuk memadankan aktiviti dengan tahap pemikiran yang ingin anda nilaikan, lihat panduan kami untuk memadankan aktiviti pembelajaran dengan Taksonomi Bloom.

Ukur apa yang berubah

Tentukan terlebih dahulu bukti yang menunjukkan bahawa pelajar boleh melakukan tugasan tersebut. Bandingkan prestasi pada kes baharu yang belum pernah berlaku dengan garis dasar, dan lihat kualiti penaakulan serta keputusan tersebut. Tentukan siapa yang disertakan, penyebut dan masa. Jika skor bertambah baik, semak apa lagi yang berubah dalam tempoh yang sama, seperti alat baharu atau campuran kerja yang berbeza, sebelum mengkreditkan latihan tersebut.

Kekangan yang mungkin kekal

Rubrik yang dibina dengan baik pun tidak menyelesaikan semuanya:

• Masa penilai. Penentukuran dan percubaan mengambil masa yang perlu dirancang.
• Autoriti dalam pekerjaan sebenar. Seorang pelajar mungkin bernas dalam latihan tetapi masih kekurangan autoriti untuk bertindak sedemikian di tempat kerja.
• Perlindungan kes. Satu kes menunjukkan satu keputusan. Skor tunggal tidak menggambarkan penilaian seseorang secara umum.
• Pindahkan. Prestasi dalam persekitaran yang selamat tidak sama dengan prestasi di tempat kerja. Periksa pemindahan selepas pendedahan yang sesuai.

Rancang pembetulan berasingan untuk perkara ini dan beritahu penaja. Rubrik menjadikan penilaian lebih jelas dan adil. Ia tidak menjadikan skor sebagai jaminan.

Soalan lazim

Apakah perbezaan antara rubrik dan senarai semak?

Senarai semak merekodkan sama ada sesuatu telah dilakukan. Rubrik menerangkan sejauh mana ia dilakukan dengan baik, pada beberapa peringkat, jadi ia sesuai dengan tugasan yang memerlukan pertimbangan dan penjelasan.

Berapa banyak kriteria yang perlu ada pada rubrik?

Beberapa, biasanya tiga hingga lima. Pilih yang sepadan dengan objektif pembelajaran, dan buang mana-mana yang tidak akan mengubah apa yang anda lakukan dengan hasilnya.

Bolehkah rubrik menghapuskan perselisihan faham antara penilai?

Tidak. Ia boleh mengurangkannya, terutamanya dengan sauh dan penentukuran pada contoh sebenar, tetapi anda masih harus menyemak persetujuan semasa anda memberi skor dan menyemak semula perkataan yang tidak jelas.

Patutkah saya menggunakan rubrik untuk keputusan berisiko tinggi?

Hanya selepas ujian rintis dan semakan oleh pengamal dalam peranan tersebut. Anggap rubrik baharu sebagai draf sehingga anda mempunyai bukti bahawa ia sesuai untuk pelajar dan tugasan anda.

Di mana untuk bermula

Pilih satu keputusan yang mesti dibuat dengan baik oleh pelajar anda. Tulis bukti yang akan ditunjukkan oleh prestasi yang cekap, pilih tiga kriteria, drafkan sauh 0 hingga 2 untuk setiap satu dan senaraikan ralat kritikal. Kemudian minta dua penilai memberi skor kepada contoh yang sama secara bebas, bandingkan bukti mereka dan betulkan perkataan sebelum anda memberi skor kepada sesiapa pun.

Untuk melihat bagaimana kes boleh dijalankan secara langsung dengan pasukan anda sendiri, dan digunakan semula mengikut rentak kendiri selepas itu, terokai AhaSlides.