Rubrik penilaian kinerja: bagaimana menilai kemampuan pengambilan keputusan dan pemecahan masalah dalam pelatihan.

Dua pelatih menonton rekaman yang sama tentang seorang pemimpin tim baru yang memutuskan apakah akan meneruskan keluhan pelanggan ke tingkat yang lebih tinggi. Pelatih pertama memberikan nilai tertinggi: dia tetap tenang dan memilih opsi yang masuk akal. Pelatih kedua memberikan nilai rata-rata: dia tidak pernah mengatakan mengapa dia memilih opsi itu atau apa yang tidak dia ketahui. Kedua pelatih berpengalaman. Keduanya menggunakan formulir yang sama. Tidak ada yang salah, dan itulah masalahnya. Formulir tersebut tidak memberi tahu mereka apa yang harus dicari.

Ini adalah skenario ilustratif, bukan kasus pelanggan yang terdokumentasi. Ini menunjukkan mengapa penilaian dan pemecahan masalah sulit untuk dievaluasi: buktinya terletak pada penalaran, dan penalaran mudah dinilai secara berbeda.

Panduan ini ditujukan untuk perancang pembelajaran, manajer pelatihan, dan kepala L&D yang membutuhkan rubrik penilaian kinerja yang dapat mereka pertahankan. Panduan ini mencakup lima langkah: mendefinisikan bukti, menulis kriteria yang dapat diamati, menjelaskan indikator kinerja, mengkalibrasi penilai, dan menguji coba rubrik. Panduan ini diakhiri dengan contoh kasus dan batasan yang masih ada.

Apa itu rubrik penilaian kinerja?

Rubrik penilaian kinerja adalah panduan penilaian untuk tugas di mana peserta didik melakukan sesuatu, bukan mengingat sesuatu. Rubrik ini mencantumkan kriteria yang penting, menjelaskan seperti apa setiap tingkat skor, dan memberikan dasar bersama bagi penilai untuk mengambil keputusan. Untuk penilaian dan pemecahan masalah, tugasnya biasanya berupa studi kasus: peserta didik memutuskan apa yang harus dilakukan, menjelaskan keputusan tersebut, dan mengatakan apa lagi yang perlu mereka ketahui.

Rubrik bukanlah tes pengetahuan. Kuis mengingat dapat mengkonfirmasi bahwa seseorang mengetahui aturannya. Rubrik menunjukkan apakah mereka dapat menerapkan aturan tersebut ketika situasinya tidak teratur.

fakta cepat

1. Definisikan bukti kinerja

Mulailah dengan tugas, bukan bentuknya. Tuliskan situasi yang akan dihadapi peserta didik, keputusan yang harus mereka buat, dan apa yang akan terlihat dari kinerja yang kompeten. Jelaskan secara spesifik konteks dan batasannya: otoritas apa yang dimiliki peserta didik, informasi apa yang diberikan kepada mereka, dan apa yang sengaja dihilangkan?

Uji yang berguna adalah dengan menanyakan apa yang dapat ditunjuk oleh pengamat. Pernyataan "Menunjukkan penilaian yang baik" tidak dapat ditunjuk. Pernyataan "Menyatakan prosedur mana yang berlaku, menyebutkan satu fakta yang hilang dan mengatakan kepada siapa mereka akan bertanya" dapat ditunjuk.

Jika Anda tidak dapat menjelaskan bukti dalam kalimat yang jelas, tugas tersebut belum siap untuk dinilai. Perbaiki tugasnya terlebih dahulu. Tugas yang tidak jelas akan menghasilkan rubrik penilaian yang juga tidak jelas, betapapun rapi kelihatannya.

2. Tuliskan kriteria yang dapat diamati

Pilihlah sejumlah kecil kriteria yang sesuai dengan tujuan pembelajaran. Untuk penilaian dan pemecahan masalah, tiga kriteria berikut cocok untuk berbagai peran:

• Pelaksanaan tugas. Peserta didik membuat keputusan dalam wewenangnya dan mencatat pilihan serta bukti yang mendasarinya.
• Pemikiran. Peserta didik menjelaskan kendala, alternatif, dan hal-hal yang masih belum pasti.
• Batasan. Peserta didik menggunakan prosedur yang telah disetujui dan meminta bantuan jika informasi atau wewenang tidak tersedia.

Tuliskan setiap kriteria sebagai sesuatu yang terlihat dalam sebuah keputusan, penjelasan, atau hasil. Hindari kata-kata yang menyebutkan suatu sifat, seperti "baik", "dewasa", atau "bagus". Dua penilai akan membaca kata-kata tersebut secara berbeda.

Pertahankan jumlah kriteria seminimal mungkin. Setiap kriteria tambahan memberi ruang bagi penilai untuk berbeda pendapat dan alasan bagi peserta didik untuk mengejar nilai daripada berpikir. Jika suatu kriteria tidak mengubah apa yang akan Anda lakukan dengan hasilnya, hilangkan saja.

3. Jelaskan jangkar kinerja

Jangkar adalah deskripsi singkat tentang seperti apa tingkat skor tersebut. Tanpa jangkar, skor 1 atau 2 berarti apa pun yang diinginkan penilai.

Skala tiga tingkat sederhana seringkali sudah cukup untuk versi pertama:

Untuk setiap kriteria, tambahkan contoh singkat tentang bagaimana angka 0, 1, dan 2 terdengar untuk tugas Anda. Gunakan kata-kata nyata dari percobaan latihan jika memungkinkan. Kata-kata acuan yang ditulis secara abstrak cenderung kembali ke kata sifat yang samar.

Tangani kesalahan kritis secara terpisah. Beberapa kegagalan tidak boleh dirata-ratakan. Bertindak di luar wewenang, mengabaikan langkah keselamatan, atau melanggar batas kepatuhan adalah contohnya. Cantumkan kegagalan tersebut secara terpisah dari kriteria penilaian dan nyatakan konsekuensinya: kesalahan kritis dicatat dan ditindaklanjuti terlepas dari total skornya. Jika tidak, peserta didik dapat memperoleh skor tinggi pada penalaran dan batasan sambil melakukan tindakan yang tidak dapat diterima di tempat kerja.

4. Kalibrasi penilai menggunakan contoh.

Rubrik penilaian tidak memberikan skor secara otomatis. Penilai masih menafsirkannya, jadi lakukan kalibrasi sebelum memberikan skor pada suatu kelompok.

1. Pilih dua atau tiga contoh respons yang berbeda kualitasnya. Upaya nyata dari seorang pilot adalah yang terbaik.
2. Mintalah setiap penilai untuk memberikan skor secara independen, sebelum diskusi apa pun.
3. Bandingkan skor dan, yang lebih penting, bukti yang dikutip oleh setiap orang.
4. Jika skor berbeda, temukan kata-kata yang menyebabkan perbedaan tersebut dan ubah kriteria atau acuannya.
5. Ulangi dengan contoh baru hingga penilai memberikan skor yang sama dengan alasan yang sama.

Tujuannya adalah pemahaman bersama terhadap kriteria, bukan kesepakatan demi kesepakatan itu sendiri. Jika dua penilai memberikan skor yang sama karena alasan yang berbeda, rubrik tersebut tetap ambigu.

Apa kata penelitian? Buktinya beragam, jadi persiapkan diri untuk kemungkinan perbedaan pendapat dan ukurlah. Dalam sebuah studi tahun 2022 tentang pemeriksaan klinis yang direkam video di Fujita Medical Journal, dua penilai memberi skor pada empat puluh video. Untuk sepuluh video pertama, mereka memberi skor tanpa moderasi, dan untuk sisanya mereka mendiskusikan skor mereka berdasarkan kriteria rubrik setiap kali. Kesepakatan, yang diukur dengan koefisien kappa tertimbang, meningkat dari 0.49 pada sepuluh video pertama menjadi 0.82 pada sepuluh video terakhir (Watari dan rekan-rekannya, 2022Ini adalah studi kecil tentang satu tugas ujian, jadi anggaplah ini sebagai tanda bahwa moderasi dapat membantu, bukan sebagai janji.

Pelatihan saja pun bukan jaminan. Sebuah studi acak tahun 2014 terhadap 21 penilai yang menilai 242 mahasiswa kedokteran menemukan bahwa sesi pelatihan kerangka acuan singkat tidak secara terukur meningkatkan akurasi penilai individu, meskipun penilai yang terlatih memberikan skor yang lebih ketat dan lebih dekat dengan panel referensi. Para penulis menyimpulkan bahwa penilaian kinerja sangat individual (Weitz dan kolega, 2014Intinya secara praktis adalah terus melakukan kalibrasi pada contoh nyata, memeriksa kesesuaian saat Anda memberi skor, dan jangan berasumsi bahwa satu sesi pengarahan saja sudah cukup.

5. Uji coba dan revisi rubrik

Sebelum Anda menggunakan rubrik ini untuk keputusan-keputusan penting, lakukan uji coba terlebih dahulu.

• Lakukan kegiatan ini dengan kelompok kecil peserta didik dan dua atau lebih asesor.
• Catat bagian mana saja yang menunjukkan perbedaan pendapat antar penilai dan mintalah masing-masing untuk menjelaskan nilai yang mereka berikan.
• Pastikan kriteria tersebut memisahkan respons yang kuat dan lemah. Jika setiap peserta didik mendapat skor 2, tugas atau acuan terlalu mudah.
• Tanyakan kepada peserta didik apa yang dijelaskan dengan jelas dalam rubrik tersebut dan apa yang membingungkan mereka.
• Revisi, lalu uji coba lagi dengan kasus baru.

Jujurlah tentang apa yang ditunjukkan oleh uji coba tersebut. Rubrik yang belum divalidasi hanyalah draf kerja. Ini bukan standar sertifikasi universal, dan tidak boleh digunakan untuk membuat keputusan penting tentang orang-orang sampai seorang praktisi dalam peran tersebut telah meninjaunya dan Anda memiliki bukti bahwa itu berhasil untuk populasi Anda.

Contoh kasus: keputusan eskalasi

Sebagai ilustrasi. Praktisi yang melakukan pekerjaan ini harus memvalidasi kasus dan kriteria jawaban sebelum digunakan.

Kasus. Seorang pelanggan melaporkan pesanan yang tertunda dan meminta pengembalian dana penuh. Agen dapat menawarkan kredit hingga jumlah tertentu tanpa persetujuan. Pengembalian dana melebihi jumlah tersebut. Manajer tidak tersedia selama dua jam. Catatan menunjukkan empat pesanan tahun ini.

Apa yang dilakukan oleh pelajar. Pilih salah satu respons, jelaskan keputusannya, sebutkan bukti-bukti yang digunakan, dan nyatakan informasi atau dukungan tambahan apa yang mereka butuhkan.

Jawaban tersebut mendapat skor 1 pada penalaran. “Saya akan menawarkan pengembalian dana karena pelanggan merasa kecewa.” Keputusan tersebut dinyatakan, tetapi tidak ada bukti, tidak ada penyebutan batasan, dan tidak ada tanda-tanda apa yang hilang.

Jawaban tersebut mendapat skor 2 pada penalaran. “Saya tidak akan memberikan pengembalian dana melebihi batas saya tanpa persetujuan. Catatan menunjukkan empat pesanan tahun ini, jadi pelanggan ini penting, tetapi saya belum memastikan di mana paketnya berada. Saya akan menawarkan kredit dalam batas saya sekarang, memberi tahu pelanggan kapan manajer akan membalas, dan meminta kurir untuk memberikan pembaruan pelacakan agar persetujuan dapat dilakukan dengan cepat.”

Kesalahan kritis. Menerbitkan pengembalian dana tanpa persetujuan dicatat sebagai kesalahan kritis terlepas dari skor lainnya, karena hal itu melampaui wewenang agen.

Perhatikan apa yang dilakukan oleh narasumber. Kedua penilai dari bagian pembukaan sekarang akan mencari hal yang sama: keputusan, bukti yang dikutip, ketidakpastian yang dinyatakan, dan batasannya.

Di mana penyampaian interaktif membantu

Format interaktif membantu dalam latihan dan kalibrasi karena setiap orang berkomitmen pada jawaban sebelum melihat jawaban kelompok. Dalam sesi langsung, fasilitator dapat menunjukkan contoh respons, meminta setiap penilai untuk menilainya secara pribadi, dan kemudian mengungkapkan sebaran nilainya sebelum diskusi. Kasus yang sama dapat digunakan secara mandiri untuk persiapan. AhaSlides mendukung pembelajaran interaktif dan perpindahan antara penyampaian langsung dan mandiri. Periksa fungsi pembuatan, umpan balik, atau pelaporan spesifik apa pun yang Anda rencanakan untuk diandalkan terhadap alur kerja Anda sendiri, dan perlakukan fitur AI, simulasi, dan integrasi sebagai eksternal atau belum dikonfirmasi sampai Anda melihatnya berfungsi. Untuk panduan tentang pemilihan format, lihat Kapan menggunakan pembelajaran adaptif, interaktif, dan langsung?Untuk menyesuaikan aktivitas dengan tingkat pemikiran yang ingin Anda nilai, lihat panduan kami. Mencocokkan aktivitas pembelajaran dengan Taksonomi Bloom.

Ukur apa yang berubah.

Tentukan terlebih dahulu bukti apa yang akan menunjukkan bahwa peserta didik mampu mengerjakan tugas tersebut. Bandingkan kinerja pada kasus baru yang belum pernah dilihat sebelumnya dengan tolok ukur, dan perhatikan kualitas penalaran serta keputusannya. Tentukan siapa yang dilibatkan, penyebut, dan waktunya. Jika skor meningkat, periksa perubahan lain apa yang terjadi pada periode yang sama, seperti alat baru atau campuran pekerjaan yang berbeda, sebelum memberikan kredit untuk pelatihan tersebut.

Kendala yang mungkin masih ada

Bahkan pedoman yang disusun dengan baik pun tidak menyelesaikan semuanya:

• Waktu penilai. Kalibrasi dan uji coba membutuhkan waktu yang harus direncanakan.
• Wewenang dalam pekerjaan sebenarnya. Seorang peserta didik mungkin memiliki kemampuan penalaran yang baik dalam latihan, namun tetap缺乏 wewenang untuk bertindak seperti itu di tempat kerja.
• Liputan kasus. Satu kasus menunjukkan satu keputusan. Satu skor saja tidak menggambarkan penilaian seseorang secara umum.
• Transfer. Kinerja di lingkungan yang aman tidak sama dengan kinerja di tempat kerja. Periksa transfer setelah paparan yang sesuai.

Rencanakan perbaikan terpisah untuk hal-hal ini dan sampaikan hal tersebut kepada sponsor. Rubrik membuat penilaian lebih jelas dan adil. Rubrik tidak mengubah skor menjadi jaminan.

Pertanyaan yang sering diajukan

Apa perbedaan antara rubrik dan daftar periksa?

Daftar periksa mencatat apakah sesuatu telah dilakukan. Rubrik menjelaskan seberapa baik sesuatu telah dilakukan, pada beberapa tingkatan, sehingga cocok untuk tugas-tugas yang membutuhkan penilaian dan penjelasan.

Berapa banyak kriteria yang seharusnya dimiliki sebuah rubrik?

Biasanya hanya sedikit, tiga hingga lima. Pilih yang sesuai dengan tujuan pembelajaran, dan abaikan yang tidak akan mengubah apa yang Anda lakukan dengan hasilnya.

Bisakah rubrik menghilangkan perbedaan pendapat antar penilai?

Tidak. Hal itu dapat mengurangi kesalahan, terutama dengan menggunakan acuan dan kalibrasi pada contoh nyata, tetapi Anda tetap harus memeriksa kesesuaian saat memberi skor dan merevisi kata-kata yang kurang jelas.

Apakah saya perlu menggunakan rubrik untuk keputusan-keputusan penting?

Hanya setelah uji coba dan peninjauan oleh praktisi yang berpengalaman. Perlakukan rubrik baru sebagai draf sampai Anda memiliki bukti bahwa rubrik tersebut sesuai untuk peserta didik dan tugas Anda.

Mulai dari mana

Pilih satu keputusan yang harus diambil dengan baik oleh peserta didik Anda. Tuliskan bukti yang akan ditunjukkan oleh kinerja yang kompeten, pilih tiga kriteria, buat draf skala 0 hingga 2 untuk masing-masing kriteria, dan daftarkan kesalahan-kesalahan kritis. Kemudian, mintalah dua penilai untuk menilai contoh yang sama secara independen, bandingkan bukti mereka, dan perbaiki susunan kata sebelum Anda menilai siapa pun.

Untuk melihat bagaimana sebuah studi kasus dapat dijalankan secara langsung dengan tim Anda sendiri, dan digunakan kembali secara mandiri setelahnya, jelajahi AhaSlides.