Kesediaan untuk amalan bebas adalah penilaian yang dibina daripada beberapa prestasi yang diperhatikan, bukan satu skor. Seorang felo yang berjaya dalam satu kes simulasi dan tidak konsisten dalam kes lain telah memberitahu anda sesuatu, tetapi tidak mencukupi. Panduan ini adalah untuk pengarah pendidikan perubatan dan ketua program residensi. Ia merangkumi lima keputusan: tugasan yang boleh diperhatikan yang dinilai, kes yang tidak biasa dan representatif, kriteria yang boleh diperhatikan dengan sauh, cara menentukur penilai dan cara menggunakan hasilnya. Ia adalah mengenai reka bentuk penilaian, bukan panduan klinikal. Kebenaran untuk amalan bebas kekal dengan proses institusi anda sendiri dan pakar daripada program anda harus menyemak kes dan rubrik sebelum digunakan.
Apa yang dikatakan dan tidak dinyatakan dalam kajian ini
Dua kaedah yang diterbitkan adalah berbaloi untuk diketahui. Pada tahun 2005, sepuluh Cate mencadangkan aktiviti profesional yang boleh dipercayai: unit kerja yang diputuskan oleh penyelia bahawa pelatih boleh lakukan tanpa pengawasan, berdasarkan kecekapan yang diperhatikan. Pada tahun 1997, Martin dan rakan sekerja menggambarkan Penilaian Kemahiran Teknikal Berstruktur Objektif (OSATS), yang menggabungkan senarai semak khusus tugas dengan skala penarafan global untuk residen pembedahan.
Kedua-duanya menerangkan cara menstrukturkan penilaian. Kedua-duanya tidak menunjukkan bahawa seseorang itu bersedia, dan kedua-duanya tidak menggantikan pengawasan pakar. Gunakannya untuk membentuk kriteria anda, kemudian uji kriteria tersebut dengan penilai anda sendiri.
fakta Pantas
| Soalan | Jawapan pendek |
|---|---|
| Apa yang anda nilai? | Kesediaan, daripada pelbagai persembahan yang diperhatikan. |
| Apakah skor satu simulator? | Satu titik data. Ia bukanlah kebenaran untuk amalan bebas. |
| Apakah yang menjadikan kriteria boleh digunakan? | Tingkah laku yang boleh diperhatikan dengan contoh kerja yang lemah, membangun dan mahir. |
| Apakah yang menjadikan skor boleh dipercayai? | Penilai memberi markah secara bebas, kemudian membandingkan bukti. |
| Apakah yang harus anda elakkan daripada menjaringkan gol? | Keyakinan atau kelajuan sahaja. |
| Apa yang tidak boleh diputuskannya? | Kebenaran. Itu tertakluk kepada proses institusi anda sendiri. |
1. Tentukan prestasi yang dinilai
Nyatakan tugasan yang boleh diperhatikan: menilai kesediaan daripada pelbagai prestasi yang diperhatikan. Nyatakan peranan, konteks dan sempadan kebenaran sebelum anda menentukan skor. "Kecekapan bebas" bermaksud sesuatu yang berbeza bagi seorang felo dalam satu prosedur, satu persekitaran dan satu tahap penyeliaan berbanding yang lain. Tuliskan apa yang felo sedang dinilai untuk lakukan, dengan siapa, dan apa yang berlaku jika mereka dinilai bersedia. Panduan kami untuk memadankan aktiviti pembelajaran dengan taksonomi Bloom membantu anda memisahkan tugasan yang memerlukan analisis daripada tugasan yang memerlukan pertimbangan.
2. Pilih tugasan yang tidak dikenali dan mewakili
Pilih kes yang belum dilatih oleh rakan sekerja, seperti kes simulasi kedua yang berbeza daripada yang pertama dari segi kes sebenar. Terangkan bagaimana ia mengambil sampel kerja sebenar, dan apa yang tidak dapat dipastikan. Satu kes yang tidak dikenali boleh menunjukkan sama ada pemindahan kemahiran, tetapi ia tidak dapat merangkumi setiap variasi, setiap pasukan atau setiap komplikasi. Itulah sebabnya keputusan bergantung pada beberapa prestasi yang diperhatikan, tersebar merentasi kes dan masa, dan bukan pada satu.
3. Tulis kriteria dan sauh yang boleh diperhatikan
Bina kriteria berdasarkan dua perkara: konsistensi prestasi merentasi kes dan persetujuan penilai. Tuliskan bagaimana setiap skor kelihatan dalam tingkah laku. Untuk satu kriteria, anda boleh huraikan:
- Lemah (0). Perlu diberi gesaan berulang kali, terlepas satu langkah atau tidak dapat menjelaskan pilihan.
- Membangun (1). Menyelesaikan tugasan dengan ketinggalan atau kualiti yang tidak konsisten merentasi kes.
- Mahir (2). Menyelesaikan tugasan, menerangkan pilihan dan mengendalikan variasi dalam kes tersebut.
Elakkan skor berdasarkan keyakinan atau kepantasan sahaja. Seorang yang yakin boleh jadi salah, dan seorang yang lambat boleh jadi berhati-hati. Kedua-dua sifat ini boleh diletakkan di sebelah skor, tetapi tidak sepatutnya menggantikan bukti tentang apa yang telah dilakukan. Gunakan struktur yang diterangkan oleh Martin dan rakan sekerja, senarai semak khusus tugasan di sebelah penarafan global, jika ia membantu penilai anda memisahkan langkah daripada kualiti keseluruhan.
4. Kalibrasi penilai dan jalankan percubaan
Penentukuran adalah di mana skor menjadi setanding:
- Mendapatkan markah secara bebas. Minta dua atau lebih penilai memberi markah kepada contoh yang direkodkan atau diperhatikan yang sama tanpa perlu bercakap.
- Bandingkan bukti. Minta setiap orang untuk menyatakan apa yang mereka lihat yang membawa kepada skor tersebut. Perselisihan faham biasanya terletak pada kriteria yang samar-samar.
- Semak semula kriteria tersebut. Tulis semula perkataan atau tambahkan contoh, kemudian berikan skor kepada contoh baharu.
- Menjadi juruterbang dalam kumpulan kecil. Jalankan penilaian dengan beberapa orang felo sebelum menggunakannya untuk membuat keputusan, dan semak sama ada penilai masih tidak bersetuju.
Huraikan penyeliaan pakar: siapa yang menyemak keputusan yang hampir mencecah sasaran dan siapa yang berhak membuat keputusan muktamad.
Satu kes yang telah diusahakan dengan maklum balas dan percubaan semula
Ilustrasi. Ketua program residensi dan pakar pembedahan harus mengesahkan kes dan kriteria jawapan sebelum digunakan.
Kes itu. Seorang rakan menunjukkan prestasi yang baik dalam satu kes simulasi tetapi tidak konsisten dalam kes yang lain.
Tugas itu. Nilaikan kesediaan. Jelaskan keputusan anda, sebutkan bukti dan nyatakan maklumat lanjut yang anda perlukan.
Percubaan pertama. "Rakan itu mendapat markah tinggi dalam kes pertama, jadi mereka sudah bersedia." Seorang penilai bertanya apa yang berlaku dalam kes kedua, berapa banyak prestasi yang menjadi asas penghakiman itu, dan sama ada kedua-dua penilai bersetuju. Pelajar itu tidak mempunyai jawapan kepada mana-mana daripadanya.
Maklum balas dan cuba semula. Pengulas menyatakan bahawa satu skor yang kukuh telah dianggap sebagai keputusan dan ketidakkonsistenan tersebut diabaikan. Pelajar diminta untuk mempertimbangkan semula.
Percubaan yang lebih kuat. Pelajar menyatakan bahawa dua kes tidak mencukupi, mencatat kes kedua yang tidak konsisten dan bertanya apa yang berbeza di dalamnya. Mereka mencadangkan prestasi yang diperhatikan selanjutnya pada kes ketiga yang tidak dikenali, penilai kedua bebas, dan persediaan yang disasarkan pada langkah yang salah. Mereka mengatakan bahawa mereka tidak akan mengesyorkan keputusan kesediaan lagi, dan apa yang masih mereka perlukan: bukti penilai, proses pengawasan dan definisi amalan bebas program.
Mengapa setiap respons boleh dipertahankan atau tidak lengkap. Nilai berdasarkan kriteria yang diluluskan, bukan pilihan pengulas. Percubaan pertama menganggap satu skor sebagai kebenaran, yang merupakan ralat kritikal. Percubaan kedua menggunakan beberapa prestasi, memisahkan bukti daripada inferens dan menyatakan had keputusan.
5. Gunakan keputusan untuk susulan
Pilih langkah seterusnya daripada jurang yang diperhatikan:
- Persediaan yang disasarkan apabila terdapat sesuatu konsep atau langkah yang hilang.
- Latihan interaktif apabila kemahiran itu ada tetapi tidak konsisten.
- Bimbingan yang diselia apabila rakan sekerja memerlukan maklum balas dalam kerja sebenar.
Rancang penilaian semula dan nyatakan apa yang tidak dapat dilakukan oleh hasilnya: penilaian kesediaan menerangkan prestasi ke atas kes yang diperhatikan, dengan penilai yang terlibat, pada satu ketika.
| kriteria | 0: tiada atau tidak disokong | 1: sebahagian, dengan peninggalan | 2: lengkap dan wajar |
|---|---|---|---|
| Pelaksanaan tugas | Menilai kesediaan daripada satu skor. | Menggunakan beberapa skor tanpa membandingkannya. | Hakim daripada beberapa persembahan memerhati dan merekodkan bukti. |
| Penaakulan | Tidak memberi sebarang sebab. | Memberikan alasan tanpa menamakan ketidakkonsistenan. | Menerangkan alternatif, kekangan dan ketidakpastian. |
| Sempadan | Melayan skor sebagai kebenaran. | Had nota tanpa pelan. | Menggunakan proses yang diluluskan dan mendapatkan input pakar apabila bukti tidak mencukupi. |
Rubrik ini merupakan titik permulaan yang dicadangkan, bukan standard kesediaan yang disahkan. Takrifkan ralat kritikal secara berasingan, contohnya membentangkan satu skor simulator sebagai kebenaran untuk latihan bebas. Skor keseluruhan tidak boleh menyembunyikan kegagalan kritikal.
Untuk menyemak proses, bandingkan tugas susulan garis dasar dan yang belum pernah dilakukan. Ukur konsistensi prestasi dan persetujuan penilai. Tentukan populasi, penyebut dan masa sebelum anda mula, dan cari perubahan serentak, seperti campuran kes baharu atau perubahan penilai, sebelum anda mengkreditkan latihan tersebut.
Di mana penghantaran interaktif membantu
Format interaktif membantu dalam langkah penentukuran. Dalam sesi langsung, anda boleh menunjukkan contoh dan meminta setiap penilai untuk menghantar skor secara tertutup, kemudian memaparkan sebaran skor sebelum membincangkan bukti. Penyampaian kendiri sesuai dengan semakan kriteria dan pemeriksaan prasyarat terlebih dahulu. AhaSlides, platform penglibatan semua-dalam-satu untuk pasukan dan bilik darjah, menyokong pembelajaran interaktif dan penyampaian secara langsung dan mengikut kadar kendiri. Semak cara anda akan menjalankan penentukuran dalam aliran kerja anda sendiri sebelum anda bergantung padanya.
Apa yang tidak akan diperbaiki oleh penilaian kecekapan
- Definisi kemerdekaan yang samar-samar. Tanpanya, skor tidak ada apa-apa untuk dibandingkan.
- Terlalu sedikit pemerhatian. Satu atau dua kes tidak dapat menunjukkan konsistensi.
- Penilai yang tidak pernah melakukan kalibrasi. Persetujuan tidak muncul dengan sendirinya.
- Had bukti. Kedua-dua sumber di atas menerangkan kaedah, bukan hasil untuk rakan-rakan anda.
Soalan lazim
Apakah penilaian kecekapan pembedahan?
Berdasarkan prestasi yang diperhatikan terhadap kriteria yang ditetapkan, sama ada pelatih boleh melakukan tugas pembedahan yang ditetapkan mengikut standard yang diperlukan oleh program anda.
Adakah satu skor simulator cukup untuk menentukan kesediaan?
Tidak. Ia adalah satu titik data. Keputusan kesediaan bergantung pada beberapa prestasi yang diperhatikan dan proses yang diluluskan oleh institusi anda.
Apakah itu OSATS?
Penilaian Berstruktur Objektif bagi Kemahiran Teknikal, satu kaedah yang menggabungkan senarai semak khusus tugasan dengan skala penarafan global.
Bagaimanakah anda menyemak sama ada penilai bersetuju?
Minta mereka memberi skor kepada contoh yang sama secara bebas, bandingkan bukti mereka dan semak semula sebarang kriteria yang mempunyai perbezaan.
Siapakah yang patut menyemak kes dan rubrik tersebut?
Pakar pembedahan dan program residensi akan menerajui, sebelum sesiapa pun dinilai.
Di mana untuk bermula
Pilih satu prosedur dan tulis tugasan yang boleh diperhatikan. Pilih dua kes yang tidak dikenali, minta dua penilai memberi skor setiap satu secara bebas, dan bandingkan bukti mereka. Semak semula kriteria yang mereka tidak bersetuju, kemudian uji kaji dengan beberapa felo sebelum menggunakan skor tersebut untuk sebarang keputusan.
Untuk melihat bagaimana sesi penentukuran boleh dijalankan secara langsung atau mengikut rentak kendiri, terokai AhaSlides.








