Bağımsız uygulama için hazır olma durumu, tek bir puana değil, gözlemlenen çeşitli performanslara dayalı bir değerlendirmedir. Bir simülasyon vakasında iyi performans gösteren, diğerinde ise tutarsız performans sergileyen bir asistan hekim size bir şeyler anlatmıştır, ancak yeterli bilgi vermemiştir. Bu kılavuz, tıp eğitimi direktörleri ve uzmanlık programı yöneticileri içindir. Beş kararı ele almaktadır: değerlendirilen gözlemlenebilir görev, alışılmadık ve temsili bir vaka, referans noktaları olan gözlemlenebilir kriterler, değerlendiricilerin nasıl kalibre edileceği ve sonuçların nasıl kullanılacağı. Bu, klinik rehberlik değil, değerlendirme tasarımı ile ilgilidir. Bağımsız uygulama için yetkilendirme, kurumunuzun kendi süreçlerinde kalır ve programınızdan bir uzman, kullanılmadan önce vakayı ve değerlendirme kriterlerini gözden geçirmelidir.
Araştırmanın söyledikleri ve söylemedikleri
Bilinmesi gereken iki yayınlanmış yöntem var. 2005 yılında ten Cate şu öneriyi sundu: güvenilir profesyonel faaliyetler: Bir amirin, gözlemlenen yeterliliğe dayanarak, bir stajyerin denetimsiz olarak yapabileceğine karar verdiği iş birimleri. 1997'de Martin ve meslektaşları bunu tanımladı. Teknik Becerinin Nesnel Yapılandırılmış Değerlendirmesi (OSATS), cerrahi asistanları için göreve özgü bir kontrol listesini genel bir değerlendirme ölçeğiyle birleştiren bir sistemdir.
Her ikisi de değerlendirmenin nasıl yapılandırılacağını açıklıyor. Hiçbiri belirli bir kişinin hazır olduğunu göstermiyor ve hiçbiri uzman gözetiminin yerini almıyor. Bunları kriterlerinizi şekillendirmek için kullanın, ardından kriterleri kendi değerlendiricilerinizle test edin.
Hızlı gerçekler
| Soru | Kısa cevap |
|---|---|
| Neyi değerlendiriyorsunuz? | Gözlemlenen çeşitli performanslardan elde edilen hazır olma durumu. |
| Bir simülatör puanı nedir? | Bu sadece bir veri noktası. Bağımsız uygulama yetkisi anlamına gelmiyor. |
| Kriterleri kullanılabilir kılan nedir? | Zayıf, gelişmekte olan ve yetkin çalışmalara dair örneklerle birlikte gözlemlenebilir davranışlar. |
| Puanlamaları güvenilir kılan nedir? | Değerlendiriciler bağımsız olarak puanlama yapıyor, ardından kanıtları karşılaştırıyor. |
| Hangi puanlardan kaçınmalısınız? | Sadece özgüven veya hız. |
| Neye karar veremez? | Yetkilendirme. Bu, kurumunuzun kendi sürecine bağlıdır. |
1. Değerlendirilecek performansı tanımlayın.
Gözlemlenebilir görevi belirtin: birden fazla gözlemlenen performanstan hazır olma durumunu değerlendirmek. Puanlama yapmadan önce rolü, bağlamı ve yetki sınırlarını belirtin. "Bağımsız yeterlilik", bir prosedürde, bir ortamda ve bir denetim düzeyinde bir asistan için farklı, diğerinde farklı anlamlar ifade eder. Asistanın ne için değerlendirildiğini, kiminle birlikte çalıştığını ve hazır olduğuna karar verilirse ne olacağını yazın. Rehberimiz Öğrenme etkinliklerini Bloom taksonomisine uygun hale getirmek Analiz gerektiren görevleri, karar verme gerektiren görevlerden ayırmanıza yardımcı olur.
2. Tanıdık olmayan, temsili bir görev seçin.
Meslektaşınızın daha önce prova etmediği bir vaka seçin; örneğin, gerçek vakalardan farklı olan ikinci bir simülasyon vakası. Bunun gerçek işi nasıl örneklediğini ve neleri ortaya koyamadığını açıklayın. Tek bir alışılmadık vaka, becerilerin aktarılıp aktarılamayacağını gösterebilir, ancak her varyasyonu, her ekibi veya her karmaşıklığı kapsayamaz. Bu nedenle, bir karar tek bir performansa değil, vakalar ve zaman içinde yayılmış birkaç gözlemlenen performansa dayanır.
3. Gözlemlenebilir ölçütleri ve referans noktalarını yazın.
Kriterleri iki temel unsur etrafında oluşturun: vakalar arası performans tutarlılığı ve değerlendiriciler arası mutabakat. Her bir puanın davranış açısından nasıl göründüğünü yazın. Bir kriter için şunları açıklayabilirsiniz:
- Zayıf (0). Tekrar tekrar yönlendirilmeye ihtiyaç duyar, bir adımı atlar veya bir seçimi açıklayamaz.
- Gelişmekte (1). Görevi, vakalar arasında eksiklikler veya tutarsız kaliteyle tamamlar.
- Yeterli (2). Görevi tamamlar, seçenekleri açıklar ve vakadaki bir varyasyonu ele alır.
Yalnızca özgüven veya hıza dayalı puanlamalardan kaçının. Özgüvenli bir kişi yanılabilir ve yavaş bir kişi dikkatli olabilir. Her iki özellik de puanın yanında yer alabilir, ancak yapılan işin kanıtının yerini almamalıdır. Değerlendiricilerinizin adımları genel kaliteden ayırmasına yardımcı oluyorsa, Martin ve meslektaşlarının tanımladığı yapıyı, yani genel bir derecelendirmenin yanında göreve özgü bir kontrol listesini kullanın.
4. Değerlendiricileri kalibre edin ve bir pilot uygulama gerçekleştirin.
Kalibrasyon, puanların karşılaştırılabilir hale geldiği aşamadır:
- Bağımsız olarak puanlayın. İki veya daha fazla değerlendirici, konuşmadan aynı kaydedilmiş veya gözlemlenmiş örneği puanlasın.
- Kanıtları karşılaştırın. Her birinden, bu puana yol açan gözlemlerini belirtmelerini isteyin. Görüş ayrılıkları genellikle belirsiz bir kriterden kaynaklanır.
- Kriteri yeniden gözden geçirin. Metni yeniden yazın veya bir örnek ekleyin, ardından yeni bir örneği puanlayın.
- Küçük bir grupta pilotluk yapmak. Karar verme süreçlerinde kullanmadan önce değerlendirmeyi birkaç meslektaşınızla birlikte uygulayın ve değerlendiricilerin hala aynı fikirde olup olmadığını kontrol edin.
Uzman gözetimini açıklayın: sınırda kalan sonuçları kim inceliyor ve nihai kararı kim veriyor?
Geri bildirim ve yeniden deneme içeren çözümlenmiş bir vaka.
Örnek niteliğindedir. Kullanımdan önce, uzmanlık programı sorumlusu ve bir cerrahi uzmanı tarafından vaka ve cevap kriterleri onaylanmalıdır.
Dosya. Bir stajyer simülasyon vakalarından birinde iyi performans gösterirken, diğerinde tutarsız performans sergiliyor.
Görev. Hakim hazır olmalı. Kararınızı açıklayın, kanıtları gösterin ve hangi ek bilgilere ihtiyacınız olduğunu belirtin.
İlk deneme. "Öğrenci ilk vakada yüksek puan aldı, yani hazır." Değerlendirici, ikinci vakada ne olduğunu, değerlendirmenin kaç performansa dayandığını ve iki değerlendiricinin aynı fikirde olup olmadığını soruyor. Öğrencinin bunların hiçbirine cevabı yok.
Geri bildirim ve yeniden deneme. Değerlendirmeyi yapan kişi, yüksek bir puanın kesin bir sonuç olarak ele alındığını ve tutarsızlığın göz ardı edildiğini belirtiyor. Öğrenciden bu durumu yeniden gözden geçirmesi isteniyor.
Daha güçlü bir girişim. Öğrenci, iki vakanın yeterli olmadığını belirtiyor, ikinci vakanın tutarsız olduğunu kaydediyor ve bu vakada neyin farklı olduğunu soruyor. Üçüncü, daha önce karşılaşmadıkları bir vaka üzerinde gözlemlenen performansı, bağımsız bir ikinci değerlendiriciyi ve yanlış giden adıma yönelik hedefli hazırlığı öneriyorlar. Henüz bir hazır olma kararı vermeyeceklerini ve hala ihtiyaç duydukları şeylerin; değerlendiricilerin kanıtları, denetim süreci ve programın bağımsız uygulama tanımı olduğunu söylüyorlar.
Her bir yanıtın neden savunulabilir veya eksik olduğu. Değerlendirmeyi, hakem tercihine göre değil, onaylanmış kriterlere göre yapın. İlk yaklaşım, tek bir puanı yetkilendirme olarak ele alıyor ki bu kritik bir hatadır. İkinci yaklaşım ise birden fazla performansı kullanıyor, kanıtları çıkarımlardan ayırıyor ve kararın sınırlarını belirtiyor.
5. Sonuçları takip çalışmaları için kullanın.
Gözlemlenen boşluktan bir sonraki adımı seçin:
- Hedefli hazırlık Bir kavram veya adım eksik olduğunda.
- Etkileşimli uygulama Beceri mevcut ancak istikrarsız olduğunda.
- Denetimli koçluk Çalışanın gerçek iş hayatında geri bildirime ihtiyacı olduğunda.
Planın yeniden değerlendirilmesi ve sonucun neleri yapamayacağının belirtilmesi: Hazırlık değerlendirmesi, ilgili değerlendiricilerle birlikte, belirli bir zaman diliminde gözlemlenen vakalardaki performansı tanımlar.
| Kriter | 0: yok veya desteklenmiyor | 1: Kısmi, eksikliklerle birlikte | 2: eksiksiz ve gerekçeli |
|---|---|---|---|
| Görev yürütme | Hakimlerin hazırlığı bir puan üzerinden değerlendirildi. | Birbirleriyle karşılaştırmadan birden fazla puan kullanıyor. | Hakimler, gözlemlenen çeşitli performanslardan elde edilen kanıtları kaydeder. |
| muhakeme | Hiçbir gerekçe sunmuyor. | Tutarsızlığı belirtmeden bir gerekçe sunuyor. | Alternatifleri, kısıtlamaları ve belirsizliği açıklar. |
| Sınırları | Puanı yetkilendirme olarak kabul eder. | Plansız notlar limitleri belirler. | Onaylanmış süreci kullanır ve kanıt yetersiz olduğunda uzman görüşü alır. |
Bu değerlendirme ölçütü, onaylanmış bir hazırlık standardı değil, önerilen bir başlangıç noktasıdır. Kritik hataları ayrı olarak tanımlayın; örneğin, bağımsız uygulama için yetkilendirme olarak tek bir simülatör puanı sunun. Genel bir puan asla kritik bir hatayı gizlememelidir.
Süreci kontrol etmek için, başlangıç ve görünmeyen takip görevlerini karşılaştırın. Performans tutarlılığını ve değerlendirici mutabakatını ölçün. Başlamadan önce popülasyonu, paydayı ve zamanlamayı tanımlayın ve eğitimi onaylamadan önce yeni bir vaka karışımı veya değerlendirici değişikliği gibi eş zamanlı değişiklikleri inceleyin.
Etkileşimli sunumun yardımcı olduğu yerler
Etkileşimli formatlar kalibrasyon aşamasında yardımcı olur. Canlı bir oturumda, bir örnek gösterebilir ve her değerlendiriciden özel olarak bir puan göndermesini isteyebilir, ardından kanıtları tartışmadan önce puan dağılımını gösterebilirsiniz. Kendi hızında sunum, kriter incelemesi ve ön koşul kontrolleri için uygundur. AhaSlidesEkipler ve sınıflar için hepsi bir arada etkileşim platformu olan bu araç, etkileşimli öğrenmeyi ve hem canlı hem de kendi hızınızda öğrenmeyi destekler. Kullanmadan önce kalibrasyonu kendi iş akışınızda nasıl yürüteceğinizi kontrol edin.
Yeterlilik değerlendirmesinin düzeltemeyeceği şeyler
- Bağımsızlığın belirsiz bir tanımı. Böyle bir şey olmadan, puanların karşılaştırılacak bir şeyi olmaz.
- Gözlem sayısı çok az. Bir veya iki örnek tutarlılığı gösteremez.
- Kalibrasyon yapmayan değerlendiriciler. Anlaşma kendiliğinden ortaya çıkmaz.
- Kanıt sınırları. Yukarıdaki iki kaynak, meslektaşlarınız için sonuçları değil, yöntemleri açıklamaktadır.
Sık Sorulan Sorular
Cerrahi yeterlilik değerlendirmesi nedir?
Belirlenmiş kriterlere göre gözlemlenen performansa dayanarak, bir stajyerin tanımlanmış bir cerrahi görevi programınızın gerektirdiği standartta yapıp yapamayacağını değerlendirmek.
Hazırlık durumuna karar vermek için tek bir simülatör puanı yeterli mi?
Hayır. Bu sadece bir veri noktası. Hazırlık kararı, gözlemlenen çeşitli performanslara ve kurumunuzun onayladığı sürece dayanır.
OSATS nedir?
Teknik Becerilerin Nesnel Yapılandırılmış Değerlendirmesi (OSS), göreve özgü bir kontrol listesini genel bir derecelendirme ölçeğiyle birleştiren bir yöntemdir.
Değerlendiricilerin aynı fikirde olduğunu nasıl kontrol edersiniz?
Onlardan aynı örneği bağımsız olarak puanlamalarını, kanıtlarını karşılaştırmalarını ve farklılık gösterdikleri kriterleri yeniden gözden geçirmelerini isteyin.
Vaka ve değerlendirme kriterlerini kim incelemelidir?
Değerlendirme yapılmadan önce bir cerrahi uzmanı ve uzmanlık programı sorumlusu.
Nerede başlar
Bir prosedür seçin ve gözlemlenebilir görevi yazın. İki alışılmadık vaka seçin, iki değerlendirici her birini bağımsız olarak puanlasın ve kanıtlarını karşılaştırın. Anlaşmazlık gösterdikleri yerlerde kriterleri revize edin, ardından puanları herhangi bir karar için kullanmadan önce birkaç uzmanla pilot uygulama yapın.
Kalibrasyon oturumunun canlı veya kendi hızınızda nasıl yürütülebileceğini görmek için inceleyin. AhaSlides.








