Η ετοιμότητα για ανεξάρτητη πρακτική είναι μια κρίση που βασίζεται σε αρκετές παρατηρούμενες επιδόσεις, όχι σε μία μόνο βαθμολογία. Ένας συνάδελφος που τα πάει καλά σε μια προσομοιωμένη περίπτωση και με ασυνέπεια σε μια άλλη σας έχει πει κάτι, αλλά όχι αρκετά. Αυτός ο οδηγός απευθύνεται σε διευθυντές ιατρικής εκπαίδευσης και επικεφαλής προγραμμάτων ειδίκευσης. Καλύπτει πέντε αποφάσεις: την παρατηρήσιμη εργασία που αξιολογείται, μια άγνωστη και αντιπροσωπευτική περίπτωση, παρατηρήσιμα κριτήρια με άγκυρες, τον τρόπο βαθμονόμησης των αξιολογητών και τον τρόπο χρήσης των αποτελεσμάτων. Αφορά τον σχεδιασμό της αξιολόγησης, όχι την κλινική καθοδήγηση. Η άδεια για ανεξάρτητη πρακτική παραμένει στις δικές σας διαδικασίες του ιδρύματός σας και ένας ειδικός από το πρόγραμμά σας θα πρέπει να εξετάσει την περίπτωση και τη ρουμπρίκα πριν από τη χρήση.
Τι λέει και τι δεν λέει η έρευνα
Δύο δημοσιευμένες μέθοδοι αξίζει να τις γνωρίσουμε. Το 2005, ο Ten Cate πρότεινε εμπιστευτικές επαγγελματικές δραστηριότητες: μονάδες εργασίας που ένας επόπτης αποφασίζει ότι ένας εκπαιδευόμενος μπορεί να κάνει χωρίς επίβλεψη, με βάση την παρατηρούμενη ικανότητα. Το 1997, ο Martin και οι συνεργάτες του περιέγραψαν το Αντικειμενική Δομημένη Αξιολόγηση Τεχνικών Δεξιοτήτων (OSATS), το οποίο συνδυάζει μια λίστα ελέγχου για κάθε εργασία με μια παγκόσμια κλίμακα αξιολόγησης για τους ειδικευόμενους χειρουργούς.
Και τα δύο περιγράφουν πώς να δομήσετε την κρίση σας. Κανένα από τα δύο δεν δείχνει ότι ένας συγκεκριμένος συνάδελφος είναι έτοιμος και κανένα από τα δύο δεν αντικαθιστά την εποπτεία ενός ειδικού. Χρησιμοποιήστε τα για να διαμορφώσετε τα κριτήριά σας και στη συνέχεια δοκιμάστε τα κριτήρια με τους δικούς σας αξιολογητές.
Γρήγορα γεγονότα
| Ερώτηση | Σύντομη απάντηση |
|---|---|
| Τι κρίνεις; | Ετοιμότητα, από πολλαπλές παρατηρούμενες επιδόσεις. |
| Τι είναι η βαθμολογία ενός προσομοιωτή; | Ένα σημείο δεδομένων. Δεν αποτελεί άδεια για ανεξάρτητη άσκηση επαγγέλματος. |
| Τι καθιστά τα κριτήρια αξιοποιήσιμα; | Παρατηρήσιμες συμπεριφορές με παραδείγματα αδύναμης, αναπτυσσόμενης και ικανής εργασίας. |
| Τι κάνει τις βαθμολογίες αξιόπιστες; | Οι αξιολογητές βαθμολογούν ανεξάρτητα και στη συνέχεια συγκρίνουν τα στοιχεία. |
| Τι πρέπει να αποφεύγετε να σκοράρετε; | Αυτοπεποίθηση ή μόνο ταχύτητα. |
| Τι δεν μπορεί να αποφασίσει; | Εξουσιοδότηση. Αυτό εμπίπτει στη δική σας διαδικασία του ιδρύματός σας. |
1. Ορίστε την απόδοση που αξιολογείται
Αναφέρετε την παρατηρήσιμη εργασία: αξιολόγηση της ετοιμότητας από πολλαπλές παρατηρούμενες επιδόσεις. Προσδιορίστε τον ρόλο, το πλαίσιο και τα όρια εξουσιοδότησης πριν ορίσετε μια βαθμολογία. Η «ανεξάρτητη ικανότητα» σημαίνει κάτι διαφορετικό για έναν υπότροφο σε μια διαδικασία, ένα περιβάλλον και ένα επίπεδο εποπτείας από ό,τι για ένα άλλο. Καταγράψτε τι αξιολογείται να κάνει ο υπότροφος, με ποιον και τι συμβαίνει εάν κριθεί έτοιμος. Ο οδηγός μας για αντιστοίχιση μαθησιακών δραστηριοτήτων με την ταξινόμηση του Bloom σας βοηθά να διαχωρίσετε τις εργασίες που χρειάζονται ανάλυση από εκείνες που χρειάζονται κρίση.
2. Επιλέξτε μια άγνωστη, αντιπροσωπευτική εργασία
Επιλέξτε μια περίπτωση που ο υπότροφος δεν έχει δοκιμάσει, όπως μια δεύτερη προσομοιωμένη περίπτωση που διαφέρει από την πρώτη στον τρόπο που το κάνουν οι πραγματικές περιπτώσεις. Εξηγήστε πώς δειγματίζει την πραγματική εργασία και τι δεν μπορεί να αποδείξει. Μια μεμονωμένη άγνωστη περίπτωση μπορεί να δείξει εάν μεταφέρονται δεξιότητες, αλλά δεν μπορεί να καλύψει κάθε παραλλαγή, κάθε ομάδα ή κάθε επιπλοκή. Γι' αυτό μια απόφαση βασίζεται σε αρκετές παρατηρούμενες επιδόσεις, κατανεμημένες σε περιπτώσεις και χρόνο, και όχι σε μία.
3. Γράψτε παρατηρήσιμα κριτήρια και σημεία αναφοράς
Δημιουργήστε κριτήρια γύρω από δύο πράγματα: τη συνέπεια της απόδοσης σε όλες τις περιπτώσεις και τη συμφωνία των αξιολογητών. Γράψτε πώς φαίνεται κάθε βαθμολογία στη συμπεριφορά. Για ένα κριτήριο, θα μπορούσατε να περιγράψετε:
- Αδύναμο (0). Χρειάζεται επανειλημμένη παρότρυνση, παραλείπει ένα βήμα ή δεν μπορεί να εξηγήσει μια επιλογή.
- Ανάπτυξη (1). Ολοκληρώνει την εργασία με παραλείψεις ή ασυνεπή ποιότητα σε διάφορες υποθέσεις.
- Άριστος (2). Ολοκληρώνει την εργασία, εξηγεί τις επιλογές και χειρίζεται μια παραλλαγή στην περίπτωση.
Αποφύγετε τις βαθμολογίες που βασίζονται μόνο στην αυτοπεποίθηση ή την ταχύτητα. Ένας άνθρωπος με αυτοπεποίθηση μπορεί να κάνει λάθος, ενώ ένας αργός μπορεί να είναι προσεκτικός. Και τα δύο χαρακτηριστικά μπορούν να βρίσκονται δίπλα σε μια βαθμολογία, αλλά δεν πρέπει να αντικαθιστούν την απόδειξη για το τι έγινε. Χρησιμοποιήστε τη δομή που περιγράφουν ο Martin και οι συνάδελφοί του, μια λίστα ελέγχου για συγκεκριμένη εργασία δίπλα σε μια συνολική βαθμολογία, εάν αυτό βοηθά τους αξιολογητές σας να διαχωρίσουν τα βήματα από τη συνολική ποιότητα.
4. Βαθμονόμηση αξιολογητών και εκτέλεση πιλοτικού προγράμματος
Η βαθμονόμηση είναι το σημείο όπου οι βαθμολογίες γίνονται συγκρίσιμες:
- Βαθμολογήστε ανεξάρτητα. Ζητήστε από δύο ή περισσότερους αξιολογητές να βαθμολογήσουν το ίδιο καταγεγραμμένο ή παρατηρούμενο παράδειγμα χωρίς να μιλήσουν.
- Συγκρίνετε τα στοιχεία. Ζητήστε από τον καθένα να πει τι είδε που οδήγησε στη βαθμολογία. Η διαφωνία συνήθως βρίσκεται σε ένα ασαφές κριτήριο.
- Αναθεωρήστε το κριτήριο. Ξαναγράψτε τη διατύπωση ή προσθέστε ένα παράδειγμα και, στη συνέχεια, βαθμολογήστε ένα νέο παράδειγμα.
- Πιλοτική εφαρμογή σε μια μικρή ομάδα. Εκτελέστε την αξιολόγηση με μερικούς συναδέλφους πριν τη χρησιμοποιήσετε για αποφάσεις και ελέγξτε αν οι αξιολογητές εξακολουθούν να διαφωνούν.
Περιγράψτε την εποπτεία από ειδικούς: ποιος εξετάζει τα οριακά αποτελέσματα και ποιος είναι υπεύθυνος για την τελική απόφαση.
Μια λειτούργησε με σχόλια και επανάληψη της προσπάθειας
Ενδεικτικά. Ο επικεφαλής του προγράμματος ειδικότητας και ένας χειρουργός ειδικός θα πρέπει να επικυρώσουν την περίπτωση και τα κριτήρια απάντησης πριν από τη χρήση.
Η υπόθεση. Ένας συνάδελφος έχει καλή απόδοση σε μια προσομοιωμένη περίπτωση, αλλά με ασυνέπεια σε μια άλλη.
Το έργο. Ετοιμότητα δικαστή. Εξηγήστε την απόφασή σας, αναφέρετε τα αποδεικτικά στοιχεία και αναφέρετε ποιες περαιτέρω πληροφορίες χρειάζεστε.
Μια πρώτη προσπάθεια. «Ο/Η μαθητής/τρια βαθμολόγησε υψηλά στην πρώτη περίπτωση, άρα είναι έτοιμος/η.» Ένας/μία κριτής/τρια ρωτάει τι συνέβη στη δεύτερη περίπτωση, σε πόσες επιδόσεις βασίζεται η κρίση του/της και αν οι δύο κριτές/τριες συμφώνησαν. Ο/Η μαθητής/τρια δεν έχει απάντηση σε καμία από αυτές.
Σχόλια και επανάληψη. Ο αξιολογητής σημειώνει ότι μια ισχυρή βαθμολογία αντιμετωπίστηκε ως ετυμηγορία και η ασυνέπεια αγνοήθηκε. Ο μαθητής καλείται να το ξανασκεφτεί.
Μια πιο δυνατή προσπάθεια. Ο εκπαιδευόμενος δηλώνει ότι δύο περιπτώσεις δεν είναι αρκετές, σημειώνει τη δεύτερη περίπτωση που δεν είναι συνεπής και ρωτά τι διαφέρει σε αυτήν. Προτείνουν μια περαιτέρω παρατηρούμενη απόδοση σε μια τρίτη άγνωστη περίπτωση, έναν ανεξάρτητο δεύτερο αξιολογητή και στοχευμένη προετοιμασία στο βήμα που πήγε στραβά. Λένε ότι δεν θα συνιστούσαν ακόμη μια απόφαση ετοιμότητας και τι χρειάζονται ακόμα: τα στοιχεία των αξιολογητών, τη διαδικασία εποπτείας και τον ορισμό του προγράμματος για την ανεξάρτητη πρακτική.
Γιατί κάθε απάντηση είναι υπερασπίσιμη ή ελλιπής. Κρίνετε με βάση τα εγκεκριμένα κριτήρια, όχι την προτίμηση του κριτή. Η πρώτη προσπάθεια αντιμετωπίζει μία βαθμολογία ως έγκριση, κάτι που αποτελεί κρίσιμο σφάλμα. Η δεύτερη χρησιμοποιεί διάφορες ερμηνείες, διαχωρίζει τα αποδεικτικά στοιχεία από τα συμπεράσματα και δηλώνει τα όρια της απόφασης.
5. Χρησιμοποιήστε τα αποτελέσματα για παρακολούθηση
Επιλέξτε το επόμενο βήμα από το παρατηρούμενο κενό:
- Στοχευμένη προετοιμασία όταν έλειπε μια έννοια ή ένα βήμα.
- Διαδραστική πρακτική όταν η δεξιότητα υπάρχει αλλά είναι ασυνεπής.
- Εποπτευόμενη καθοδήγηση όταν ο συνάδελφος χρειάζεται ανατροφοδότηση στην πραγματική εργασία.
Σχεδιάστε την επαναξιολόγηση και αναφέρετε τι δεν μπορεί να κάνει το αποτέλεσμα: μια κρίση ετοιμότητας περιγράφει την απόδοση στις περιπτώσεις που παρατηρήθηκαν, με τους εμπλεκόμενους αξιολογητές, σε μια συγκεκριμένη χρονική στιγμή.
| Κριτήριο | 0: απουσιάζει ή δεν υποστηρίζεται | 1: μερικό, με παραλείψεις | 2: πλήρες και δικαιολογημένο |
|---|---|---|---|
| Εκτέλεση εργασιών | Η ετοιμότητα των κριτών ξεκινά από τη μία βαθμολογία. | Χρησιμοποιεί αρκετές βαθμολογίες χωρίς να τις συγκρίνει. | Κρίνουν διάφορες παρατηρήσεις και καταγράφουν τα αποδεικτικά στοιχεία. |
| Αιτιολογία | Δεν δίνει κανένα λόγο. | Δίνει έναν λόγο χωρίς να κατονομάζει την ασυνέπεια. | Εξηγεί εναλλακτικές λύσεις, περιορισμούς και αβεβαιότητα. |
| Όρια | Αντιμετωπίζει μια βαθμολογία ως εξουσιοδότηση. | Σημειώνει όρια χωρίς σχέδιο. | Χρησιμοποιεί την εγκεκριμένη διαδικασία και ζητά τη συμβολή ειδικών όταν τα αποδεικτικά στοιχεία είναι ανεπαρκή. |
Αυτή η ρουμπρίκα είναι ένα προτεινόμενο σημείο εκκίνησης, όχι ένα επικυρωμένο πρότυπο ετοιμότητας. Ορίστε τα κρίσιμα σφάλματα ξεχωριστά, για παράδειγμα παρουσιάζοντας μια βαθμολογία προσομοιωτή ως εξουσιοδότηση για ανεξάρτητη εξάσκηση. Μια συνολική βαθμολογία δεν πρέπει ποτέ να κρύβει μια κρίσιμη αποτυχία.
Για να ελέγξετε τη διαδικασία, συγκρίνετε τις βασικές εργασίες και τις εργασίες παρακολούθησης που δεν έχουν παρακολουθηθεί. Μετρήστε τη συνέπεια της απόδοσης και τη συμφωνία των αξιολογητών. Ορίστε τον πληθυσμό, τον παρονομαστή και το χρονοδιάγραμμα πριν ξεκινήσετε και αναζητήστε ταυτόχρονες αλλαγές, όπως ένα νέο μείγμα περιστατικών ή μια αλλαγή αξιολογητών, πριν πιστώσετε την εκπαίδευση.
Όπου βοηθάει η διαδραστική παράδοση
Οι διαδραστικές μορφές βοηθούν στο βήμα της βαθμονόμησης. Σε μια ζωντανή συνεδρία, μπορείτε να δείξετε ένα παράδειγμα και να ζητήσετε από κάθε αξιολογητή να υποβάλει μια βαθμολογία ιδιωτικά και, στη συνέχεια, να εμφανίσετε την εξάπλωση πριν συζητήσετε τα αποδεικτικά στοιχεία. Η αυτορυθμιζόμενη παράδοση ταιριάζει με την αναθεώρηση κριτηρίων και τους ελέγχους προαπαιτούμενων εκ των προτέρων. AhaSlides, μια ολοκληρωμένη πλατφόρμα αλληλεπίδρασης για ομάδες και τάξεις, υποστηρίζει διαδραστική μάθηση και παράδοση τόσο σε πραγματικό χρόνο όσο και σε προσωπικό ρυθμό. Ελέγξτε πώς θα εκτελέσετε τη βαθμονόμηση στη δική σας ροή εργασίας προτού βασιστείτε σε αυτήν.
Τι δεν θα διορθώσει μια αξιολόγηση ικανοτήτων
- Ένας ασαφής ορισμός της ανεξαρτησίας. Χωρίς αυτό, οι βαθμολογίες δεν έχουν τίποτα να συγκριθούν.
- Πολύ λίγες παρατηρήσεις. Μία ή δύο περιπτώσεις δεν μπορούν να δείξουν συνέπεια.
- Αξιολογητές που δεν βαθμονομούν ποτέ. Η συμφωνία δεν εμφανίζεται από μόνη της.
- Όρια αποδεικτικών στοιχείων. Οι δύο παραπάνω πηγές περιγράφουν μεθόδους και όχι αποτελέσματα για τους συναδέλφους σας.
Συχνές ερωτήσεις
Τι είναι η αξιολόγηση της χειρουργικής ικανότητας;
Κρίνοντας, από την παρατηρούμενη απόδοση έναντι καθορισμένων κριτηρίων, εάν ένας εκπαιδευόμενος μπορεί να εκτελέσει μια καθορισμένη χειρουργική εργασία σύμφωνα με το πρότυπο που απαιτεί το πρόγραμμά σας.
Είναι αρκετή μία βαθμολογία προσομοιωτή για να κριθεί η ετοιμότητα;
Όχι. Είναι ένα σημείο δεδομένων. Μια απόφαση ετοιμότητας βασίζεται σε διάφορες παρατηρούμενες επιδόσεις και στην εγκεκριμένη διαδικασία του ιδρύματός σας.
Τι είναι τα OSATS;
Η Αντικειμενικά Δομημένη Αξιολόγηση Τεχνικών Δεξιοτήτων, μια μέθοδος που συνδυάζει μια λίστα ελέγχου για συγκεκριμένη εργασία με μια συνολική κλίμακα αξιολόγησης.
Πώς ελέγχετε ότι οι αξιολογητές συμφωνούν;
Ζητήστε τους να βαθμολογήσουν το ίδιο παράδειγμα ανεξάρτητα, να συγκρίνουν τα αποδεικτικά τους στοιχεία και να αναθεωρήσουν οποιοδήποτε κριτήριο διαφέρει.
Ποιος πρέπει να εξετάσει την υπόθεση και τη ρουμπρίκα;
Ένας χειρουργός ειδικός και ο επικεφαλής του προγράμματος ειδίκευσης, προτού βαθμολογηθεί κάποιος.
Από πού να αρχίσω
Επιλέξτε μία διαδικασία και γράψτε την παρατηρήσιμη εργασία. Επιλέξτε δύο άγνωστες περιπτώσεις, ζητήστε από δύο αξιολογητές να βαθμολογήσουν τον καθένα ανεξάρτητα και συγκρίνετε τα αποδεικτικά στοιχεία τους. Αναθεωρήστε τα κριτήρια όπου διαφωνούν και, στη συνέχεια, δοκιμάστε πιλοτικά με μερικούς συναδέλφους πριν χρησιμοποιήσετε τις βαθμολογίες για οποιαδήποτε απόφαση.
Για να δείτε πώς μια συνεδρία βαθμονόμησης θα μπορούσε να εκτελεστεί ζωντανά ή με αυτορυθμιζόμενο ρυθμό, εξερευνήστε AhaSlides.








