Ρουμπρίκα αξιολόγησης απόδοσης: πώς να αξιολογείτε την κρίση και την επίλυση προβλημάτων στην εκπαίδευση

Δύο εκπαιδευτές παρακολουθούν την ίδια ηχογράφηση ενός νέου επικεφαλής ομάδας που αποφασίζει αν θα κλιμακώσει ένα παράπονο πελάτη. Ο πρώτος της δίνει την υψηλότερη βαθμολογία: παρέμεινε ψύχραιμη και επέλεξε μια λογική επιλογή. Ο δεύτερος της δίνει μια μέτρια βαθμολογία: δεν είπε ποτέ γιατί την επέλεξε ή τι δεν γνώριζε. Και οι δύο εκπαιδευτές είναι έμπειροι. Και οι δύο χρησιμοποίησαν την ίδια φόρμα. Καμία από τις δύο δεν είναι λάθος, και αυτό είναι το πρόβλημα. Η φόρμα δεν τους έλεγε τι να ψάξουν.

Αυτό είναι ένα ενδεικτικό σενάριο, όχι μια τεκμηριωμένη περίπτωση πελάτη. Δείχνει γιατί η κρίση και η επίλυση προβλημάτων είναι δύσκολο να αξιολογηθούν: τα στοιχεία βρίσκονται στη συλλογιστική και η συλλογιστική είναι εύκολο να βαθμολογηθεί διαφορετικά.

Αυτός ο οδηγός απευθύνεται σε σχεδιαστές διδασκαλίας, διευθυντές εκπαίδευσης και επικεφαλής τμημάτων μάθησης και ανάπτυξης (L&D) που χρειάζονται μια ρουμπρίκα αξιολόγησης απόδοσης που μπορούν να υποστηρίξουν. Καλύπτει πέντε βήματα: ορισμό των αποδεικτικών στοιχείων, σύνταξη παρατηρήσιμων κριτηρίων, περιγραφή των σημείων αναφοράς απόδοσης, βαθμονόμηση των αξιολογητών και πιλοτική εφαρμογή της ρουμπρίκας. Ολοκληρώνεται με ένα λειτουργικό παράδειγμα και τα όρια που παραμένουν.

Τι είναι μια ρουμπρίκα αξιολόγησης απόδοσης;

Μια ρουμπρίκα αξιολόγησης απόδοσης είναι ένας οδηγός βαθμολόγησης για μια εργασία όπου ο μαθητής κάνει κάτι αντί να το ανακαλεί. Παραθέτει τα κριτήρια που έχουν σημασία, περιγράφει πώς μοιάζει κάθε επίπεδο βαθμολογίας και παρέχει στους αξιολογητές μια κοινή βάση για τη λήψη αποφάσεων. Για την κρίση και την επίλυση προβλημάτων, η εργασία είναι συνήθως μια περίπτωση: ο μαθητής αποφασίζει τι να κάνει, εξηγεί την απόφαση και λέει τι άλλο θα έπρεπε να γνωρίζει.

Μια ρουμπρίκα δεν είναι τεστ γνώσεων. Ένα κουίζ ανάκλησης μπορεί να επιβεβαιώσει ότι κάποιος γνωρίζει τους κανόνες. Μια ρουμπρίκα δείχνει εάν μπορεί να εφαρμόσει αυτούς τους κανόνες όταν η κατάσταση είναι ακατάστατη.

Γρήγορα γεγονότα

1. Ορίστε τα στοιχεία που αποδεικνύουν την απόδοση

Ξεκινήστε με την εργασία, όχι με τη φόρμα. Καταγράψτε την κατάσταση που θα αντιμετωπίσει ο μαθητής, την απόφαση που πρέπει να λάβει και τι θα καθιστούσε ορατό μια επαρκής απόδοση. Να είστε συγκεκριμένοι σχετικά με το πλαίσιο και τα όρια: ποια εξουσία έχει ο μαθητής, ποιες πληροφορίες του δίνονται και τι λείπει σκόπιμα;

Ένα χρήσιμο τεστ είναι να ρωτήσουμε τι θα μπορούσε να υποδείξει ένας παρατηρητής. Το «δείχνει καλή κρίση» δεν μπορεί να υποδειχθεί. Το «δηλώνει ποια διαδικασία εφαρμόζεται, κατονομάζει ένα γεγονός που λείπει και λέει ποιον θα ρωτούσε» μπορεί.

Εάν δεν μπορείτε να περιγράψετε τα στοιχεία με απλές προτάσεις, η εργασία δεν είναι έτοιμη για βαθμολόγηση. Διορθώστε πρώτα την εργασία. Μια αόριστη εργασία παράγει μια αόριστη ρουμπρίκα, όσο στιλβωμένη κι αν φαίνεται.

2. Γράψτε παρατηρήσιμα κριτήρια

Επιλέξτε έναν μικρό αριθμό κριτηρίων που ταιριάζουν με τον μαθησιακό στόχο. Για την κρίση και την επίλυση προβλημάτων, τρία από αυτά λειτουργούν καλά σε πολλούς ρόλους:

• Εκτέλεση εργασίας. Ο μαθητής λαμβάνει μια απόφαση εντός των ορίων της εξουσίας του και καταγράφει την επιλογή και τα στοιχεία που την υποστηρίζουν.
• Αιτιολογία. Ο μαθητής εξηγεί τους περιορισμούς, τις εναλλακτικές λύσεις και τι είναι ακόμη αβέβαιο.
• Όρια. Ο μαθητής χρησιμοποιεί εγκεκριμένες διαδικασίες και ζητά βοήθεια όταν λείπουν πληροφορίες ή εξουσιοδοτήσεις.

Γράψτε κάθε κριτήριο ως κάτι που φαίνεται σε μια απόφαση, μια εξήγηση ή ένα αποτέλεσμα. Αποφύγετε λέξεις που κατονομάζουν ένα χαρακτηριστικό, όπως «καλό», «ώριμο» ή «καλό». Δύο αξιολογητές διαβάζουν αυτές τις λέξεις διαφορετικά.

Διατηρήστε τον αριθμό χαμηλό. Κάθε επιπλέον κριτήριο προσθέτει ένα περιθώριο για τους αξιολογητές να διαφωνήσουν και έναν λόγο για τους μαθητές να κυνηγούν τους βαθμούς αντί να σκέφτονται. Εάν ένα κριτήριο δεν αλλάζει αυτό που θα κάνατε με το αποτέλεσμα, παραλείψτε το.

3. Περιγράψτε τα σημεία αναφοράς απόδοσης

Μια άγκυρα είναι μια σύντομη περιγραφή του πώς μοιάζει ένα επίπεδο βαθμολογίας. Χωρίς άγκυρες, μια βαθμολογία 1 ή 2 σημαίνει ό,τι θέλει να σημαίνει ο αξιολογητής.

Μια απλή κλίμακα τριών επιπέδων είναι συχνά αρκετή για μια πρώτη έκδοση:

Για κάθε κριτήριο, προσθέστε ένα σύντομο παράδειγμα για το πώς ακούγονται οι τιμές 0, 1 και 2 για την εργασία σας. Χρησιμοποιήστε πραγματική διατύπωση από προσπάθειες εξάσκησης, όπου μπορείτε. Οι άγκυρες που γράφονται αφηρημένα τείνουν να επιστρέφουν σε αόριστα επίθετα.

Αντιμετωπίστε τα κρίσιμα σφάλματα ξεχωριστά. Ορισμένες αποτυχίες δεν θα πρέπει να υπολογίζονται ως μέσοι όροι. Παραδείγματα αποτελούν η δράση πέρα ​​από την αρμοδιότητά σας, η αγνόηση ενός βήματος ασφαλείας ή η παραβίαση ενός ορίου συμμόρφωσης. Καταγράψτε τα ξεχωριστά από τα κριτήρια αξιολόγησης και αναφέρετε τη συνέπεια: ένα κρίσιμο σφάλμα καταγράφεται και παρακολουθείται ανεξάρτητα από το σύνολο. Διαφορετικά, ένας μαθητής μπορεί να βαθμολογηθεί καλά στη συλλογιστική και τα όρια, ενώ παράλληλα αναλαμβάνει μια ενέργεια που θα ήταν απαράδεκτη στην εργασία.

4. Βαθμονομήστε τους αξιολογητές χρησιμοποιώντας παραδείγματα

Μια ρουμπρίκα δεν βαθμολογείται από μόνη της. Οι αξιολογητές εξακολουθούν να την ερμηνεύουν, επομένως βαθμονομήστε την πριν βαθμολογήσετε μια ομάδα.

1. Επιλέξτε δύο ή τρία παραδείγματα απαντήσεων που διαφέρουν σε ποιότητα. Οι πραγματικές προσπάθειες από ένα πιλοτικό πρόγραμμα είναι οι καλύτερες.
2. Ζητήστε από κάθε αξιολογητή να τα βαθμολογήσει ανεξάρτητα, πριν από οποιαδήποτε συζήτηση.
3. Συγκρίνετε τις βαθμολογίες και, το πιο σημαντικό, τα στοιχεία που επικαλέστηκε κάθε άτομο.
4. Όπου οι βαθμολογίες διαφέρουν, βρείτε τη διατύπωση που την προκάλεσε και αλλάξτε το κριτήριο ή την άγκυρα.
5. Επαναλάβετε με ένα νέο παράδειγμα μέχρι οι αξιολογητές να δώσουν την ίδια βαθμολογία για τους ίδιους λόγους.

Στόχος είναι η κοινή ανάγνωση των κριτηρίων και όχι η συμφωνία καθαυτή. Εάν δύο αξιολογητές δώσουν την ίδια βαθμολογία για διαφορετικούς λόγους, η ρουμπρίκα εξακολουθεί να είναι ασαφής.

Τι λέει η έρευνα; Τα στοιχεία είναι ανάμεικτα, επομένως λάβετε υπόψη τυχόν διαφωνίες και μετρήστε τις. Σε μια μελέτη του 2022 για βιντεοσκοπημένες κλινικές εξετάσεις στο Fujita Medical Journal, δύο βαθμολογητές βαθμολόγησαν σαράντα βίντεο. Για τα πρώτα δέκα βαθμολόγησαν χωρίς έλεγχο και για τα υπόλοιπα συζήτησαν τη βαθμολόγησή τους με βάση τα κριτήρια της ρουμπρίκας κάθε φορά. Η συμφωνία, μετρούμενη με έναν σταθμισμένο συντελεστή κάππα, αυξήθηκε από 0.49 στα πρώτα δέκα βίντεο σε 0.82 στα τελευταία δέκα (Watari και συνεργάτες, 2022). Ήταν μια μικρή μελέτη μιας εξέτασης, οπότε αντιμετωπίστε την ως σημάδι ότι η μετριοπάθεια μπορεί να βοηθήσει, όχι ως υπόσχεση.

Η εκπαίδευση από μόνη της δεν αποτελεί εγγύηση. Μια τυχαιοποιημένη μελέτη του 2014 σε 21 βαθμολογητές που αξιολόγησαν 242 φοιτητές ιατρικής διαπίστωσε ότι μια σύντομη εκπαιδευτική συνεδρία πλαισίου αναφοράς δεν βελτίωσε μετρήσιμα την ακρίβεια των μεμονωμένων βαθμολογητών, αν και οι εκπαιδευμένοι βαθμολογητές βαθμολόγησαν πιο αυστηρά και πιο κοντά σε ένα πάνελ αναφοράς. Οι συγγραφείς κατέληξαν στο συμπέρασμα ότι η αξιολόγηση της απόδοσης είναι εξαιρετικά ατομική (Weitz και συνεργάτες, 2014). Η πρακτική ανάγνωση είναι να συνεχίσετε τη βαθμονόμηση με πραγματικά παραδείγματα, να ελέγχετε τη συμφωνία καθώς βαθμολογείτε και να μην υποθέτετε ότι μια μόνο συνεδρία ενημέρωσης είναι αρκετή.

5. Πιλοτική εφαρμογή και αναθεώρηση της ρουμπρίκας

Πριν χρησιμοποιήσετε τη ρουμπρίκα για αποφάσεις που έχουν σημασία, δοκιμάστε την πιλοτικά.

• Εκτελέστε το με μια μικρή ομάδα μαθητών και δύο ή περισσότερους αξιολογητές.
• Καταγράψτε πού διαφωνούν οι αξιολογητές και ζητήστε από τον καθένα να εξηγήσει τη βαθμολογία του.
• Ελέγξτε ότι τα κριτήρια διαχωρίζουν τις ισχυρές και τις αδύναμες απαντήσεις. Εάν κάθε μαθητής βαθμολογηθεί με 2, η εργασία ή οι βάσεις είναι πολύ εύκολες.
• Ρωτήστε τους μαθητές τι διευκρίνιζε η ρουμπρίκα και τι τους μπέρδευε.
• Αναθεωρήστε και, στη συνέχεια, δοκιμάστε ξανά με μια νέα περίπτωση.

Να είστε ειλικρινείς σχετικά με το τι δείχνει το πιλοτικό πρόγραμμα. Μια μη επικυρωμένη ρουμπρίκα είναι ένα προσχέδιο εργασίας. Δεν αποτελεί καθολικό πρότυπο πιστοποίησης και δεν θα πρέπει να χρησιμοποιείται για τη λήψη αποφάσεων υψηλού ρίσκου σχετικά με άτομα, μέχρι να την εξετάσει ένας επαγγελματίας στον ρόλο της και να έχετε στοιχεία ότι λειτουργεί για τον πληθυσμό σας.

Ένα λειτουργικό παράδειγμα: μια απόφαση κλιμάκωσης

Ενδεικτικά. Ένας επαγγελματίας που κάνει αυτή την εργασία θα πρέπει να επικυρώσει την περίπτωση και τα κριτήρια απάντησης πριν από τη χρήση.

Η υπόθεση. Ένας πελάτης αναφέρει μια καθυστερημένη παραγγελία και ζητά πλήρη επιστροφή χρημάτων. Ο εκπρόσωπος μπορεί να προσφέρει πίστωση έως ένα καθορισμένο ποσό χωρίς έγκριση. Η επιστροφή χρημάτων είναι μεγαλύτερη από αυτό. Ο διευθυντής δεν είναι διαθέσιμος για δύο ώρες. Οι σημειώσεις δείχνουν τέσσερις παραγγελίες φέτος.

Αυτό που κάνει ο μαθητής. Επιλέξτε μια απάντηση, εξηγήστε την απόφαση, αναφέρετε τα αποδεικτικά στοιχεία και πείτε ποιες περαιτέρω πληροφορίες ή υποστήριξη θα χρειαστούν.

Μια απάντηση βαθμολογήθηκε με 1 στη συλλογιστική. «Θα προσέφερα την επιστροφή χρημάτων επειδή ο πελάτης είναι αναστατωμένος». Η απόφαση αναφέρεται, αλλά δεν υπάρχουν αποδεικτικά στοιχεία, καμία αναφορά στο όριο και καμία ένδειξη για το τι λείπει.

Μια απάντηση βαθμολογήθηκε με 2 στη συλλογιστική. «Δεν θα επέστρεφα χρήματα πέραν του ορίου μου χωρίς έγκριση. Οι σημειώσεις δείχνουν τέσσερις παραγγελίες φέτος, επομένως αυτός ο πελάτης έχει σημασία, αλλά δεν έχω επιβεβαιώσει πού βρίσκεται το δέμα. Θα προσέφερα μια πίστωση εντός του ορίου μου τώρα, θα έλεγα στον πελάτη πότε θα απαντήσει ο διαχειριστής και θα ζητούσα από τον μεταφορέα μια ενημέρωση παρακολούθησης, ώστε η έγκριση να είναι γρήγορη.»

Ένα κρίσιμο σφάλμα. Η έκδοση της επιστροφής χρημάτων χωρίς έγκριση καταγράφεται ως κρίσιμο σφάλμα, ανεξάρτητα από τις άλλες βαθμολογίες, επειδή υπερβαίνει την αρμοδιότητα του αντιπροσώπου.

Παρατηρήστε τι έκαναν οι παρουσιαστές. Οι δύο αξιολογητές από την έναρξη θα αναζητούσαν τώρα τα ίδια πράγματα: την απόφαση, τα αναφερόμενα αποδεικτικά στοιχεία, τη δηλωμένη αβεβαιότητα και το όριο.

Όπου βοηθάει η διαδραστική παράδοση

Οι διαδραστικές μορφές βοηθούν στην εξάσκηση και τη βαθμονόμηση, επειδή κάθε άτομο δεσμεύεται σε μια απάντηση πριν δει την απάντηση της ομάδας. Σε μια ζωντανή συνεδρία, ένας συντονιστής μπορεί να δείξει ένα δείγμα απάντησης, να ζητήσει από κάθε αξιολογητή να το βαθμολογήσει ιδιωτικά και στη συνέχεια να αποκαλύψει την εξάπλωση πριν από τη συζήτηση. Οι ίδιες περιπτώσεις μπορούν να χρησιμοποιηθούν με τον δικό τους ρυθμό για προετοιμασία. Το AhaSlides υποστηρίζει τη διαδραστική μάθηση και τη μετάβαση μεταξύ ζωντανής και αυτορυθμιζόμενης παράδοσης. Ελέγξτε οποιαδήποτε συγκεκριμένη λειτουργία σύνταξης, ανατροφοδότησης ή αναφοράς στην οποία σκοπεύετε να βασιστείτε σε σχέση με τη δική σας ροή εργασίας και αντιμετωπίστε τις λειτουργίες Τεχνητής Νοημοσύνης, προσομοίωσης και ενσωμάτωσης ως εξωτερικές ή μη επιβεβαιωμένες μέχρι να τις δείτε να λειτουργούν. Για καθοδήγηση σχετικά με την επιλογή μεταξύ μορφών, ανατρέξτε στην ενότητα πότε να χρησιμοποιείται προσαρμοστική, διαδραστική και ζωντανή μάθησηΓια να αντιστοιχίσετε δραστηριότητες με το επίπεδο σκέψης που θέλετε να αξιολογήσετε, ανατρέξτε στον οδηγό μας για αντιστοίχιση μαθησιακών δραστηριοτήτων με την Ταξινόμηση του Bloom.

Μέτρησε τι άλλαξε

Αποφασίστε εκ των προτέρων ποια στοιχεία θα έδειχναν ότι οι μαθητές μπορούν να εκτελέσουν την εργασία. Συγκρίνετε την απόδοση σε μια νέα, απαρατήρητη περίπτωση με μια βασική γραμμή και εξετάστε την ποιότητα της συλλογιστικής καθώς και της απόφασης. Ορίστε ποιος περιλαμβάνεται, τον παρονομαστή και τον χρόνο. Εάν οι βαθμολογίες βελτιωθούν, ελέγξτε τι άλλο άλλαξε την ίδια περίοδο, όπως ένα νέο εργαλείο ή ένα διαφορετικό μείγμα εργασίας, πριν πιστώσετε την εκπαίδευση.

Περιορισμοί που ενδέχεται να παραμείνουν

Ακόμα και μια καλοσχεδιασμένη ρουμπρίκα δεν λύνει τα πάντα:

• Χρόνος αξιολογητή. Η βαθμονόμηση και η πιλοτική εφαρμογή απαιτούν χρόνο που πρέπει να προγραμματιστεί.
• Αυθεντία στην πραγματική δουλειά. Ένας μαθητής μπορεί να έχει καλό συλλογισμό στην άσκηση και παρόλα αυτά να μην έχει την εξουσία να ενεργήσει με αυτόν τον τρόπο στην εργασία.
• Κάλυψη υπόθεσης. Μία περίπτωση δείχνει μία απόφαση. Μία μεμονωμένη βαθμολογία δεν περιγράφει την κρίση κάποιου γενικά.
• ΜΕΤΑΦΟΡΑ. Η απόδοση σε ασφαλές περιβάλλον δεν είναι η ίδια με την απόδοση στην εργασία. Ελέγξτε τη μεταφορά μετά από κατάλληλη έκθεση.

Σχεδιάστε ξεχωριστές διορθώσεις για αυτά και ενημερώστε τους χορηγούς. Μια ρουμπρίκα κάνει την αξιολόγηση πιο σαφή και δίκαιη. Δεν μετατρέπει μια βαθμολογία σε εγγύηση.

Συχνές ερωτήσεις

Ποια είναι η διαφορά μεταξύ μιας ρουμπρίκας και μιας λίστας ελέγχου;

Μια λίστα ελέγχου καταγράφει εάν κάτι έγινε. Μια ρουμπρίκα περιγράφει πόσο καλά έγινε, σε διάφορα επίπεδα, ώστε να ταιριάζει σε εργασίες που χρειάζονται κρίση και εξήγηση.

Πόσα κριτήρια πρέπει να έχει μια ρουμπρίκα;

Λίγα, συνήθως τρία έως πέντε. Επιλέξτε αυτά που ταιριάζουν με τον μαθησιακό στόχο και παραλείψτε όποια δεν θα άλλαζαν αυτό που κάνετε με το αποτέλεσμα.

Μπορεί μια ρουμπρίκα να εξαλείψει τη διαφωνία μεταξύ των αξιολογητών;

Όχι. Μπορεί να το μειώσει, ειδικά με άγκυρες και βαθμονόμηση σε πραγματικά παραδείγματα, αλλά θα πρέπει να ελέγχετε τη συμφωνία καθώς βαθμολογείτε και αναθεωρείτε τυχόν ασαφείς διατυπώσεις.

Πρέπει να χρησιμοποιώ μια ρουμπρίκα για αποφάσεις υψηλού διακυβεύματος;

Μόνο μετά από μια πιλοτική εφαρμογή και αξιολόγηση από έναν επαγγελματία στον ρόλο. Αντιμετωπίστε μια νέα ρουμπρίκα ως προσχέδιο μέχρι να έχετε αποδείξεις ότι λειτουργεί για τους μαθητές και την εργασία σας.

Από πού να αρχίσω

Επιλέξτε μία απόφαση που οι μαθητές σας πρέπει να λάβουν σωστά. Γράψτε τα στοιχεία που θα έδειχνε μια επαρκής απόδοση, επιλέξτε τρία κριτήρια, συντάξτε μια αγκύρωση από 0 έως 2 για το καθένα και απαριθμήστε τα κρίσιμα λάθη. Στη συνέχεια, ζητήστε από δύο αξιολογητές να βαθμολογήσουν το ίδιο παράδειγμα ανεξάρτητα, να συγκρίνουν τα στοιχεία τους και να διορθώσουν τη διατύπωση πριν βαθμολογήσετε οποιονδήποτε.

Για να δείτε πώς μια υπόθεση θα μπορούσε να εκτελεστεί ζωντανά με τη δική σας ομάδα και να χρησιμοποιηθεί ξανά με τον δικό σας ρυθμό στη συνέχεια, εξερευνήστε το AhaSlides.