Ένας διευθυντής εκπαίδευσης ανοίγει τον πίνακα ελέγχου μάθησης τη Δευτέρα. Η ολοκλήρωση είναι 96%. Η μέση ικανοποίηση είναι 4.5 στα 5. Στη συνέχεια, ένας επικεφαλής ομάδας θέτει την αμήχανη ερώτηση: «Διαχειρίζονται οι άνθρωποι αυτές τις κλιμακώσεις πελατών με διαφορετικό τρόπο;» Ο πίνακας ελέγχου δεν μπορεί να απαντήσει. Καταγράφει ότι το μάθημα ολοκληρώθηκε, όχι ότι άλλαξε κάτι στην εργασία.
Αυτό είναι το κενό που αφήνουν ανοιχτό οι περισσότερες μετρήσεις εκπαίδευσης. Η ολοκλήρωση σας λέει ποιος έφτασε στο τέλος. Δεν σας λέει ποιος έμαθε την δεξιότητα, ποιος τη χρησιμοποίησε ή αν η επιχείρηση μετακινήθηκε. Αυτός ο οδηγός σας παρέχει μια ιεραρχία στοιχείων και ένα σχέδιο μέτρησης μίας σελίδας που μπορείτε να συμπληρώσετε για οποιοδήποτε πρόγραμμα, χωρίς να προσποιείστε ότι κάθε μάθημα χρειάζεται μια πλήρη μελέτη αιτιώδους απόδοσης επένδυσης (ROI).
Το παραπάνω αρχικό σενάριο είναι ενδεικτικό και όχι τεκμηριωμένη περίπτωση πελάτη.
Γρήγορα γεγονότα
| Ερώτηση | Σύντομη απάντηση |
|---|---|
| Τι δεν πάει καλά με τα ποσοστά ολοκλήρωσης; | Μετρούν τη συμμετοχή, όχι τη μάθηση ή την αλλαγή στην εργασία |
| Τι θα έπρεπε να μετρήσετε αντ' αυτού; | Μάθηση σε σχέση με τους στόχους, μεταφορά στην εργασία και, στη συνέχεια, λειτουργικά αποτελέσματα με βάση το πλαίσιο |
| Χρειάζεται ανάλυση απόδοσης επένδυσης (ROI) κάθε μάθημα; | Όχι. Αντιστοιχίστε το βάθος των αποδεικτικών στοιχείων με την απόφαση που λαμβάνεται |
| Τι περιλαμβάνεται σε ένα σχέδιο μετρήσεων; | Αποτέλεσμα, μέτρο, πηγή, παρονομαστής, χρονισμός και ιδιοκτήτης |
1. Ορίστε την απόφαση που θα πρέπει να υποστηρίζουν τα δεδομένα
Πριν επιλέξετε μια μέτρηση, ονομάστε την απόφαση που θα σας καθοδηγήσει. Τρεις συνηθισμένες απαιτούν διαφορετικά στοιχεία:
- Βελτιώστε το πρόγραμμα. Πρέπει να γνωρίζετε πού δυσκολεύτηκαν οι μαθητές, επομένως τα αποτελέσματα σε επίπεδο στοιχείου και εργασίας έχουν μεγαλύτερη σημασία από έναν βαθμό επιτυχίας.
- Επιβεβαιώστε την ετοιμότητα. Χρειάζεστε αποδεικτικά στοιχεία ότι ένα άτομο μπορεί να εκτελέσει μια καθορισμένη εργασία σύμφωνα με ένα συμφωνημένο πρότυπο, συνήθως μέσω παρατήρησης ή μιας βαθμολογημένης εργασίας.
- Αξιολογήστε μια κυκλοφορία. Πρέπει να συγκρίνετε ομάδες ή περιόδους, επομένως η συνέπεια στις μετρήσεις, τους παρονομαστές και τον χρονισμό έχει τη μεγαλύτερη σημασία.
Αν δεν μπορείτε να πείτε ποια απόφαση υποστηρίζουν τα δεδομένα, θα συλλέξετε τα πάντα και θα καταλήξετε σε ελάχιστα συμπεράσματα. Μια σύντομη δοκιμή: αν το αποτέλεσμα ήταν κακό, τι θα κάνατε διαφορετικά; Αν η απάντηση είναι «τίποτα», η μέτρηση δεν κερδίζει τη θέση της.
2. Μέτρηση της μάθησης σε σχέση με τους στόχους
Ξεκινήστε από την εργασία, όχι από το περιεχόμενο του μαθήματος. Γράψτε τον στόχο ως κάτι που κάνει ένα άτομο ("διαλογή ενός κλιμακωμένου παραπόνου χρησιμοποιώντας τα συμφωνημένα κριτήρια") και στη συνέχεια σχεδιάστε την αξιολόγηση ώστε να ταιριάζει. Το Κέντρο Carnegie Mellon Eberly τονίζει ξεκάθαρα το βασικό σημείο: οι αξιολογήσεις, οι στόχοι και οι εκπαιδευτικές δραστηριότητες θα πρέπει να ενισχύουν το ένα το άλλο και η διδασκαλία αναλυτικών δεξιοτήτων, ενώ αξιολογείται μόνο η ανάκληση γεγονότων, αφήνει τους μαθητές να εξασκούν το λάθος πράγμα (Οδηγίες του Κέντρου Eberly σχετικά με την ευθυγράμμιση των αξιολογήσεων, των στόχων και των διδακτικών στρατηγικών).
Στην πράξη, αυτό σας δίνει τρεις επιλογές σχεδιασμού:
- Ορίστε μια γραμμή βάσης. Αξιολογήστε την εργασία πριν από την εκπαίδευση ή χρησιμοποιήστε μια σύντομη διαγνωστική μέθοδο, ώστε να γνωρίζετε από πού ξεκινάει κάθε μαθητής. Χωρίς ένα βασικό επίπεδο, μια καλή βαθμολογία μετά την εκπαίδευση θα μπορούσε απλώς να αντικατοπτρίζει προηγούμενη δεξιότητα.
- Χρησιμοποιήστε μια αντίστοιχη παρακολούθηση. Η μεταγενέστερη αξιολόγηση θα πρέπει να εξετάζει την ίδια εργασία και το ίδιο πρότυπο, χρησιμοποιώντας μια νέα περίπτωση αντί για αυτήν που εφαρμόστηκε. Η επανάληψη των πανομοιότυπων στοιχείων επιβραβεύει τη μνήμη των απαντήσεων.
- Κρατήστε την ικανοποίηση ξεχωριστά. Οι αντιδράσεις των μαθητών σας βοηθούν να βελτιώσετε την εμπειρία, αλλά τα Κέντρα Ελέγχου και Πρόληψης Νοσημάτων των ΗΠΑ (CDC) αναφέρουν ρητά στις οδηγίες αξιολόγησης της εκπαίδευσης ότι η ικανοποίηση των μαθητών δεν καθορίζει εάν μια εκπαίδευση είναι αποτελεσματική (CDC, αξιολόγηση της εκπαίδευσης: μέτρηση της αποτελεσματικότητας). Αναφέρετέ το, αλλά ποτέ ως υποκατάστατο της μάθησης.
Μια απλή ρουμπρίκα τριών σημείων βοηθάει εδώ. Βαθμολογήστε κάθε κριτήριο με 0 (απών ή μη υποστηριζόμενο), 1 (μερικό, με σχετικές παραλείψεις) ή 2 (πλήρες και δικαιολογημένο) και ορίστε τα κρίσιμα σφάλματα ξεχωριστά, ώστε μια συνολική βαθμολογία να μην μπορεί να κρύψει μια σοβαρή αποτυχία. Προσαρμόστε τα κριτήρια με έναν ειδικό στο θέμα. Μια ρουμπρίκα που γράψατε οι ίδιοι είναι ένα σημείο εκκίνησης, όχι ένα επικυρωμένο πρότυπο.
3. Αξιολόγηση της μεταφοράς μετά την έκθεση στην εργασία
Η εκμάθηση κάποιου πράγματος σε ένα μάθημα και η εφαρμογή του στην εργασία είναι διαφορετικά γεγονότα. Η καθοδήγηση του CDC διαχωρίζει την αξιολόγηση της μάθησης από την αξιολόγηση της μεταφοράς μάθησης, η οποία διερευνά πόσο επιτυχημένα ένας μαθητής εφαρμόζει αυτά που έμαθε πίσω στον χώρο εργασίας.
Η μεταφορά αποδεικτικών στοιχείων απαιτεί χρόνο. Προγραμματίστε μια παρακολούθηση αφού ο μαθητής έχει μια πραγματική ευκαιρία να χρησιμοποιήσει τη δεξιότητα, η οποία μπορεί να διαρκέσει δύο εβδομάδες για μια καθημερινή εργασία και αρκετούς μήνες για μια σπάνια. Στη συνέχεια, συγκεντρώστε αποδεικτικά στοιχεία με έναν ή περισσότερους από τους ακόλουθους τρόπους:
- Παρατήρηση ή ανασκόπηση δείγματος εργασίας έναντι της ίδιας ρουμπρίκας που χρησιμοποιείται στην εκπαίδευση.
- Εισαγωγή στον διευθυντή ή σε συναδέλφους χρησιμοποιώντας συγκεκριμένες ερωτήσεις που βασίζονται στη συμπεριφορά αντί για το "βελτιώθηκαν;".
- Αποδεικτικά στοιχεία συστήματος όπου η εργασία αφήνει ένα ίχνος, όπως μια συμπληρωμένη φόρμα ή μια καταγεγραμμένη υπόθεση.
Καταγράψτε τα εμπόδια τόσο προσεκτικά όσο και τα αποτελέσματα. Ένας μαθητής που μπορεί να εκτελέσει την εργασία στην εκπαίδευση αλλά δεν την εκτελεί στην εργασία μπορεί να μην έχει τα εργαλεία, την εξουσία, τον χρόνο ή την υποστήριξη του διευθυντή. Αυτοί οι περιορισμοί μπορούν να παραμείνουν ακόμη και μετά τη βελτίωση της απόδοσης της εργασίας στην τάξη και είναι τα ευρήματα που είναι πιθανότερο να αλλάξουν την επόμενη απόφασή σας. Ρωτήστε «τι σας εμπόδισε να το εφαρμόσετε αυτό;» και κατηγοριοποιήστε τις απαντήσεις.
4. Ερμηνεύστε τα λειτουργικά αποτελέσματα με βάση το πλαίσιο
Τα λειτουργικά μέτρα, όπως τα ποσοστά σφαλμάτων, οι χρόνοι χειρισμού ή τα ποσοστά επίλυσης, έχουν σημασία επειδή είναι αυτά που ενδιαφέρουν τον οργανισμό. Είναι επίσης τα πιο εύκολα στην ανάγνωση.
Τρεις συνήθειες σε κρατούν ειλικρινή:
- Χρησιμοποιήστε μια συγκρίσιμη τιμή. Οι μετρήσεις παραπλανούν όταν αλλάζουν οι όγκοι. Συγκρίνετε τα ποσοστά με έναν δηλωμένο παρονομαστή: σφάλματα ανά εκατό περιπτώσεις, όχι σφάλματα συνολικά.
- Παραθέστε εναλλακτικές εξηγήσεις. Η εποχικότητα, ένα νέο εργαλείο, μια αλλαγή προσωπικού ή μια ενημέρωση πολιτικής μπορούν να μετακινήσουν τον ίδιο αριθμό στο ίδιο τρίμηνο. Καταγράψτε τα πριν δείτε το αποτέλεσμα.
- Πες τι είδους ισχυρισμός είναι. Εάν το εκπαιδευμένο προσωπικό παρουσιάζει καλύτερο ποσοστό από το μη εκπαιδευμένο προσωπικό, αυτή είναι μια παρατηρούμενη συσχέτιση. Ένας αιτιώδης ισχυρισμός χρειάζεται έναν σχεδιασμό που αποκλείει τις εναλλακτικές λύσεις, όπως μια ομάδα σύγκρισης ή μια κλιμακωτή ανάπτυξη. Τα περισσότερα προγράμματα δεν χρειάζονται αυτό το επίπεδο αυστηρότητας και είναι εντάξει να το πούμε ξεκάθαρα: «τα αποτελέσματα κινήθηκαν προς την κατεύθυνση που ελπίζαμε· να τι άλλο άλλαξε».
Αποφύγετε να υπόσχεστε απόδοση της επένδυσης μόνο από την εκπαίδευση. Αναφέρετε τι παρατηρήσατε, το πλαίσιο και τα όρια.
5. Δημιουργήστε ένα πρακτικό σχέδιο μετρήσεων
Τοποθετήστε τα κομμάτια σε έναν πίνακα ανά πρόγραμμα. Κάθε σειρά είναι μια ερώτηση στην οποία πρέπει να απαντήσουν τα δεδομένα.
| Πεδίο | Τι να γράψω | Γιατί έχει σημασία |
|---|---|---|
| Αποτέλεσμα | Η αλλαγή που περιμένετε, με παρατηρήσιμους όρους | Σταματά τους αόριστους στόχους |
| Μέτρο | Η συγκεκριμένη μέτρηση ή βαθμολογία ρουμπρίκας | Το καθιστά δοκιμαστικό |
| Πηγή | Από πού προέρχονται τα δεδομένα | Δείχνει αν υπάρχει και είναι αξιόπιστο |
| Παρονομαστής | Από ποιον ή από τι είναι εκτός το μέτρο | Αποτρέπει τις παραπλανητικές ακατέργαστες μετρήσεις |
| Συγχρονισμός | Όταν συλλέγεται | Διαχωρίζει τη μάθηση από τη μεταφορά |
| Ιδιοκτήτης | Το υπεύθυνο άτομο που έχει οριστεί | Το κάνει να συμβεί |
Παράδειγμα εργασίας (ενδεικτικό, δεν εμφανίζονται αποτελέσματα)
Φανταστείτε ένα πρόγραμμα που βοηθά το προσωπικό υποστήριξης πελατών να χειρίζεται κλιμακούμενες καταγγελίες. Η απόφαση: να επιβεβαιώσετε την ετοιμότητά σας πριν οι εκπρόσωποι αναλάβουν κλιμακώσεις χωρίς φίλο.
| Αποτέλεσμα | Μέτρο | Πηγή | Παρονομαστής | Συγχρονισμός | Ιδιοκτήτης |
|---|---|---|---|---|---|
| Οι πράκτορες διαχωρίζουν μια κλιμάκωση χρησιμοποιώντας τα συμφωνημένα κριτήρια | Βαθμολογία ρουμπρίκας (0 έως 2 ανά κριτήριο, χωρίς κρίσιμα σφάλματα) σε μια νέα περίπτωση | Βαθμολογημένη πρακτική περίπτωσης | Πράκτορες που ολοκληρώνουν το πρόγραμμα | Τέλος προγράμματος, σε σύγκριση με την αρχική τιμή πριν από την εκπαίδευση | Υπεύθυνος εκπαίδευσης |
| Οι εκπρόσωποι εφαρμόζουν τα βήματα διαλογής σε ενεργές υποθέσεις | Βαθμολογία ρουμπρίκας σε δείγματα πραγματικών κλιμακώσεων | Δείγμα αξιολόγησης ποιότητας | Δείγματα κλιμακώσεων ανά παράγοντα | Τέσσερις έως έξι εβδομάδες μετά τις πρώτες ζωντανές κλιμακώσεις | Αρχηγός ομάδας |
| Τα εμπόδια στην εφαρμογή των βημάτων είναι γνωστά | Κατηγοριοποιημένοι λόγοι από μια σύντομη παρακολούθηση | Έλεγχος παρακολούθησης πράκτορα | Πράκτορες που χειρίστηκαν μια κλιμάκωση | Ίδιο παράθυρο παρακολούθησης | Υπεύθυνος εκπαίδευσης |
| Τα αποτελέσματα της κλιμάκωσης παρακολουθούνται στο πλαίσιο που τα περιγράφουμε | Ποσοστό επανεκκίνησης υποθέσεων, με ταυτόχρονες αλλαγές που σημειώθηκαν | Σύστημα υποθέσεων | Οι κλιμακώσεις έκλεισαν κατά την περίοδο | Τριμηνιαία, σε σύγκριση με την προηγούμενη περίοδο | Αναλυτής λειτουργιών |
Παρατηρήστε τι απουσιάζει: καμία υποσχεμένη ποσοστιαία βελτίωση και κανένας ισχυρισμός ότι η εκπαίδευση από μόνη της οδηγεί στην τελική σειρά. Το σχέδιο σας δεσμεύει να συλλέξετε ειλικρινή στοιχεία, όχι να απαντήσετε σε μια συγκεκριμένη απάντηση.
Πού ταιριάζουν η διαδραστική και η προσαρμοστική παροχή
Η μέτρηση είναι ευκολότερη όταν η ίδια η μάθηση παράγει αποδεικτικά στοιχεία. Διαδραστικές δραστηριότητες, όπως βαθμολογημένες ερωτήσεις περίπτωσης, δημοσκοπήσεις σεναρίων και σύντομοι έλεγχοι γνώσεων, σας παρέχουν δεδομένα ανά μαθητή και ανά στοιχείο κατά τη διάρκεια της εκπαίδευσης, και η προσαρμοστική μάθηση μπορεί να προσανατολίσει τους ανθρώπους ανάλογα με την απόδοσή τους. Τα συνδυασμένα σχέδια που εναλλάσσονται μεταξύ ζωντανών συνεδριών και μελέτης με αυτορυθμιζόμενο ρυθμό σάς επιτρέπουν να κάνετε μια διαγνωστική εξέταση στον δικό σας χρόνο, να εξασκηθείτε σε μια περίπτωση ζωντανά με ανατροφοδότηση και να ολοκληρώσετε μια επανάληψη ασύγχρονα.
Αυτές οι δυνατότητες υποστηρίζουν τα στοιχεία στις γραμμές ένα και δύο του σχεδίου σας. Δεν αντικαθιστούν τις γραμμές μεταφοράς και αποτελέσματος, οι οποίες εξαρτώνται από το τι συμβαίνει στην εργασία. Ελέγξτε ποιες συγκεκριμένες δυνατότητες αναφοράς και σύνταξης χρειάζεστε σε σχέση με μια επίδειξη πριν δεσμευτείτε για ένα σχέδιο και αντιμετωπίστε οποιοδήποτε εξωτερικό εργαλείο ή ενσωμάτωση ως ξεχωριστό από την βασική ροή εργασίας μέχρι να το δείτε να λειτουργεί.
Δοκιμάστε το με το δικό σας πρόγραμμα
Συμπληρώστε το σχέδιο έξι πεδίων για ένα πρόγραμμα που εκτελείτε τώρα, ξεκινώντας με την απόφαση που θα πρέπει να υποστηρίζει.
Για να δείτε πώς τα μαθησιακά στοιχεία στο σχέδιό σας θα μπορούσαν να καταγραφούν σε μια ζωντανή ή αυτορυθμιζόμενη συνεδρία, εξερευνήστε το AhaSlides.
Συχνές ερωτήσεις
Ποιες είναι οι μετρήσεις αποτελεσματικότητας της εκπαίδευσης;
Είναι τα μέτρα που χρησιμοποιείτε για να κρίνετε εάν η εκπαίδευση πέτυχε τον σκοπό της. Ένα χρήσιμο σύνολο καλύπτει τη μάθηση σε σχέση με τους στόχους, τη μεταφορά στην εργασία και τα λειτουργικά αποτελέσματα που εξετάζονται στο πλαίσιο, αντί για την ολοκλήρωση και την ικανοποίηση μόνο.
Είναι το ποσοστό ολοκλήρωσης μια χρήσιμη μέτρηση;
Είναι χρήσιμο για την παρακολούθηση της συμμετοχής και τον εντοπισμό προβλημάτων πρόσβασης. Δεν μπορεί να δείξει ότι κάποιος έμαθε ή εφάρμοσε μια δεξιότητα, επομένως συνδυάστε το με μια αξιολόγηση και μια παρακολούθηση.
Πόσο καιρό μετά την προπόνηση πρέπει να μετρήσω τη μεταφορά;
Αρκετά μεγάλο χρονικό διάστημα ώστε οι μαθητές να έχουν μια πραγματική ευκαιρία να χρησιμοποιήσουν την δεξιότητα. Μια καθημερινή εργασία μπορεί να χρειαστεί μερικές εβδομάδες, ενώ μια σπάνια εργασία χρειάζεται περισσότερο χρόνο. Ορίστε το χρονικό διάστημα στο σχέδιό σας πριν ξεκινήσει η εκπαίδευση.
Χρειάζεται να αποδείξω την απόδοση επένδυσης (ROI) για κάθε μάθημα;
Όχι. Αντιστοιχίστε τα στοιχεία με την απόφαση. Πολλά προγράμματα εξυπηρετούνται επαρκώς από στοιχεία μάθησης και μεταφοράς, καθώς και από λειτουργικά αποτελέσματα που αναφέρονται με βάση το πλαίσιο. Χρησιμοποιήστε την αιτιώδη ανάλυση για προγράμματα υψηλού διακυβεύματος ή υψηλού κόστους, όπου ο σχεδιασμός το επιτρέπει.
