Ένα πιλοτικό πρόγραμμα ολοκληρώνεται. Δώδεκα άτομα συμμετείχαν, σχεδόν όλοι είπαν ότι ήταν χρήσιμο και ο συντονιστής είναι ευχαριστημένος. Στη συνέχεια, ο επικεφαλής των λειτουργιών θέτει μια εύλογη ερώτηση: «Έκανε κανείς τη δουλειά του διαφορετικά;» Κανείς δεν μέτρησε πώς εργάζονταν οι άνθρωποι πριν από το πιλοτικό πρόγραμμα, κανείς δεν τους συνέκρινε με κανέναν και η ομάδα άλλαξε τη διαδικασία της τον ίδιο μήνα. Το πιλοτικό πρόγραμμα παρήγαγε καλή θέληση, όχι αποδεικτικά στοιχεία.
Αυτό είναι ένα ενδεικτικό σενάριο, όχι μια τεκμηριωμένη περίπτωση πελάτη. Δείχνει έναν συνηθισμένο τρόπο με τον οποίο η αξιολόγηση των εκπαιδευτικών προγραμμάτων πάει στραβά: το πιλοτικό πρόγραμμα εκτελείται, αλλά δεν σχεδιάστηκε ποτέ για να απαντήσει σε μια ερώτηση.
Αυτός ο οδηγός απευθύνεται σε επικεφαλής τμημάτων μάθησης και ανάπτυξης (L&D), σχεδιαστές διδασκαλίας και διευθυντές εκπαίδευσης. Καλύπτει πέντε βήματα: ορισμό του ερωτήματος του πιλοτικού προγράμματος, επιλογή συμμετεχόντων και βασικών μέτρων, καταγραφή του μαθησιακού ταξιδιού, αξιολόγηση της απόδοσης και της μεταφοράς νέων εργασιών και συμφωνία για το πώς τα αποτελέσματα θα επηρεάσουν την ανάπτυξη. Ολοκληρώνεται με ένα πρότυπο που μπορείτε να προσαρμόσετε και τους περιορισμούς που παραμένουν.
Τι είναι ένας εκπαιδευόμενος πιλότος;
Ένα πιλοτικό πρόγραμμα εκπαίδευσης είναι μια μικρή, χρονικά περιορισμένη εκτέλεση ενός μαθησιακού σχεδιασμού προτού δεσμευτείτε σε αυτήν σε μεγάλη κλίμακα. Η δουλειά του είναι να διαπιστώσει εάν ο σχεδιασμός είναι εφικτός και τι αξίζει να επιδιωχθεί, όχι να αποδείξει ότι λειτουργεί παντού.
Αυτή η διάκριση έχει σημασία. Το Εθνικό Κέντρο Συμπληρωματικής και Ολοκληρωμένης Υγείας των ΗΠΑ περιγράφει μια πιλοτική μελέτη ως μια μικρής κλίμακας δοκιμή των μεθόδων και διαδικασιών που θα χρησιμοποιηθούν σε μεγαλύτερη κλίμακα και προειδοποιεί ότι μια πιλοτική μελέτη δεν έχει τη δυνατότητα να απαντήσει σε ερωτήσεις σχετικά με την αποτελεσματικότητα, επομένως οποιοδήποτε αποτέλεσμα φαίνεται να δείχνει είναι ασταθές (NCCIH, Πιλοτικές Μελέτες: Συνήθεις Χρήσεις και Κατάχρηση). Αυτές οι οδηγίες έχουν γραφτεί για την έρευνα στον τομέα της υγείας, αλλά η λογική τους συνεχίζεται. Ένα πιλοτικό πρόγραμμα δώδεκα ατόμων μπορεί να σας πει εάν μπορείτε να προσλάβετε, να υλοποιήσετε, να μετρήσετε και να παρακολουθήσετε. Δεν μπορεί να σας πει με σιγουριά πόσο μεγάλο θα είναι το αποτέλεσμα σε ολόκληρο τον οργανισμό.
Γρήγορα γεγονότα
| Ερώτηση | Σύντομη απάντηση |
|---|---|
| Σε τι χρησιμεύει ένας πιλότος; | Δοκιμή υποθέσεων μάθησης και παράδοσης πριν από την κλιμάκωση. |
| Τι χρειάζεστε πριν ξεκινήσει; | Μια εξεταστέα ερώτηση, μια εργασία, μια γραμμή βάσης και κριτήρια απόφασης. |
| Τι θεωρείται αποδεικτικό στοιχείο μεταβίβασης; | Απόδοση σε μια νέα εργασία μετά από εργασιακή εμπειρία, όχι ικανοποίηση. |
| Χρειάζεστε ομάδα ελέγχου; | Όχι πάντα. Μια ομάδα σύγκρισης ή μια σταδιακή εφαρμογή βοηθάει όταν είναι εφικτή και δίκαιη. |
| Πότε καθορίζετε τα κριτήρια απόφασης; | Πριν δείτε οποιοδήποτε αποτέλεσμα. |
| Τι δεν μπορεί να σου πει ο πιλότος; | Πόσο μεγάλο θα είναι το αποτέλεσμα σε κλίμακα. |
1. Ορίστε την ερώτηση του πιλότου
Ξεκινήστε με μια ερώτηση που μπορεί να απαντηθεί με ναι ή όχι ή με έναν αριθμό και ονομάστε την απόφαση που θα σας καθοδηγήσει.
Μια αδύναμη ερώτηση: «Λειτουργεί το νέο πρόγραμμα ένταξης;» Μια ελέγξιμη ερώτηση: «Μετά την ανασχεδιασμένη ένταξη, μπορούν οι νέοι αρχάριοι να διαχειριστούν μια τυπική προσέγγιση πελατών χωρίς βοήθεια και είναι πρακτικό να υλοποιηθεί το πιλοτικό πρόγραμμα με τον χρόνο καθοδήγησης που έχουμε;»
Γράψε τρία πράγματα:
- Το έργο. Τι θα μπορούν να κάνουν οι άνθρωποι που δεν μπορούσαν ή δεν τα κατάφερναν καλά πριν;
- Η απόφαση. Θα αναθεωρήσετε το σχεδιασμό, θα εκτελέσετε άλλο ένα πιλοτικό πρόγραμμα ή θα το εφαρμόσετε σε ευρύτερη κλίμακα;
- Οι υποθέσεις μάθησης και παράδοσης. Τι υποθέτετε σχετικά με τις προϋποθέσεις, τον χρόνο, την ικανότητα καθοδήγησης και τα εργαλεία που θα πρέπει να δοκιμάσει το πιλοτικό πρόγραμμα;
Αν δεν μπορείτε να δώσετε την απόφαση με ονοματεπώνυμο, δεν είστε έτοιμοι να εκτελέσετε το πιλοτικό πρόγραμμα. Το αποτέλεσμα θα έρθει χωρίς κανείς να περιμένει να το εφαρμόσει.
2. Επιλογή συμμετεχόντων και βασικών μετρήσεων
Ένα βασικό επίπεδο αποτελεί απόδειξη του τρόπου με τον οποίο οι άνθρωποι εκτελούν την εργασία πριν από την εκπαίδευση. Χωρίς αυτό, η λέξη «βελτιωμένο» δεν έχει τίποτα να συγκριθεί.
Επιλέξτε τους συμμετέχοντες συνειδητά. Επιλέξτε άτομα που κάνουν την πραγματική εργασία και μοιάζουν με την ομάδα στην οποία σκοπεύετε να το εφαρμόσετε. Ένα πιλοτικό πρόγραμμα με μόνο τους πιο ενθουσιώδεις εθελοντές σας θα κολακεύσει το σχέδιο.
Καταγράψτε τη γραμμή βάσης. Χρησιμοποιήστε το ίδιο είδος μέτρησης που θα χρησιμοποιήσετε στη συνέχεια, ώστε να μπορούν να συγκριθούν τα δύο. Οι επιλογές περιλαμβάνουν ένα σύντομο δείγμα εργασίας, μια δομημένη παρατήρηση, μια ανασκόπηση πρόσφατων αποτελεσμάτων ή μια βαθμολογημένη περίπτωση. Καταγράψτε ποιοι συμπεριλήφθηκαν, πόσοι ήταν επιλέξιμοι και πότε μετρήσατε.
Σκεφτείτε μια σύγκριση. Ο ισχυρότερος σχεδιασμός συγκρίνει άτομα που συμμετείχαν στο πιλοτικό πρόγραμμα με παρόμοια άτομα που δεν συμμετείχαν. Αυτό δεν είναι πάντα εφικτό ή δίκαιο, ειδικά όταν η εκπαίδευση είναι απαραίτητη για λόγους ασφάλειας ή συμμόρφωσης. Η σταδιακή εφαρμογή είναι μια πρακτική εναλλακτική: μια ομάδα ξεκινά τώρα, μια παρόμοια ομάδα ξεκινά αργότερα και η ομάδα που ακολουθεί λειτουργεί ως σύγκριση για την πρώτη. Ό,τι κι αν επιλέξετε, αναφέρετε στο σχέδιο γιατί είναι δίκαιο για τους εμπλεκόμενους.
3. Παράδοση και καταγραφή του μαθησιακού ταξιδιού
Τα αποδεικτικά στοιχεία είναι χρήσιμα μόνο αν γνωρίζετε τι παραδόθηκε. Κρατήστε ένα απλό αρχείο καταγραφής όσων συνέβησαν, επειδή το κόστος και η προσπάθεια παράδοσης αποτελούν μέρος αυτού που δοκιμάζει η πιλοτική εφαρμογή.
Ρεκόρ:
- Παρασκευή. Τι έκαναν οι άνθρωποι πριν από τις συνεδρίες και πόσο καιρό χρειάστηκε;
- Πρακτική. Ποιες περιπτώσεις ή ασκήσεις επεξεργάστηκαν και ποια σχόλια έλαβαν;
- Προπόνηση. Ποιος έκανε coaching, για πόσο καιρό, και ήταν ζωντανό ή ασύγχρονο;
- Λειτουργικές αλλαγές. Οτιδήποτε άλλο που άλλαξε κατά τη διάρκεια της πιλοτικής εφαρμογής, όπως ένα νέο εργαλείο, μια αλλαγή πολιτικής, μια εποχιακή αύξηση ή μια αλλαγή διευθυντή.
- Διαμόρφωση προϊόντος και κόστος. Η πραγματική εγκατάσταση που χρησιμοποιήσατε και ο χρόνος και τα χρήματα που χρειάστηκαν για την παράδοση.
Τα δύο τελευταία έχουν τη μεγαλύτερη σημασία για την απόφαση κυκλοφορίας. Ένας σχεδιασμός που λειτουργεί μόνο με ένα επίπεδο καθοδήγησης που δεν μπορείτε να αντέξετε οικονομικά σε μεγάλη κλίμακα σας έχει διδάξει κάτι πολύτιμο και το αρχείο καταγραφής είναι αυτό που το δείχνει.
4. Αξιολόγηση της απόδοσης και της μεταφοράς νέας εργασίας
Η αξιολόγηση της εκπαίδευσης περιγράφεται συχνά με τα τέσσερα επίπεδα του μοντέλου Kirkpatrick: αντίδραση, μάθηση, συμπεριφορά και αποτελέσματα (Kirkpatrick Partners). Ένας πιλότος θα πρέπει να φτάσει πέρα από το πρώτο επίπεδο. Οι αντιδράσεις, δηλαδή το αν οι άνθρωποι το βρήκαν χρήσιμο, είναι γρήγορες, αλλά δεν λέει πολλά για το αν θα αποδώσουν διαφορετικά.
Δοκιμή μάθησης σε μια νέα εργασία. Δώστε στους συμμετέχοντες μια περίπτωση στην οποία δεν έχουν εξασκηθεί και βαθμολογήστε την με τα ίδια κριτήρια που χρησιμοποιήσατε στην αρχική αξιολόγηση. Μια νέα εργασία δείχνει αν οι άνθρωποι μπορούν να εφαρμόσουν αυτά που έμαθαν, όχι αν θυμούνται ένα παράδειγμα.
Παρακολούθηση μετά την έκθεση στην εργασία. Μεταφορά σημαίνει εφαρμογή όσων έχουν μαθευτεί στην εργασία και διατήρησή τους με την πάροδο του χρόνου. Η συχνά αναφερόμενη ανασκόπηση των Baldwin και Ford του 1988 ορίζει τη μεταφορά τόσο ως τη γενίκευση του μαθησιακού υλικού στην εργασία όσο και ως τη διατήρησή του με την πάροδο του χρόνου, και εξετάζει πώς ο σχεδιασμός της εκπαίδευσης, τα χαρακτηριστικά των εκπαιδευόμενων και το εργασιακό περιβάλλον την επηρεάζουν (Μπόλντουιν και Φορντ, 1988). Σχεδιάστε λοιπόν μια παρακολούθηση αφού οι άνθρωποι έχουν πραγματική δουλειά να κάνουν, για παράδειγμα μερικές εβδομάδες αργότερα, και μετρήστε ξανά την ίδια εργασία.
Φράγμα ρεκόρ. Αν κάποιος δεν χρησιμοποιεί τη νέα προσέγγιση στην εργασία, ρωτήστε γιατί. Η απάντηση μπορεί να είναι ένα εργαλείο που λείπει, ένας διευθυντής που περιμένει τον παλιό τρόπο ή πολύ λίγος χρόνος. Αυτά είναι ευρήματα σχετικά με το εργασιακό περιβάλλον, όχι αποτυχίες του μαθητή.
Μην συμπεραίνετε τη μεταφορά από την ικανοποίηση. Αξίζει να καταγραφεί μια καλή βαθμολογία ανατροφοδότησης. Δεν δείχνει ότι η συμπεριφορά άλλαξε.
5. Αποφασίστε πώς τα αποτελέσματα επηρεάζουν την κυκλοφορία
Γράψτε τα κριτήρια απόφασης πριν δείτε τα αποτελέσματα. Διαφορετικά, είναι εύκολο να βρείτε έναν λόγο να προχωρήσετε με ό,τι δείτε.
Μια απλή δομή:
| Αν ο πιλότος δείξει | Τότε |
|---|---|
| Βελτιώθηκε η απόδοση της εργασίας, η μεταφορά πραγματοποιήθηκε, η παράδοση ήταν εφικτή | Σχεδιάστε μια ευρύτερη ανάπτυξη και συνεχίστε να μετράτε. |
| Η απόδοση της εργασίας βελτιώθηκε, αλλά η μεταφορά εμποδίστηκε από το εργασιακό περιβάλλον | Επισκευάστε το φράγμα και, στη συνέχεια, εκτελέστε έναν δεύτερο πιλότο. |
| Μικρή αλλαγή στη νέα εργασία | Αναθεωρήστε το σχέδιο πριν από οποιαδήποτε περαιτέρω εκτέλεση. |
| Το κόστος παράδοσης ή ο χρόνος καθοδήγησης δεν ήταν εφικτά | Επανασχεδιάστε τον τρόπο παράδοσής του και, στη συνέχεια, εφαρμόστε ξανά πιλοτικά. |
Να είστε ειλικρινείς σχετικά με το τι μπορεί να υποστηρίξει μια μικρή ομάδα. Αντιμετωπίστε τους αριθμούς ως ενδεικτικούς, αναφέρετε το μέγεθος της ομάδας και τον παρονομαστή και αποφύγετε τα μεγέθη ή τις εγγυήσεις των επιπτώσεων. Αναφέρετε ποιες άλλες αλλαγές συνέβησαν ταυτόχρονα πριν αποδώσετε την εκπαίδευση.
Ένα πιλοτικό πρότυπο μέτρησης
Ενδεικτικά. Ένας επαγγελματίας που εκτελεί αυτήν την εργασία θα πρέπει να την εξετάσει πριν από τη χρήση.
| Τμήμα | Τι να γράψετε |
|---|---|
| Ερώτηση πιλότου | Η εξεταστέα ερώτηση και η απόφαση που αυτή λαμβάνει υπόψη. |
| Έργο | Η νέα εργασία που πρέπει να εκτελέσουν οι άνθρωποι και πώς θα βαθμολογηθεί. |
| συμμετέχοντες | Ποιοι περιλαμβάνονται, πόσοι ήταν επιλέξιμοι και τυχόν ομάδα σύγκρισης. |
| Baseline | Το μέτρο, η ημερομηνία και οι βαθμολογίες πριν από την προπόνηση. |
| Ταξίδι μάθησης | Προετοιμασία, εξάσκηση, καθοδήγηση, χρόνος και κόστος. |
| Ταυτόχρονες αλλαγές | Οτιδήποτε άλλο που άλλαξε κατά τη διάρκεια της πιλοτικής περιόδου. |
| Αποτέλεσμα νέας εργασίας | Βαθμολογίες σε μια εργασία που δεν εξασκήθηκε κατά τη διάρκεια της πιλοτικής εφαρμογής. |
| Ακολουθω | Χρονισμός, ποιος προσεγγίστηκε και βαθμολογίες μετά την έκθεση στην εργασία. |
| Εμπόδια | Τι εμπόδισε τους ανθρώπους να εφαρμόσουν τη μάθηση. |
| Κριτήρια απόφασης | Τα όρια που ορίζετε πριν από την αξιολόγηση των αποτελεσμάτων. |
| Αποτέλεσμα | Αναθεώρηση, εκ νέου πιλοτική εφαρμογή ή εφαρμογή και γιατί. |
Όπου βοηθάει η διαδραστική παράδοση
Οι διαδραστικές μορφές ταιριάζουν στο στάδιο εξάσκησης ενός πιλοτικού προγράμματος, επειδή κάθε άτομο δεσμεύεται να δώσει μια απάντηση πριν δει την απάντηση της ομάδας, η οποία σας δίνει ένα αρχείο συλλογισμού και όχι μόνο την παρουσία. Ένας συντονιστής μπορεί να εκτελέσει μια υπόθεση ζωντανά και η ίδια υπόθεση μπορεί να χρησιμοποιηθεί με τον δικό του ρυθμό για προετοιμασία ή παρακολούθηση. Το AhaSlides υποστηρίζει τη διαδραστική μάθηση και τη μετάβαση μεταξύ ζωντανής και αυτορυθμιζόμενης παράδοσης. Ελέγξτε οποιαδήποτε συγκεκριμένη λειτουργία σύνταξης, ανατροφοδότησης ή αναφοράς στην οποία σκοπεύετε να βασιστείτε σε σχέση με τη δική σας ροή εργασίας και αντιμετωπίστε τις λειτουργίες τεχνητής νοημοσύνης, προσομοίωσης και ενσωμάτωσης ως εξωτερικές ή μη επιβεβαιωμένες μέχρι να τις δείτε να λειτουργούν. Για να επιλέξετε μεταξύ μορφών, ανατρέξτε στην ενότητα πότε να χρησιμοποιείται προσαρμοστική, διαδραστική και ζωντανή μάθησηΓια να αντιστοιχίσετε δραστηριότητες με τον τρόπο σκέψης που θέλετε να μετρήσετε, ανατρέξτε στον οδηγό μας για αντιστοίχιση μαθησιακών δραστηριοτήτων με την Ταξινόμηση του Bloom.
Περιορισμοί που ενδέχεται να παραμείνουν
Ακόμα και ένα καλοσχεδιασμένο πιλοτικό πρόγραμμα αφήνει κάποια πράγματα άλυτα:
- Μικροί αριθμοί. Ένα πιλοτικό πρόγραμμα δείχνει τη σκοπιμότητα και την κατεύθυνση, όχι πόσο μεγάλο θα είναι το αποτέλεσμα σε κλίμακα.
- Εργασιακό περιβάλλον. Οι άνθρωποι μπορούν να έχουν καλή απόδοση στη νέα εργασία και παρόλα αυτά να μην τη χρησιμοποιούν στην εργασία τους, αν ο διευθυντής, τα εργαλεία ή τα κίνητρά τους δείχνουν την αντίθετη κατεύθυνση.
- Συγχρονισμός. Μια παρακολούθηση μετά από μερικές εβδομάδες δεν δείχνει τι απομένει μετά από έξι μήνες.
- Ταυτόχρονη αλλαγή. Άλλες αλλαγές κατά την ίδια περίοδο μπορούν να εξηγήσουν μέρος της βελτίωσης.
- Επιλογή. Τα άτομα που προσφέρθηκαν εθελοντικά μπορεί να διαφέρουν από τα άτομα στα οποία απευθύνεστε.
Σχεδιάστε ξεχωριστές διορθώσεις για αυτά και ενημερώστε τους χορηγούς για ποιες ερωτήσεις δεν έλυσε το πιλοτικό πρόγραμμα.
Συχνές ερωτήσεις
Πόσο μεγάλος πρέπει να είναι ένας εκπαιδευόμενος πιλότος;
Αρκετά μεγάλο για να ελεγχθεί εάν το σχέδιο είναι πρακτικό στην υλοποίηση και τη μέτρηση, και αρκετά μικρό για να αλλάξει φθηνά. Δεν υπάρχει ένας μόνο σωστός αριθμός. Αναφέρετε το μέγεθος της ομάδας και αντιμετωπίστε οποιοδήποτε αποτέλεσμα ως ενδεικτικό.
Χρειάζομαι ομάδα ελέγχου για την αξιολόγηση ενός προγράμματος κατάρτισης;
Μια ομάδα σύγκρισης ενισχύει τα στοιχεία, αλλά δεν είναι πάντα εφικτή ή δίκαιη. Μια πρακτική εναλλακτική λύση είναι ένα βασικό σενάριο συν μια σταδιακή εφαρμογή, όπου μια παρόμοια ομάδα ξεκινά αργότερα.
Πότε πρέπει να μετρήσω τη μεταφορά;
Αφού οι άνθρωποι έχουν τον χρόνο και την ευκαιρία να εφαρμόσουν τη μάθηση στην εργασία, δώστε του τουλάχιστον μερικές εβδομάδες. Μετρήστε ξανά την ίδια εργασία και ρωτήστε για τα εμπόδια που εμπόδισαν οποιονδήποτε να τη χρησιμοποιήσει.
Είναι η ικανοποίηση ένα χρήσιμο μέτρο;
Είναι χρήσιμο για τη βελτίωση της εμπειρίας, αλλά δεν αποτελεί απόδειξη μεταφοράς. Συνδυάστε το με την απόδοση σε μια νέα εργασία.
Από πού να αρχίσω
Επιλέξτε μια εργασία που έχει σημασία και καταγράψτε την απόφαση που θα λάβει υπόψη το πιλοτικό πρόγραμμα. Καταγράψτε πώς την εκτελούν σήμερα μια χούφτα άτομα, χρησιμοποιώντας ένα σύντομο δείγμα εργασίας ή μια βαθμολογημένη περίπτωση. Στη συνέχεια, καταγράψτε τα κριτήρια απόφασής σας πριν από την έναρξη του πιλοτικού προγράμματος και κλείστε την ημερομηνία παρακολούθησης στο ημερολόγιο.
Για να δείτε πώς μια πρακτική περίπτωση θα μπορούσε να εκτελεστεί ζωντανά με τη δική σας ομάδα και να επαναχρησιμοποιηθεί με τον δικό σας ρυθμό στη συνέχεια, εξερευνήστε το AhaSlides.
