प्रशिक्षण कार्यक्रमों का मूल्यांकन: सीखने और कार्यस्थल पर इसके प्रभाव को मापने के लिए एक पायलट कार्यक्रम कैसे चलाया जाए

पायलट प्रोजेक्ट समाप्त हुआ। इसमें बारह लोगों ने भाग लिया, लगभग सभी ने इसे उपयोगी बताया और फैसिलिटेटर संतुष्ट थे। तभी ऑपरेशन हेड ने एक वाजिब सवाल पूछा: "क्या किसी ने अपना काम करने का तरीका बदला?" पायलट प्रोजेक्ट से पहले किसी ने भी लोगों के काम करने के तरीके को नहीं मापा, किसी ने भी उनकी तुलना किसी और से नहीं की, और टीम ने उसी महीने में अपनी कार्यप्रणाली में बदलाव कर दिया। पायलट प्रोजेक्ट से सद्भावना तो पैदा हुई, लेकिन कोई ठोस सबूत नहीं मिला।

यह एक उदाहरण मात्र है, किसी प्रमाणित ग्राहक का मामला नहीं। यह दर्शाता है कि प्रशिक्षण कार्यक्रमों का मूल्यांकन करते समय आम तौर पर क्या गलतियाँ होती हैं: पायलट प्रोजेक्ट चलाया जाता है, लेकिन इसे किसी प्रश्न का उत्तर देने के लिए डिज़ाइन नहीं किया गया था।

यह मार्गदर्शिका शिक्षण एवं विकास प्रमुखों, अनुदेशात्मक डिजाइनरों और प्रशिक्षण प्रबंधकों के लिए है। इसमें पाँच चरण शामिल हैं: पायलट प्रश्न को परिभाषित करना, प्रतिभागियों और आधारभूत मापदंडों का चयन करना, सीखने की प्रक्रिया को रिकॉर्ड करना, नए कार्यों के प्रदर्शन और स्थानांतरण का आकलन करना, और यह तय करना कि परिणाम कार्यान्वयन को कैसे प्रभावित करेंगे। अंत में, इसमें एक टेम्पलेट दिया गया है जिसे आप अपनी आवश्यकतानुसार अनुकूलित कर सकते हैं और शेष सीमाएँ भी बताई गई हैं।

ट्रेनिंग पायलट क्या होता है?

प्रशिक्षण पायलट किसी लर्निंग डिज़ाइन को बड़े पैमाने पर लागू करने से पहले उसका एक छोटा, सीमित समय का परीक्षण होता है। इसका उद्देश्य यह पता लगाना होता है कि डिज़ाइन व्यवहार्य है या नहीं और इसे आगे बढ़ाना उचित है या नहीं, न कि यह साबित करना कि यह हर जगह काम करता है।

यह अंतर महत्वपूर्ण है। यूएस नेशनल सेंटर फॉर कॉम्प्लीमेंट्री एंड इंटीग्रेटिव हेल्थ एक पायलट अध्ययन को बड़े पैमाने पर उपयोग की जाने वाली विधियों और प्रक्रियाओं के छोटे पैमाने के परीक्षण के रूप में वर्णित करता है, और चेतावनी देता है कि एक पायलट अध्ययन प्रभावकारिता के बारे में सवालों के जवाब देने के लिए पर्याप्त रूप से सक्षम नहीं है, इसलिए इसके द्वारा दिखाया गया कोई भी प्रभाव अस्थिर है।एनसीसीआईएच, पायलट अध्ययन: सामान्य उपयोग और दुरुपयोगयह दिशा-निर्देश स्वास्थ्य अनुसंधान के लिए लिखा गया है, लेकिन इसका तर्क हर जगह लागू होता है। बारह लोगों का एक पायलट प्रोजेक्ट आपको यह बता सकता है कि आप भर्ती, कार्यान्वयन, मापन और अनुवर्ती कार्रवाई कर सकते हैं या नहीं। लेकिन यह विश्वासपूर्वक यह नहीं बता सकता कि पूरे संगठन पर इसका कितना प्रभाव पड़ेगा।

त्वरित तथ्य

1. पायलट प्रश्न को परिभाषित करें

एक ऐसे प्रश्न से शुरुआत करें जिसका उत्तर हां या ना में दिया जा सके, या किसी संख्या में दिया जा सके, और उस निर्णय का नाम बताएं जो इस प्रश्न से प्रभावित होगा।

एक कमजोर सवाल: "क्या नया ऑनबोर्डिंग प्रोग्राम कारगर है?" एक जांच योग्य सवाल: "पुनर्निर्मित ऑनबोर्डिंग के बाद, क्या नए कर्मचारी बिना किसी मदद के ग्राहक की सामान्य समस्या का समाधान कर सकते हैं, और क्या उपलब्ध प्रशिक्षण समय के साथ पायलट प्रोजेक्ट को लागू करना व्यावहारिक है?"

तीन बातें लिखिए:

• कार्य। लोग अब ऐसा क्या कर पाएंगे जो वे पहले नहीं कर पाते थे, या ठीक से नहीं कर पाते थे?
• निर्णय। क्या आप डिजाइन में संशोधन करेंगे, एक और पायलट प्रोजेक्ट चलाएंगे या इसे और व्यापक स्तर पर लागू करेंगे?
• सीखने और उसे लागू करने संबंधी मान्यताएँ। आप पूर्वापेक्षाओं, समय, प्रशिक्षण क्षमता और उन उपकरणों के बारे में क्या मान रहे हैं जिनका परीक्षण पायलट प्रोजेक्ट को करना चाहिए?

यदि आप निर्णय का नाम नहीं बता सकते, तो आप पायलट प्रोजेक्ट चलाने के लिए तैयार नहीं हैं। परिणाम तब तक आ जाएगा जब तक उस पर कार्रवाई करने के लिए कोई मौजूद नहीं होगा।

2. प्रतिभागियों और आधारभूत मापों का चयन करें

बेसलाइन इस बात का प्रमाण है कि प्रशिक्षण से पहले लोग कार्य को कैसे करते हैं। इसके बिना, "सुधार" की तुलना करने के लिए कुछ भी नहीं होता।

प्रतिभागियों का चयन सोच-समझकर करें। ऐसे लोगों को चुनें जो असल काम करते हों और उस समूह से मिलते-जुलते हों जिस पर आप यह योजना लागू करने की योजना बना रहे हैं। केवल अपने सबसे उत्साही स्वयंसेवकों के साथ शुरू किया गया पायलट प्रोजेक्ट योजना को और भी प्रभावी बनाएगा।

बेसलाइन को कैप्चर करें। बाद में उपयोग किए जाने वाले माप के समान ही माप का प्रयोग करें, ताकि दोनों की तुलना की जा सके। विकल्पों में एक छोटा कार्य नमूना, एक संरचित अवलोकन, हाल के परिणामों की समीक्षा या एक स्कोर किया गया मामला शामिल हैं। यह रिकॉर्ड करें कि किन लोगों को शामिल किया गया था, कितने लोग पात्र थे और आपने माप कब किया था।

एक तुलना के बारे में सोचें। सबसे प्रभावी डिज़ाइन में पायलट प्रोजेक्ट में भाग लेने वाले लोगों की तुलना उन लोगों से की जाती है जिन्होंने इसमें भाग नहीं लिया। लेकिन यह हमेशा संभव या उचित नहीं होता, खासकर तब जब प्रशिक्षण सुरक्षा या अनुपालन के लिए आवश्यक हो। चरणबद्ध कार्यान्वयन एक व्यावहारिक विकल्प है: एक समूह अभी शुरू करता है, एक समान समूह बाद में शुरू करता है, और बाद वाला समूह पहले समूह के लिए तुलना के रूप में कार्य करता है। आप जो भी विकल्प चुनें, योजना में यह अवश्य बताएं कि यह इसमें शामिल लोगों के लिए उचित क्यों है।

3. सीखने की प्रक्रिया को पूरा करें और उसका रिकॉर्ड रखें।

सबूत तभी उपयोगी होते हैं जब आपको पता हो कि क्या डिलीवर किया गया था। जो कुछ भी हुआ उसका स्पष्ट रिकॉर्ड रखें, क्योंकि डिलीवरी की लागत और मेहनत पायलट परीक्षण का हिस्सा होती है।

रिकार्ड:

• तैयार करना। सत्रों से पहले लोगों ने क्या किया और इसमें कितना समय लगा?
• अभ्यास करें. उन्होंने किन-किन केस स्टडी या अभ्यासों को हल किया और उन्हें क्या प्रतिक्रिया मिली?
• कोचिंग। किसने कोचिंग दी, कितने समय तक दी, और यह लाइव थी या असिंक्रोनस?
• परिचालन में परिवर्तन। पायलट प्रोजेक्ट के दौरान जो भी अन्य बदलाव हुए हों, जैसे कि कोई नया उपकरण, नीति में बदलाव, मौसमी भीड़ या प्रबंधक का परिवर्तन।
• उत्पाद विन्यास और लागत। आपने वास्तव में कौन सा सेटअप इस्तेमाल किया, और उसे लागू करने में कितना समय और पैसा लगा।

अंतिम दो बिंदु कार्यान्वयन निर्णय के लिए सबसे महत्वपूर्ण हैं। एक ऐसा डिज़ाइन जो केवल उस स्तर की कोचिंग के साथ काम करता है जिसे आप बड़े पैमाने पर वहन नहीं कर सकते, उसने आपको कुछ मूल्यवान सिखाया है, और लॉग ही इसे दर्शाता है।

4. नए कार्य के प्रदर्शन और स्थानांतरण का आकलन करें।

प्रशिक्षण मूल्यांकन को अक्सर किर्कपैट्रिक मॉडल के चार स्तरों के साथ वर्णित किया जाता है: प्रतिक्रिया, सीखना, व्यवहार और परिणाम।किर्कपैट्रिक पार्टनर्सएक पायलट प्रोजेक्ट को पहले स्तर से आगे बढ़ना चाहिए। लोगों की प्रतिक्रिया, चाहे उन्हें यह उपयोगी लगा हो या नहीं, जल्दी से एकत्र की जा सकती है, लेकिन इससे यह पता नहीं चलता कि वे अलग तरह से काम करेंगे या नहीं।

किसी नए कार्य पर सीखने का परीक्षण करें। प्रतिभागियों को एक ऐसा केस दें जिसका उन्होंने अभ्यास नहीं किया हो, और उसी मानदंड के आधार पर उसका मूल्यांकन करें जिसका उपयोग आपने प्रारंभिक चरण में किया था। एक नया कार्य यह दर्शाता है कि लोग सीखी हुई बातों को लागू कर सकते हैं या नहीं, न कि यह कि उन्हें कोई उदाहरण याद है या नहीं।

कार्यस्थल पर संक्रमण के संपर्क में आने के बाद अनुवर्ती कार्रवाई करें। स्थानांतरण का अर्थ है कार्य में सीखी गई बातों को लागू करना और समय के साथ इसे बनाए रखना। बाल्डविन और फोर्ड की अक्सर उद्धृत की जाने वाली 1988 की समीक्षा स्थानांतरण को सीखी गई सामग्री के कार्य में सामान्यीकरण और समय के साथ इसके रखरखाव दोनों के रूप में परिभाषित करती है, और यह देखती है कि प्रशिक्षण डिजाइन, प्रशिक्षु की विशेषताएं और कार्य वातावरण इसे कैसे प्रभावित करते हैं।बाल्डविन और फोर्ड, 1988इसलिए, लोगों को कुछ वास्तविक कार्य करने के बाद, उदाहरण के लिए कुछ हफ्तों बाद, अनुवर्ती कार्रवाई की योजना बनाएं और उसी कार्य को फिर से मापें।

रिकॉर्ड तोड़ बाधाएं। यदि कोई व्यक्ति कार्यस्थल पर नए दृष्टिकोण का उपयोग नहीं करता है, तो इसका कारण पूछें। इसका उत्तर किसी उपकरण की कमी, पुराने तरीके को प्राथमिकता देने वाले प्रबंधक या समय की कमी हो सकता है। ये कार्य वातावरण के बारे में निष्कर्ष हैं, न कि सीखने वाले की असफलता।

संतुष्टि से स्थानांतरण का अनुमान न लगाएं। अच्छा फीडबैक स्कोर दर्ज करना महत्वपूर्ण है। लेकिन इससे यह साबित नहीं होता कि व्यवहार में बदलाव आया है।

5. तय करें कि परिणाम कार्यान्वयन को कैसे प्रभावित करेंगे।

परिणाम देखने से पहले निर्णय के मापदंड लिख लें। अन्यथा, जो भी परिणाम दिखें, उनके आधार पर आगे बढ़ने का बहाना ढूंढना आसान हो जाएगा।

एक सरल संरचना:

एक छोटे समूह की क्षमता के बारे में ईमानदार रहें। संख्याओं को सांकेतिक मानें, समूह का आकार और हर का उल्लेख करें, और प्रभाव आकार या गारंटी देने से बचें। प्रशिक्षण का श्रेय देने से पहले यह बताएं कि उसी समय और कौन से बदलाव हुए।

एक पायलट मापन टेम्पलेट

यह केवल उदाहरण के लिए है। इस कार्य को करने वाले किसी भी चिकित्सक को इसका उपयोग करने से पहले इसकी समीक्षा कर लेनी चाहिए।

जहां इंटरैक्टिव डिलीवरी मददगार होती है

पायलट प्रोजेक्ट के अभ्यास चरण के लिए इंटरैक्टिव प्रारूप उपयुक्त होते हैं क्योंकि प्रत्येक व्यक्ति समूह का उत्तर देखने से पहले ही अपना उत्तर दे देता है, जिससे आपको केवल उपस्थिति के बजाय तर्क प्रक्रिया का रिकॉर्ड मिलता है। एक फैसिलिटेटर किसी केस को लाइव चला सकता है, और उसी केस का उपयोग तैयारी या अनुवर्ती कार्रवाई के लिए स्व-गति से भी किया जा सकता है। AhaSlides इंटरैक्टिव लर्निंग और लाइव और स्व-गति से डिलीवरी के बीच स्विच करने की सुविधा प्रदान करता है। किसी भी विशिष्ट ऑथरिंग, फीडबैक या रिपोर्टिंग फ़ंक्शन की जाँच अपने वर्कफ़्लो के अनुसार करें, और AI, सिमुलेशन और एकीकरण सुविधाओं को तब तक बाहरी या अपुष्ट मानें जब तक आप उन्हें काम करते हुए न देख लें। प्रारूपों के बीच चयन करने के लिए, देखें अनुकूली, इंटरैक्टिव और लाइव लर्निंग का उपयोग कब करेंआप जिस सोच का मापन करना चाहते हैं, उससे संबंधित गतिविधियों का चयन करने के लिए, हमारी मार्गदर्शिका देखें। ब्लूम के वर्गीकरण के अनुसार सीखने की गतिविधियों का मिलान करना.

वे बाधाएं जो बनी रह सकती हैं

एक अच्छी तरह से डिजाइन किया गया पायलट प्रोजेक्ट भी कुछ चीजों को अनसुलझा छोड़ देता है:

• कम संख्या में। एक पायलट प्रोजेक्ट व्यवहार्यता और दिशा दिखाता है, न कि यह कि बड़े पैमाने पर इसका प्रभाव कितना बड़ा होगा।
• काम का माहौल। लोग नए कार्य में अच्छा प्रदर्शन कर सकते हैं, लेकिन फिर भी यदि उनके प्रबंधक, उपकरण या प्रोत्साहन उन्हें इसके विपरीत संकेत देते हैं, तो वे कार्यस्थल पर इसका उपयोग नहीं कर सकते हैं।
• समय। कुछ हफ्तों के बाद की गई अनुवर्ती जांच से यह पता नहीं चलता कि छह महीने बाद क्या स्थिति बनी रहती है।
• समवर्ती परिवर्तन। इसी अवधि में हुए अन्य बदलाव कुछ हद तक सुधार की व्याख्या कर सकते हैं।
• चयन। जिन लोगों ने स्वेच्छा से भाग लिया है, वे उन लोगों से भिन्न हो सकते हैं जिनके सामने आप यह योजना पेश करेंगे।

इनके लिए अलग-अलग समाधानों की योजना बनाएं और प्रायोजकों को बताएं कि पायलट प्रोजेक्ट में किन सवालों का समाधान नहीं हो पाया।

ज़्यादातर पूछे जाने वाले सवाल

प्रशिक्षण पायलट का आकार कितना होना चाहिए?

डिजाइन को लागू करने और मापने की व्यावहारिकता का परीक्षण करने के लिए पर्याप्त बड़ा और कम खर्च में बदलाव करने के लिए पर्याप्त छोटा। कोई एक निश्चित संख्या नहीं है। समूह के आकार की रिपोर्ट करें और किसी भी परिणाम को सांकेतिक मानें।

क्या प्रशिक्षण कार्यक्रम का मूल्यांकन करने के लिए मुझे नियंत्रण समूह की आवश्यकता है?

एक तुलनात्मक समूह साक्ष्य को अधिक मजबूत बनाता है, लेकिन यह हमेशा व्यावहारिक या निष्पक्ष नहीं होता। एक आधारभूत स्तर और चरणबद्ध कार्यान्वयन, जिसमें एक समान समूह बाद में शुरू होता है, एक व्यावहारिक विकल्प है।

मुझे स्थानांतरण को कब मापना चाहिए?

लोगों को कार्यस्थल पर सीखी हुई बातों को लागू करने का समय और अवसर मिलने के बाद, कम से कम कुछ सप्ताह का समय दें। उसी कार्य का दोबारा मूल्यांकन करें और उन बाधाओं के बारे में पूछें जिनके कारण किसी ने भी इसका उपयोग नहीं किया।

क्या संतुष्टि एक उपयोगी मापक है?

यह अनुभव को बेहतर बनाने में उपयोगी है, लेकिन यह स्थानांतरण का प्रमाण नहीं है। इसे किसी नए कार्य पर प्रदर्शन के साथ जोड़कर देखें।

कहा से शुरुवात करे

किसी एक महत्वपूर्ण कार्य का चयन करें और उस निर्णय को लिखें जिसके आधार पर यह पायलट प्रोजेक्ट निर्णय लेगा। एक छोटे से कार्य नमूने या स्कोर किए गए केस का उपयोग करके यह रिकॉर्ड करें कि कुछ लोग वर्तमान में इसे कैसे करते हैं। फिर पायलट प्रोजेक्ट शुरू होने से पहले अपने निर्णय के मानदंड लिखें और डायरी में फॉलो-अप की तारीख दर्ज करें।

यह देखने के लिए कि अभ्यास केस को आपकी अपनी टीम के साथ लाइव कैसे चलाया जा सकता है, और बाद में स्व-गति से इसका पुन: उपयोग कैसे किया जा सकता है, AhaSlides का अन्वेषण करें।