انتهت تجربة رائدة. شارك فيها اثنا عشر شخصًا، وأجمع معظمهم على فائدتها، وكان الميسر راضيًا. ثم طرح رئيس العمليات سؤالًا وجيهًا: "هل غيّر أيٌّ منكم أسلوب عمله؟" لم يقم أحد بقياس أداء الموظفين قبل التجربة، ولم يقارنهم أحد بأحد، ومع ذلك غيّر الفريق أسلوب عمله في الشهر نفسه. أسفرت التجربة عن حسن نية، لا عن أدلة.
هذا مثال توضيحي، وليس حالة عميل موثقة. يُظهر هذا المثال طريقة شائعة لفشل تقييم برامج التدريب: يتم تنفيذ البرنامج التجريبي، لكنه لم يُصمم أصلًا للإجابة على سؤال محدد.
هذا الدليل مُخصّص لرؤساء أقسام التعلّم والتطوير، ومصمّمي البرامج التعليمية، ومديري التدريب. ويتناول خمس خطوات: تحديد سؤال الدراسة التجريبية، واختيار المشاركين وقياسات الأداء الأساسية، وتوثيق رحلة التعلّم، وتقييم أداء المهام الجديدة ومدى تطبيقها، والاتفاق على كيفية تأثير النتائج على عملية التنفيذ. وينتهي الدليل بنموذج قابل للتعديل، بالإضافة إلى القيود المتبقية.
ما هو الطيار المتدرب؟
تُعدّ التجربة التدريبية مرحلة تجريبية صغيرة ومحدودة المدة لتصميم تعليمي قبل اعتماده على نطاق واسع. وتتمثل مهمتها في معرفة ما إذا كان التصميم قابلاً للتطبيق وما يستحق المتابعة، وليس إثبات نجاحه في كل مكان.
هذا التمييز مهم. يصف المركز الوطني الأمريكي للصحة التكميلية والتكاملية الدراسة التجريبية بأنها اختبار صغير النطاق للأساليب والإجراءات التي سيتم استخدامها على نطاق أوسع، ويحذر من أن الدراسة التجريبية لا تملك القدرة على الإجابة عن أسئلة حول الفعالية، لذا فإن أي تأثير قد تظهره يكون غير مستقر.المركز الوطني للصحة التكميلية والتكاملية، الدراسات التجريبية: الاستخدامات الشائعة وسوء الاستخدامهذه الإرشادات مكتوبة لأبحاث الصحة، لكن المنطق ينطبق على غيرها. يمكن لتجربة أولية على اثني عشر شخصًا أن تحدد ما إذا كان بإمكانك التوظيف والتنفيذ والقياس والمتابعة. لكنها لا تستطيع أن تحدد بثقة حجم التأثير على مستوى المؤسسة بأكملها.
حقائق سريعة
| سؤال | اجابة قصيرة |
|---|---|
| ما هي وظيفة الطيار؟ | اختبار افتراضات التعلم والتسليم قبل التوسع. |
| ما الذي تحتاجه قبل أن يبدأ؟ | سؤال قابل للاختبار، ومهمة، وخط أساس، ومعايير اتخاذ القرار. |
| ما الذي يُعتبر دليلاً على نقل الأدلة؟ | الأداء في مهمة جديدة بعد التعرض للعمل، وليس الرضا. |
| هل تحتاج إلى مجموعة ضابطة؟ | ليس دائماً. تساعد مجموعة المقارنة أو التنفيذ التدريجي عندما يكون ذلك ممكناً وعادلاً. |
| متى يتم تحديد معايير اتخاذ القرار؟ | قبل أن تنظر إلى أي نتائج. |
| ما الذي لا يستطيع الطيار إخبارك به؟ | ما مدى ضخامة التأثير على نطاق واسع؟ |
1. تحديد السؤال التجريبي
ابدأ بسؤال يمكن الإجابة عليه بنعم أو لا، أو برقم، وحدد القرار الذي سيستند إليه.
سؤال ضعيف: "هل برنامج الإعداد الجديد فعال؟" سؤال قابل للاختبار: "بعد إعادة تصميم برنامج الإعداد، هل يستطيع الموظفون الجدد التعامل مع تصعيد شكوى عميل عادي دون مساعدة، وهل من العملي تنفيذ البرنامج التجريبي بالوقت المتاح للتدريب؟"
اكتب ثلاثة أشياء:
- المهمة. ما الذي سيتمكن الناس من فعله مما لم يكونوا قادرين على فعله، أو لم يكونوا يجيدون فعله، من قبل؟
- القرار. هل ستراجع التصميم، أم ستجري تجربة أولية أخرى، أم ستطرحه على نطاق أوسع؟
- افتراضات التعلم والتسليم. ما هي افتراضاتك بشأن المتطلبات الأساسية والوقت وقدرات التدريب والأدوات التي يجب على المشروع التجريبي اختبارها؟
إذا لم تستطع تحديد القرار، فأنت غير مستعد لتنفيذ المشروع التجريبي. ستظهر النتيجة دون أن ينتظر أحدٌ لاتخاذ إجراء بشأنها.
2. اختيار المشاركين والقياسات الأساسية
تُعدّ خط الأساس دليلاً على كيفية أداء الأفراد للمهمة قبل التدريب. وبدونها، لا يوجد ما يُقارن به "التحسن".
اختر المشاركين بعناية. اختر أشخاصًا يقومون بالمهمة الحقيقية ويشبهون المجموعة التي تنوي تطبيق المشروع عليها. إن تجربة المشروع مع أكثر المتطوعين حماسًا فقط ستُحسّن من جودة التصميم.
قم بتسجيل خط الأساس. استخدم نفس نوع المقياس الذي ستستخدمه لاحقًا، حتى يتسنى مقارنة المقياسين. تشمل الخيارات عينة عمل قصيرة، أو ملاحظة منظمة، أو مراجعة للمخرجات الحديثة، أو دراسة حالة مُقَيَّمة. سجّل من تم تضمينه، وعدد المؤهلين، وتاريخ القياس.
فكر في المقارنة. أفضل تصميم هو الذي يقارن بين المشاركين في البرنامج التجريبي وأشخاص مماثلين لم يشاركوا فيه. لكن هذا ليس ممكنًا أو عادلًا دائمًا، خاصةً عندما يكون التدريب ضروريًا للسلامة أو الامتثال. يُعدّ التنفيذ التدريجي بديلًا عمليًا: تبدأ مجموعة الآن، وتبدأ مجموعة مماثلة لاحقًا، وتُستخدم المجموعة الأخيرة للمقارنة مع المجموعة الأولى. أيًا كان اختيارك، وضّح في الخطة سبب كونه عادلًا لجميع المعنيين.
3. تقديم وتوثيق رحلة التعلم
لا فائدة من الأدلة إلا إذا كنت تعرف ما تم تسليمه. احتفظ بسجل واضح لما حدث، لأن تكلفة وجهد التسليم جزء مما تختبره التجربة.
سجل:
- التحضير. ماذا كان يفعل الناس قبل الجلسات، وكم استغرقت من الوقت؟
- الممارسة. ما هي الحالات أو التمارين التي قاموا بدراستها، وما هي الملاحظات التي حصلوا عليها؟
- التدريب. من قام بالتدريب، وكم كانت مدة التدريب، وهل كان التدريب مباشراً أم غير متزامن؟
- تغييرات تشغيلية. أي شيء آخر تغير خلال المرحلة التجريبية، مثل أداة جديدة، أو تغيير في السياسة، أو ذروة موسمية، أو تغيير في المدير.
- مواصفات المنتج وتكاليفه. الإعداد الفعلي الذي استخدمته، والوقت والمال الذي استغرقته عملية التسليم.
أهم عنصرين في قرار التنفيذ. تصميم لا يعمل إلا بمستوى تدريب لا يمكنك تحمله على نطاق واسع قد علمك شيئًا قيّمًا، والسجل يوضح ذلك.
4. تقييم أداء المهمة الجديدة ونقلها
غالباً ما يتم وصف تقييم التدريب باستخدام المستويات الأربعة لنموذج كيركباتريك: رد الفعل، والتعلم، والسلوك، والنتائج (شركة كيركباتريك بارتنرزينبغي على الطيار أن يتجاوز المستوى الأول. يمكن جمع ردود الفعل، سواء وجد الناس ذلك مفيدًا أم لا، بسرعة، لكنها لا تُشير كثيرًا إلى ما إذا كانوا سيؤدون بشكل مختلف.
اختبر التعلم على مهمة جديدة. أعطِ المشاركين حالة لم يسبق لهم التدرب عليها، وقيّمها بنفس المعايير التي استخدمتها في التقييم الأولي. تُظهر المهمة الجديدة ما إذا كان بإمكان المشاركين تطبيق ما تعلموه، وليس ما إذا كانوا يتذكرون مثالاً.
المتابعة بعد التعرض للتعرض المهني. يعني النقل تطبيق ما تم تعلمه في العمل، والحفاظ عليه بمرور الوقت. ويعرّف استعراض بالدوين وفورد الذي يُستشهد به كثيرًا عام 1988 النقل بأنه تعميم المادة المتعلمة على العمل والحفاظ عليها بمرور الوقت، وينظر في كيفية تأثير تصميم التدريب وخصائص المتدرب وبيئة العمل عليه.بالدوين وفورد، 1988). لذا خطط للمتابعة بعد أن يكون لدى الناس عمل حقيقي للقيام به، على سبيل المثال بعد بضعة أسابيع، وقم بقياس نفس المهمة مرة أخرى.
حواجز قياسية. إذا لم يستخدم أحدهم الأسلوب الجديد في العمل، فاسأل عن السبب. قد يكون السبب نقص أداة معينة، أو مديراً يتوقع الأسلوب القديم، أو ضيق الوقت. هذه ملاحظات تتعلق ببيئة العمل، وليست إخفاقات من جانب المتعلم.
لا تستنتج النقل من الرضا. من المفيد تسجيل تقييم جيد للتعليقات، لكنه لا يدل بالضرورة على تغيير في السلوك.
5. تحديد كيفية تأثير النتائج على عملية الإطلاق
دوّن معايير القرار قبل الاطلاع على النتائج. وإلا فسيكون من السهل إيجاد مبرر للمضي قدماً مهما رأيت.
هيكل بسيط:
| إذا أظهر الطيار | ثم |
|---|---|
| تحسّن أداء المهمة، وتمّ نقلها، وأصبح التسليم ممكناً. | خطط لتوسيع نطاق التنفيذ واستمر في القياس. |
| تحسّن أداء المهام، لكن بيئة العمل أعاقت عملية النقل. | أصلح الحاجز، ثم قم بتشغيل تجربة ثانية. |
| لم يطرأ تغيير يُذكر على المهمة الجديدة | قم بمراجعة التصميم قبل أي تشغيل آخر. |
| لم يكن سعر التوصيل أو وقت التدريب مناسبًا | أعد تصميم طريقة تقديمها، ثم قم بتجربتها مرة أخرى. |
كن صادقًا بشأن ما يمكن لمجموعة صغيرة دعمه. تعامل مع الأرقام كمؤشرات فقط، واذكر حجم المجموعة والمقام، وتجنب أحجام التأثير أو الضمانات. وضح التغييرات الأخرى التي حدثت في نفس الوقت قبل أن تُنسب الفضل في التدريب.
نموذج قياس تجريبي
توضيحي. ينبغي على الممارس الذي يقوم بهذا العمل مراجعته قبل الاستخدام.
| القسم | ما الذي يجب تدوينه؟ |
|---|---|
| سؤال الطيار | السؤال القابل للاختبار والقرار الذي يستند إليه. |
| مهمة | المهمة الجديدة التي يجب على الناس القيام بها، وكيف سيتم تقييمها. |
| المشاركون | من هم المشمولون، وكم عدد المؤهلين، وأي مجموعة مقارنة. |
| خط الأساس | القياس والتاريخ والنتائج قبل التدريب. |
| رحلة التعلم | التحضير، والممارسة، والتدريب، والوقت، والتكلفة. |
| التغييرات المتزامنة | أي شيء آخر تغير خلال الحلقة التجريبية. |
| نتيجة المهمة الجديدة | الدرجات في مهمة لم يتم التدرب عليها خلال المرحلة التجريبية. |
| متابعة | التوقيت، والأشخاص الذين تم الوصول إليهم، والنتائج بعد التعرض للعمل. |
| حواجز | ما الذي منع الناس من تطبيق ما تعلموه؟ |
| معايير القرار | العتبات التي تحددها قبل مراجعة النتائج. |
| نتيجة | مراجعة، أو تجربة مرة أخرى، أو إطلاق المشروع، ولماذا. |
حيث يساعد التوصيل التفاعلي
تُناسب الصيغ التفاعلية مرحلة التدريب في التجارب التجريبية، حيث يُحدد كل مشارك إجابته قبل الاطلاع على إجابات المجموعة، مما يُتيح لك توثيق عملية التفكير بدلاً من مجرد تسجيل الحضور. يُمكن للمُيسّر إدارة دراسة حالة مباشرة، كما يُمكن استخدام نفس الحالة بشكل فردي للتحضير أو المتابعة. يدعم AhaSlides التعلّم التفاعلي والتنقل بين التعلّم المباشر والتعلّم الفردي. تحقق من أي وظيفة مُحددة للتأليف أو التغذية الراجعة أو إعداد التقارير التي تُخطط للاعتماد عليها في سير عملك، وتعامل مع ميزات الذكاء الاصطناعي والمحاكاة والتكامل على أنها خارجية أو غير مُؤكدة حتى تُشاهدها تعمل. للاختيار بين الصيغ، راجع متى يتم استخدام التعلم التكيفي والتفاعلي والمباشر؟لمطابقة الأنشطة مع التفكير الذي ترغب في قياسه، راجع دليلنا الخاص بـ مطابقة أنشطة التعلم مع تصنيف بلوم.
القيود التي قد تبقى
حتى الحلقة التجريبية المصممة جيداً تترك بعض الأمور دون حل:
- أعداد صغيرة. يُظهر المشروع التجريبي الجدوى والاتجاه، وليس حجم التأثير على نطاق واسع.
- بيئة العمل. قد يؤدي الأشخاص أداءً جيدًا في المهمة الجديدة ومع ذلك لا يستخدمونها في العمل إذا كان مديرهم أو أدواتهم أو حوافزهم تشير إلى عكس ذلك.
- التوقيت. لا تُظهر المتابعة بعد بضعة أسابيع ما تبقى بعد ستة أشهر.
- التغيير المتزامن. يمكن تفسير بعض هذا التحسن بتغييرات أخرى حدثت في نفس الفترة.
- الاختيار. قد يختلف الأشخاص الذين تطوعوا عن الأشخاص الذين يتم تقديم الخدمة لهم.
خطط لإصلاحات منفصلة لهذه المشكلات، وأخبر الرعاة بالمسائل التي لم يحسمها البرنامج التجريبي.
الأسئلة المتكررة
ما هو الحجم الأمثل لطيار التدريب؟
حجم المجموعة كافٍ لاختبار مدى جدوى التصميم من حيث التنفيذ والقياس، وصغير بما يكفي لإجراء تعديلات بتكلفة منخفضة. لا يوجد حجم مثالي واحد. سجّل حجم المجموعة واعتبر أي نتيجة مؤشراً فقط.
هل أحتاج إلى مجموعة ضابطة لتقييم برنامج تدريبي؟
تُعزز مجموعة المقارنة قوة الأدلة، لكنها ليست ممكنة أو عادلة دائمًا. ويُعدّ وضع خط أساس بالإضافة إلى تطبيق تدريجي، حيث تبدأ مجموعة مماثلة لاحقًا، بديلاً عمليًا.
متى يجب عليّ قياس معدل النقل؟
بعد أن تتاح للناس الفرصة والوقت الكافيان لتطبيق ما تعلموه في العمل، أي بعد بضعة أسابيع على الأقل، قم بتقييم المهمة نفسها مرة أخرى، واسأل عن العوائق التي حالت دون استخدام أي شخص لها.
هل يُعدّ الرضا مقياساً مفيداً؟
يُفيد ذلك في تحسين التجربة، لكنه ليس دليلاً على نقل المعرفة. اربطه بالأداء في مهمة جديدة.
من أين أبدا
اختر مهمة واحدة ذات أهمية، واكتب القرار الذي سيستند إليه المشروع التجريبي. وثّق كيفية أداء عدد قليل من الأشخاص لهذه المهمة حاليًا، باستخدام عينة عمل قصيرة أو دراسة حالة مُقيّمة. ثم دوّن معايير قرارك قبل بدء المشروع التجريبي، وسجّل موعد المتابعة في مفكرتك.
للاطلاع على كيفية تشغيل حالة تدريبية مباشرة مع فريقك الخاص، وإعادة استخدامها بوتيرة ذاتية بعد ذلك، استكشف AhaSlides.
