Дүйсенбіде оқыту менеджері оқу тақтасын ашады. Аяқталуы 96 пайызды құрайды. Орташа қанағаттанушылық 5-тен 4.5 құрайды. Содан кейін топ жетекшісі ыңғайсыз сұрақ қояды: «Адамдар тұтынушылардың бұл мәселелерін басқаша шеше ме?» Басқару тақтасы жауап бере алмайды. Онда курстың аяқталғаны жазылған, жұмыста ештеңе өзгермегені жазылған.
Бұл көптеген оқыту көрсеткіштері қалдыратын олқылық. Аяқтау сізге кімнің соңына жеткенін көрсетеді. Бұл сізге дағдыны кім үйренгенін, кім қолданғанын немесе бизнестің көшкенін айтпайды. Бұл нұсқаулық сізге дәлелдер иерархиясын және кез келген бағдарлама үшін толтыра алатын бір беттік өлшеу жоспарын ұсынады, әрбір курс толық себептік ROI зерттеуін қажет етеді деп ойламай-ақ.
Жоғарыдағы бастапқы сценарий мысал ретінде келтірілген, құжатталған тұтынушы ісі емес.
Жылдам фактілер
| сұрақ | Қысқа жауап |
|---|---|
| Аяқтау көрсеткіштерінде қандай қателіктер бар? | Олар оқуды немесе жұмыстағы өзгерістерді емес, қатысуды өлшейді |
| Оның орнына не өлшеу керек? | Мақсаттарға сәйкес оқу, жұмысқа ауысу, содан кейін контекстке сәйкес операциялық нәтижелер |
| Әрбір курсқа ROI талдауы қажет пе? | Жоқ. Дәлелдердің тереңдігін қабылданатын шешіммен сәйкестендіріңіз |
| Өлшеу жоспарына не кіреді? | Нәтиже, өлшем, дереккөз, бөлгіш, уақыт және иесі |
1. Деректер қолдауы керек шешімді анықтаңыз
Көрсеткішті таңдамас бұрын, ол қандай шешімге әсер ететінін атаңыз. Үш кең таралған көрсеткіш үшін әртүрлі дәлелдер қажет:
- Бағдарламаны жетілдіру. Оқушылардың қай жерде қиналғанын білуіңіз керек, сондықтан тапсырма деңгейіндегі және тапсырма деңгейіндегі нәтижелер өту балынан маңыздырақ.
- Дайындықты растаңыз. Сізге адамның келісілген стандарт бойынша, әдетте бақылау немесе бағаланған тапсырма арқылы белгілі бір тапсырманы орындай алатындығының дәлелі қажет.
- Іске қосуды бағалаңыз. Топтарды немесе кезеңдерді салыстыру қажет, сондықтан бірізді өлшемдер, бөлгіштер және уақыт өте маңызды.
Егер деректер қай шешімді қолдайтынын айта алмасаңыз, бәрін жинап, аз қорытынды жасайсыз. Қысқаша тест: егер нәтиже нашар болса, сіз басқаша не істер едіңіз? Егер жауап «ештеңе» болса, метрика өз орнын таппайды.
2. Оқуды мақсаттармен салыстырыңыз
Курстың мазмұнынан емес, жұмыс тапсырмасынан бастаңыз. Мақсатты адам жасайтын нәрсе ретінде жазыңыз («келісілген критерийлерді қолдана отырып, шағымды сұрыптау»), содан кейін бағалауды сәйкестендіріңіз. Карнеги Меллон Эберли орталығы негізгі ойды анық айтады: бағалау, мақсаттар және оқыту іс-әрекеттері бір-бірін нығайтуы керек, ал аналитикалық дағдыларды оқыту тек фактілерді еске түсіруді бағалай отырып, оқушыларды дұрыс емес нәрсені істеуге мәжбүр етеді (Эберли орталығының бағалауды, мақсаттарды және оқыту стратегияларын үйлестіру бойынша нұсқаулығы).
Іс жүзінде бұл сізге үш дизайн нұсқасын ұсынады:
- Негізгі сызықты орнатыңыз. Жаттығу алдында тапсырманы бағалаңыз немесе әрбір оқушының қайдан бастайтынын білу үшін қысқаша диагностиканы пайдаланыңыз. Бастапқы деңгей болмаса, жаттығудан кейінгі жақсы баға бұрынғы дағдыларды көрсетуі мүмкін.
- Сәйкес келетін қосымшаны пайдаланыңыз. Кейінгі бағалауда жаттығудың орнына жаңа жағдайды қолдана отырып, сол тапсырма мен стандарт тексерілуі керек. Бірдей тапсырмаларды қайталау жауаптарды есте сақтауды арттырады.
- Қанағаттануды бөлек ұстаңыз. Оқушылардың реакциялары тәжірибені жақсартуға көмектеседі, бірақ АҚШ Ауруларды бақылау және алдын алу орталықтары (CDC) өзінің оқытуды бағалау бойынша нұсқаулықтарында оқушылардың қанағаттануы оқытудың тиімді екенін анықтамайтынын анық көрсетеді (CDC, оқытуды бағалау: тиімділікті өлшеу). Хабарлаңыз, бірақ ешқашан оқудың орнына емес.
Қарапайым үш ұпайлық рубрика мұнда көмектеседі. Әрбір критерийге 0 (жоқ немесе қолдау таппаған), 1 (жартылай, тиісті кемшіліктермен) немесе 2 (толық және негізделген) балл беріңіз және жалпы балл елеулі сәтсіздікті жасыра алмайтындай етіп маңызды қателерді бөлек анықтаңыз. Критерийлерді пән маманымен үйлестіріңіз; өзіңіз жазған рубрика бастапқы нүкте болып табылады, расталған стандарт емес.
3. Жұмысқа шыққаннан кейін ауысуды бағалау
Курста бірдеңені үйрену мен оны жұмыста орындау – бұл әр түрлі оқиғалар. CDC нұсқаулығы оқуды бағалауды оқуды ауыстыруды бағалаудан бөледі, онда оқушы жұмыс орнында үйренгендерін қаншалықты сәтті қолданатыны сұралады.
Дәлелдемелерді беру уақытты қажет етеді. Оқушы дағдыны пайдалануға нақты мүмкіндік алғаннан кейін, күнделікті тапсырма үшін екі апта, ал сирек кездесетін тапсырма үшін бірнеше ай қажет болуы мүмкін, кейінгі бақылауды жоспарлаңыз. Содан кейін келесі жолдардың бірімен немесе бірнешеуімен дәлелдемелерді жинаңыз:
- Бақылау немесе жұмыс үлгісін шолу жаттығуда қолданылатын сол рубрикаға қарсы.
- Менеджер немесе әріптестердің кірісі «олар жақсарды ма?» дегеннің орнына нақты, мінез-құлыққа негізделген сұрақтарды қолдану.
- Жүйелік дәлелдер тапсырма із қалдыратын жерде, мысалы, толтырылған форма немесе тіркелген іс.
Кедергілерді нәтижелер сияқты мұқият жазып алыңыз. Оқуда тапсырманы орындай алатын, бірақ жұмыста орындамайтын оқушыда құралдар, өкілеттік, уақыт немесе менеджердің қолдауы болмауы мүмкін. Бұл шектеулер сыныпта тапсырманы орындау жақсарғаннан кейін де сақталуы мүмкін және олар сіздің келесі шешіміңізді өзгертуі мүмкін нәтижелер болып табылады. «Мұны қолдануға не кедергі болды?» деп сұраңыз және жауаптарды жіктеңіз.
4. Операциялық нәтижелерді контекстке байланысты түсіндіріңіз
Қателік деңгейі, өңдеу уақыты немесе шешім деңгейі сияқты операциялық өлшемдер маңызды, себебі олар ұйым үшін маңызды. Оларды қайта оқу да оңай.
Адал болуға көмектесетін үш әдет:
- Салыстырмалы бағаны пайдаланыңыз. Көлем өзгерген кезде санақ қателеседі. Көрсеткіштерді көрсетілген бөлгішпен салыстырыңыз: жалпы қателіктер емес, жүз жағдайдағы қателіктер.
- Балама түсіндірмелерді тізімдеңіз. Маусымдық, жаңа құрал, қызметкерлердің ауысуы немесе саясатты жаңарту бір тоқсанда бірдей санды жылжытуы мүмкін. Нәтижені қарамас бұрын оларды жазып алыңыз.
- Бұл қандай талап екенін айтыңыз. Егер дайындалған қызметкерлер оқытылмаған қызметкерлерге қарағанда жақсы көрсеткіш көрсетсе, бұл байқалған байланыс. Себеп-салдарлық талап салыстыру тобы немесе кезең-кезеңмен енгізу сияқты баламаларды жоққа шығаратын дизайнды қажет етеді. Көптеген бағдарламаларға мұндай дәлдік қажет емес, және мұны ашық айтуға болады: «нәтижелер біз үміттенген бағытта өзгерді; міне, тағы не өзгерді».
Тек оқытудан ғана инвестициядан қайтарым күтуден аулақ болыңыз. Байқағандарыңызды, мәнмәтініңізді және шектеулеріңізді айтыңыз.
5. Практикалық өлшеу жоспарын құрыңыз
Бөлшектерді әр бағдарлама үшін бір кестеге салыңыз. Әрбір жол - деректер жауап беруі керек сұрақ.
| дала | Не жазу керек | Неліктен маңызды? |
|---|---|---|
| Нәтиже | Сіз күткен өзгеріс, байқалатын тұрғыдан алғанда | Анық емес мақсаттарды тоқтатады |
| Өлшем | Нақты метрикалық немесе рубриктік балл | Сынақтан өткізуге мүмкіндік береді |
| қайнар көз | Деректер қайдан алынған | Оның бар екенін және сенімді екенін көрсетеді |
| Бөлуші | Өлшем кімге немесе не үшін жасалған | Жалған шикі санаулардың алдын алады |
| Уақыт | Ол жиналған кезде | Оқуды трансферттен ажыратады |
| ие | Аталған жауапты тұлға | Іске асырады |
Жұмыс үлгісі (көрнекі, нәтижелер көрсетілмеген)
Тұтынушыларды қолдау қызметкерлеріне шағымдардың шиеленісуін шешуге көмектесетін бағдарламаны елестетіп көріңіз. Шешім: агенттер серіктессіз эскалация жасамас бұрын дайындығын растаңыз.
| Нәтиже | Өлшем | қайнар көз | Бөлуші | Уақыт | ие |
|---|---|---|---|---|---|
| Агенттер келісілген критерийлерді қолдана отырып, эскалацияны сұрыптайды | Жаңа іс бойынша рубриктік балл (әр критерий бойынша 0-ден 2-ге дейін, маңызды қателер жоқ) | Бағаланған кейс-практика | Бағдарламаны аяқтап жатқан агенттер | Бағдарламаның соңы, жаттығу алдындағы базалық деңгейге сәйкес | Жаттығу жетекшісі |
| Агенттер тірі жағдайларға сұрыптау қадамдарын қолданады | Іріктелген нақты эскалациялар бойынша рубрика ұпайы | Сапаны шолу үлгісі | Әр агент бойынша іріктелген эскалациялар | Алғашқы тікелей эскалациядан кейін төрт-алты аптадан кейін | Команда жетекшісі |
| Қадамдарды қолданудағы кедергілер белгілі | Қысқаша бақылаудан алынған санатталған себептер | Агенттің кейінгі тексеруі | Эскалацияны басқарған агенттер | Сол кейінгі терезе | Жаттығу жетекшісі |
| Эскалация нәтижелері контексте бақыланады | Қайта ашылған істер саны, қатар жүретін өзгерістер тіркелді | Іс жүйесі | Осы кезеңде эскалациялар жабылды | Алдыңғы кезеңмен салыстырғанда тоқсан сайын | Операциялар бойынша талдаушы |
Не жетіспейтініне назар аударыңыз: пайыздық жақсару туралы уәде берілмеген және соңғы дауды тек жаттығу ғана шешеді деген мәлімдеме жоқ. Жоспар сізді нақты жауапқа емес, шынайы дәлелдер жинауға міндеттейді.
Интерактивті және бейімделгіш жеткізу қай жерде сәйкес келеді
Оқудың өзі дәлелдер келтірген кезде өлшеу оңайырақ болады. Бағаланған кейс сұрақтары, сценарийлік сауалнамалар және қысқа білім тексерулері сияқты интерактивті әрекеттер оқыту кезінде әрбір оқушыға және әрбір тармаққа қатысты деректерді береді, ал бейімделгіш оқыту адамдарды олардың қалай жұмыс істегеніне қарай бағыттай алады. Тікелей эфирдегі сабақтар мен өзіндік қарқынмен оқу арасында ауысатын аралас дизайндар сізге диагностиканы өз уақытыңызда жүргізуге, кері байланыспен кейсті тікелей эфирде жаттығуға және асинхронды түрде кейінгі шолуды аяқтауға мүмкіндік береді.
Бұл мүмкіндіктер жоспарыңыздың бірінші және екінші жолдарындағы дәлелдерді қолдайды. Олар жұмыс барысында не болатынына байланысты тасымалдау және нәтиже жолдарын алмастырмайды. Дизайнға кіріспес бұрын, қандай нақты есеп беру және авторлық мүмкіндіктер қажет екенін демонстрациямен салыстырып тексеріңіз және кез келген сыртқы құралды немесе интеграцияны оның жұмыс істеп тұрғанын көргенше негізгі жұмыс процесінен бөлек қарастырыңыз.
Оны өз бағдарламаңызбен сынап көріңіз
Қазір іске қосып жатқан бір бағдарламаңыз үшін алты өрістен тұратын жоспарды толтырыңыз, ол қолдауы керек шешімнен бастап.
Жоспарыңыздағы оқу дәлелдерін тікелей эфирде немесе өздігінен жүретін сессияда қалай түсіруге болатынын көру үшін AhaSlides-ті зерттеңіз.
Жиі Қойылатын Сұрақтар
Тренингтің тиімділігінің көрсеткіштері қандай?
Бұл сіз оқытудың мақсатына жеткенін бағалау үшін қолданатын өлшемдер. Пайдалы жиынтық тек аяқтау мен қанағаттануды емес, мақсаттарға сәйкес оқытуды, жұмысқа ауысуды және контексте оқылатын операциялық нәтижелерді қамтиды.
Аяқтау деңгейі пайдалы көрсеткіш пе?
Бұл қатысуды бақылау және қолжетімділік мәселелерін анықтау үшін пайдалы. Бұл біреудің дағдыны үйренгенін немесе қолданғанын көрсете алмайды, сондықтан оны бағалаумен және кейінгі бақылаумен біріктіріңіз.
Жаттығудан кейін қанша уақыттан кейін трансфертті өлшеуім керек?
Оқушыларға дағдыны пайдалануға нақты мүмкіндік беретіндей уақыт. Күнделікті тапсырма бірнеше аптаға созылуы мүмкін, ал сирек кездесетін тапсырма ұзағырақ уақытты қажет етеді. Оқу басталмас бұрын жоспарыңызға уақыт белгілеңіз.
Әрбір курс үшін ROI дәлелдеуім керек пе?
Жоқ. Дәлелдемелерді шешіммен сәйкестендіріңіз. Көптеген бағдарламалар оқу және беру дәлелдерімен, сондай-ақ контекстпен бірге есептелген операциялық нәтижелермен жақсы қамтамасыз етілген. Дизайн мүмкіндік берген жағдайда, себеп-салдарлық талдауды жоғары тәуекелді немесе қымбат бағдарламаларға қалдырыңыз.
