Екі жаттықтырушы жаңа топ жетекшісінің тұтынушының шағымын күшейту туралы шешім қабылдауы туралы бірдей жазбаны көреді. Біріншісі оған ең жоғары баға береді: ол сабыр сақтап, ақылға қонымды нұсқаны таңдады. Екіншісі оған орташа баға береді: ол неге оны таңдағанын немесе не білмейтінін ешқашан айтпаған. Екі жаттықтырушы да тәжірибелі. Екеуі де бірдей форманы қолданған. Екеуі де қате емес, мәселе сонда. Формада оларға не іздеу керектігі айтылмаған.
Бұл құжатталған тұтынушы ісі емес, иллюстрациялық сценарий. Бұл пайымдау мен мәселелерді шешудің неліктен қиын екенін көрсетеді: дәлелдер пайымдауда, ал пайымдауды басқаша бағалау оңай.
Бұл нұсқаулық қорғауға болатын өнімділікті бағалау рубрикасына мұқтаж оқытушыларға, оқыту менеджерлеріне және оқу-жаттығу жұмыстарының жетекшілеріне арналған. Ол бес қадамды қамтиды: дәлелдемелерді анықтау, бақыланатын критерийлерді жазу, өнімділік негіздерін сипаттау, бағалаушыларды калибрлеу және рубриканы сынақтан өткізу. Ол жұмыс істеген мысалмен және қалған шектеулермен аяқталады.
Өнімділікті бағалау рубрикасы дегеніміз не?
Өнімділікті бағалау рубрикасы - оқушының бір нәрсені еске түсірудің орнына бірдеңе жасайтын тапсырмаға арналған бағалау нұсқаулығы. Онда маңызды критерийлер тізімделеді, әрбір балл деңгейі қалай көрінетіні сипатталады және бағалаушыларға шешім қабылдау үшін ортақ негіз береді. Бағалау және мәселелерді шешу үшін тапсырма әдетте жағдай болып табылады: оқушы не істеу керектігін шешеді, шешімін түсіндіреді және тағы не білуі керек екенін айтады.
Рубрика білімді тексеру емес. Еске түсіру викторинасы біреудің ережелерді білетінін растай алады. Рубрика жағдай ретсіз болған кезде сол ережелерді қолдана алатындығын көрсетеді.
Жылдам фактілер
| сұрақ | Қысқа жауап |
|---|---|
| Сіз қанша ұпай жинайсыз? | Бағалаушы бақылай алатын шешімдер, түсіндірмелер және нәтижелер. |
| Қанша критерий бар? | Мақсатқа байланысты аз сан, әдетте үштен беске дейін. |
| Зәкірді пайдалы ететін не? | Бұл тапсырмадағы әрбір ұпай деңгейінің сипатталған мысалы. |
| Неліктен маңызды қателіктерді бөлектеу керек? | Сондықтан орташа балл қауіпті әрекетті жасыра алмайды. |
| Келіспеушілікті қалай азайтасыз? | Бірдей мысалды өз бетінше бағалаңыз, дәлелдерді салыстырыңыз және түсініксіз сөздерді түзетіңіз. |
| Рубрика қашан дайын болады? | Пилоттық сынақтан кейін және тек сіз оны басқарған тапсырма мен халық саны үшін. |
1. Өнімділіктің дәлелдерін анықтаңыз
Тапсырмадан бастаңыз, формадан емес. Оқушы қандай жағдайға тап болатынын, қандай шешім қабылдауы керек екенін және білікті орындау нені көрінетінін жазыңыз. Контекст пен шектеулерді нақты көрсетіңіз: оқушының қандай өкілеттігі бар, оларға қандай ақпарат беріледі және не әдейі жетіспейді?
Пайдалы тест - бақылаушының нені көрсете алатынын сұрау. «Дұрыс шешім қабылдайды» деген сұраққа сілтеме жасауға болмайды. «Қай процедура қолданылатынын айтады, жетіспейтін бір фактіні атайды және кімнен сұрайтынын айтады» деген сұраққа сілтеме жасауға болады.
Егер сіз дәлелдемелерді қарапайым сөйлемдермен сипаттай алмасаңыз, тапсырма бағалануға дайын емес. Алдымен тапсырманы түзетіңіз. Анық емес тапсырма қаншалықты жылтыр көрінсе де, түсініксіз рубриканы тудырады.
2. Бақыланатын критерийлерді жазыңыз
Оқу мақсатына сәйкес келетін аздаған критерийлерді таңдаңыз. Бағалау және мәселелерді шешу үшін үшеуі көптеген рөлдерде жақсы жұмыс істейді:
- Тапсырманы орындау. Оқушы өз өкілеттігі шегінде шешім қабылдайды және таңдауын және оның дәлелдерін жазып алады.
- Дәлелдеу. Оқушы шектеулерді, баламаларды және әлі де белгісіз болып тұрған нәрселерді түсіндіреді.
- Шекаралар. Білім алушы бекітілген процедураларды пайдаланады және ақпарат немесе өкілеттік жоқ болған кезде көмек сұрайды.
Әрбір критерийді шешімде, түсіндірмеде немесе нәтижеде көрінетін нәрсе ретінде жазыңыз. «Дұрыс», «жетілген» немесе «жақсы» сияқты белгіні атайтын сөздерден аулақ болыңыз. Екі бағалаушы бұл сөздерді әртүрлі оқиды.
Санды төмен деңгейде ұстаңыз. Әрбір қосымша критерий бағалаушылардың келіспеуіне және оқушылардың ойланудың орнына баға қууына себеп болады. Егер критерий нәтижемен не істейтініңізді өзгертпесе, оны алып тастаңыз.
3. Өнімділік якорьларын сипаттаңыз
Бағалаушы – балл деңгейінің қысқаша сипаттамасы. Бағалаушысыз 1 немесе 2 балл бағалаушы қалаған нәрсені білдіреді.
Бірінші нұсқа үшін қарапайым үш деңгейлі шкала жиі жеткілікті:
| Гол | мағынасы |
|---|---|
| 0 | Жоқ немесе қолдау көрсетілмеген. |
| 1 | Ішінара, тиісті кемшіліктермен. |
| 2 | Келісілген критерийлерге сәйкес толық және негізделген. |
Әрбір критерий үшін тапсырмаңыз үшін 0, 1 және 2 қалай естілетініне қысқаша мысал келтіріңіз. Мүмкіндігінше жаттығу әрекеттерінен алынған нақты сөздерді пайдаланыңыз. Аннотацияда жазылған тірек сөздер қайтадан түсініксіз сын есімдерге ауысып кетуі мүмкін.
Маңызды қателіктерді бөлек қарастырыңыз. Кейбір сәтсіздіктерді орташа бағаламау керек. Өз өкілеттігіңізден тыс әрекет ету, қауіпсіздік шарасын елемеу немесе сәйкестік шегін бұзу мысал бола алады. Оларды бағаланған критерийлерден бөлек тізіп, салдарын көрсетіңіз: маңызды қателік тіркеледі және қорытынды не айтса да, соған сәйкес есептеледі. Әйтпесе, оқушы жұмыста қабылданбайтын әрекет жасай отырып, ойлау мен шекаралар бойынша жақсы баға ала алады.
4. Мысалдар арқылы бағалаушыларды калибрлеңіз
Рубрика өзінен-өзі баға қоймайды. Бағалаушылар оны әлі де түсіндіреді, сондықтан когортаға баға қоймас бұрын калибрлеуді жүргізіңіз.
- Сапасы әртүрлі екі немесе үш жауап үлгісін таңдаңыз. Пилоттық нұсқадағы нақты әрекеттер ең жақсысы.
- Кез келген талқылау алдында әрбір бағалаушы оларды жеке бағаласын.
- Ұпайларды және, ең бастысы, әр адамның келтірген дәлелдерін салыстырыңыз.
- Ұпайлар әртүрлі болған жағдайда, оны тудырған тұжырымдаманы тауып, критерийді немесе тірек сөзді өзгертіңіз.
- Бағалаушылар бірдей себептермен бірдей баға бергенше жаңа мысалмен қайталаңыз.
Мақсат - критерийлерді бірлесіп оқу, келісімге келу емес. Егер екі бағалаушы әртүрлі себептермен бірдей баға берсе, бағалау критерийі әлі де екіұшты болады.
Зерттеу не дейді? Дәлелдер аралас, сондықтан кейбір келіспеушіліктерді жоспарлап, оны өлшеңіз. 2022 жылы Fujita Medical Journal журналында бейнежазбаға түсірілген клиникалық тексерулерді зерттеуде екі бағалаушы қырық бейнежазбаға баға берді. Алғашқы ондыққа олар модерациясыз баға берді, ал қалғандары үшін әр жолы рубрика критерийлері бойынша бағаларын талқылады. Салмақталған каппа коэффициентімен өлшенген келісім алғашқы он бейнежазбадағы 0.49-дан соңғы ондықта 0.82-ге дейін өсті (Ватари және әріптестері, 2022 ж.Бұл бір емтихан тапсырмасының шағын зерттеуі болды, сондықтан оны модерация көмектесе алатынының белгісі ретінде қарастырыңыз, уәде ретінде емес.
Тек оқытудың өзі кепілдік бермейді. 2014 жылы 242 медициналық студентті бағалаған 21 бағалаушының рандомизацияланған зерттеуі қысқа мерзімді анықтамалық оқыту сессиясы жеке бағалаушылардың дәлдігін айтарлықтай жақсартпағанын көрсетті, дегенмен дайындалған бағалаушылар қатаңырақ және анықтамалық панельге жақынырақ баға берді. Авторлар өнімділікті бағалау өте жеке деген қорытындыға келді (Вайц және әріптестері, 2014 ж.Практикалық оқу - нақты мысалдарда калибрлеуді жалғастыру, ұпай жинаған кезде келісімді тексеру және бір ғана брифинг жеткілікті деп ойламау.
5. Рубриканы сынақтан өткізіп, қайта қарап шығыңыз
Маңызды шешімдер қабылдау үшін рубриканы пайдаланбас бұрын, оны сынақтан өткізіңіз.
- Оны оқушылардың шағын тобымен және екі немесе одан да көп бағалаушылармен бірге өткізіңіз.
- Бағалаушылардың келіспейтін жерлерін жазып алыңыз және әрқайсысынан өз бағасын түсіндіруді сұраңыз.
- Критерийлердің күшті және әлсіз жауаптарды бөліп тұрғанын тексеріңіз. Егер әрбір оқушы 2 балл алса, тапсырма немесе тірек сөздер тым оңай.
- Оқушылардан рубрикада не түсінікті және не шатастырғаны туралы сұраңыз.
- Қайта қарап шығыңыз, содан кейін жаңа жағдаймен қайтадан сынақтан өткізіңіз.
Пилоттық жоба көрсеткен нәрселерге шынайы болыңыз. Расталмаған рубрика - жұмыс істейтін жоба. Бұл әмбебап сертификаттау стандарты емес және оны сол лауазымдағы маман оны қарап шыққанға дейін және оның сіздің тобыңыз үшін жұмыс істейтініне дәлел болғанға дейін адамдар туралы маңызды шешімдер қабылдау үшін пайдалануға болмайды.
Жұмыс істеген мысал: эскалация туралы шешім
Мысал ретінде. Бұл жұмысты орындайтын маман қолданар алдында жағдайды және жауап критерийлерін тексеруі керек.
Іс. Клиент тапсырыстың кешіктірілгені туралы хабарлайды және толық ақшаны қайтаруды сұрайды. Агент мақұлдамай-ақ белгіленген сомаға дейін несие ұсына алады. Қайтарылатын сома одан жоғары. Менеджер екі сағат бойы қолжетімді емес. Ескертпелерде биылғы жылы төрт тапсырыс көрсетілген.
Оқушы не істейді. Жауапты таңдаңыз, шешімді түсіндіріңіз, дәлелдер келтіріңіз және оларға қандай қосымша ақпарат немесе қолдау қажет екенін айтыңыз.
Жауапқа пайымдау арқылы 1 балл берілді. «Мен ақшаны қайтарып берер едім, себебі тұтынушы ренжіді». Шешім айтылды, бірақ ешқандай дәлел жоқ, лимит туралы ештеңе айтылмаған және не жетіспейтіні туралы ешқандай белгі жоқ.
Жауапқа пайымдау арқылы 2 балл берілді. «Мен мақұлдаусыз лимитімнен асатын соманы қайтармаймын. Ескертпелерде биылғы жылы төрт тапсырыс көрсетілген, сондықтан бұл тұтынушы маңызды, бірақ мен посылканың қайда екенін растамадым. Мен қазір лимитім шегінде несие ұсынар едім, менеджер қашан жауап беретінін тұтынушыға айтып, тасымалдаушыдан бақылау жаңартуларын сұрар едім, сонда мақұлдау тез болады».
Маңызды қателік. Басқа ұпайларға қарамастан, мақұлдаусыз қайтарымды беру маңызды қателік ретінде тіркеледі, себебі бұл агенттің өкілеттігінен тыс.
Баяндамашылардың не істегеніне назар аударыңыз. Бастапқыда екі бағалаушы енді бірдей нәрселерді іздейтін болады: шешім, келтірілген дәлелдер, көрсетілген белгісіздік және шекара.
Интерактивті жеткізу көмектесетін жерде
Интерактивті форматтар жаттығу мен калибрлеуге көмектеседі, себебі әр адам топтың жауабын көрмес бұрын жауап беруге міндеттенеді. Тікелей эфирде фасилитатор үлгі жауап көрсете алады, әрбір бағалаушыдан оны жеке бағалауды сұрай алады, содан кейін талқылау алдында аралықтарды көрсете алады. Дәл осындай жағдайларды дайындық үшін өзіндік қарқынмен пайдалануға болады. AhaSlides интерактивті оқытуды және тікелей және өзіндік қарқынмен жеткізу арасында ауысуды қолдайды. Өзіңіздің жұмыс процесіңізге сүйенуді жоспарлап отырған кез келген нақты авторлық, кері байланыс немесе есеп беру функциясын тексеріңіз және олардың жұмыс істейтінін көргенше жасанды интеллект, модельдеу және интеграция мүмкіндіктерін сыртқы немесе расталмаған деп қарастырыңыз. Форматтар арасында таңдау бойынша нұсқаулық алу үшін мынаны қараңыз. бейімделгіш, интерактивті және тірі оқытуды қашан қолдану керекБағалағыңыз келетін ойлау деңгейіне сәйкес келетін әрекеттерді анықтау үшін біздің нұсқаулықты қараңыз. оқу іс-әрекеттерін Блум таксономиясына сәйкестендіру.
Не өзгергенін өлшеңіз
Оқушылардың тапсырманы орындай алатынын көрсететін дәлелдерді алдын ала анықтаңыз. Жаңа, бұрын болмаған іс бойынша өнімділікті бастапқы деңгеймен салыстырыңыз және шешімнің сапасымен қатар пайымдаудың сапасын да қарастырыңыз. Кімдердің қамтылғанын, бөлгішті және уақытты анықтаңыз. Егер ұпайлар жақсарса, оқуды есептемес бұрын, сол кезеңде тағы не өзгергенін, мысалы, жаңа құралды немесе жұмыстың басқа қоспасын тексеріңіз.
Қалыптасуы мүмкін шектеулер
Тіпті жақсы құрылған рубрика да бәрін шеше бермейді:
- Бағалаушының уақыты. Калибрлеу және сынақтан өткізу жоспарлануы тиіс уақытты алады.
- Нақты жұмыстағы өкілеттік. Оқушы жаттығуда жақсы ойлауы мүмкін, бірақ жұмыста солай әрекет етуге өкілеттігі болмауы мүмкін.
- Істі қамту. Бір іс бір шешімді көрсетеді. Бір ғана баға біреудің пікірін жалпы сипаттамайды.
- Беру. Қауіпсіз ортадағы өнімділік жұмыстағы өнімділікпен бірдей емес. Тиісті әсерден кейін берілісті тексеріңіз.
Оларға бөлек түзетулер жоспарлап, демеушілерге айтыңыз. Рубрика бағалауды анық және әділ етеді. Ол ұпайды кепілдікке айналдырмайды.
Жиі Қойылатын Сұрақтар
Рубрика мен тексеру тізімінің айырмашылығы неде?
Тексеру тізімінде бір нәрсенің жасалғаны немесе жасалмағаны жазылады. Рубрика оның бірнеше деңгейде қаншалықты жақсы жасалғанын сипаттайды, сондықтан ол бағалау мен түсіндіруді қажет ететін тапсырмаларға сәйкес келеді.
Рубрикада қанша критерий болуы керек?
Аз, әдетте үш-бес. Оқу мақсатына сәйкес келетіндерін таңдап, нәтижеге әсер етпейтіндерін алып тастаңыз.
Бағалаушылар арасындағы келіспеушілікті рубрика жоя ала ма?
Жоқ. Бұл оны азайтуы мүмкін, әсіресе нақты мысалдардағы бекіткіштер мен калибрлеу арқылы, бірақ сіз ұпай жинап, түсініксіз сөздерді қайта қарастырған кезде келісімді тексеруіңіз керек.
Маңызды шешімдер қабылдау үшін рубриканы пайдалануым керек пе?
Тек сынақтан өткізіп, сол рөлдегі маманның шолуынан кейін ғана. Жаңа рубриканы оқушыларыңыз бен тапсырмаңыз үшін жұмыс істейтініне дәлел болғанша, оны жоба ретінде қарастырыңыз.
Неден бастау керек
Оқушыларыңыз жақсы қабылдауы керек бір шешімді таңдаңыз. Құзыретті орындау көрсететін дәлелдерді жазыңыз, үш критерийді таңдаңыз, әрқайсысы үшін 0-ден 2-ге дейінгі баға белгілеңіз және маңызды қателіктерді тізімдеңіз. Содан кейін екі бағалаушы бірдей мысалды жеке-жеке бағаласын, дәлелдерін салыстырып, біреуге баға қоймас бұрын тұжырымдаманы түзетіңіз.
Істің өз командаңызбен қалай тікелей эфирде жүретінін және кейіннен өз бетіңізше қалай пайдаланылатынын көру үшін AhaSlides-ті зерттеңіз.
