Rubrik sa pagtatasa ng pagganap: kung paano tasahin ang paghatol at paglutas ng problema sa pagsasanay

Dalawang tagapagsanay ang nanonood ng parehong recording ng isang bagong pinuno ng koponan na nagpapasya kung idulog ang reklamo ng customer. Ang una ang nagbigay sa kanya ng pinakamataas na marka: nanatili siyang kalmado at pumili ng isang makatuwirang opsyon. Ang pangalawa ay nagbigay sa kanya ng katamtamang marka: hindi niya sinabi kung bakit niya ito pinili o kung ano ang hindi niya alam. Parehong may karanasan ang parehong tagapagsanay. Parehong gumamit ng parehong form. Walang mali, at iyon ang problema. Hindi sinabi sa kanila ng form kung ano ang hahanapin.

Ito ay isang naglalarawang senaryo, hindi isang dokumentadong kaso ng customer. Ipinapakita nito kung bakit mahirap tasahin ang paghatol at paglutas ng problema: ang ebidensya ay nasa pangangatwiran, at ang pangangatwiran ay madaling makakuha ng iba't ibang marka.

Ang gabay na ito ay para sa mga instructional designer, training manager, at mga pinuno ng L&D na nangangailangan ng rubric sa pagtatasa ng pagganap na maaari nilang ipagtanggol. Saklaw nito ang limang hakbang: tukuyin ang ebidensya, sumulat ng mga naoobserbahang pamantayan, ilarawan ang mga performance anchor, i-calibrate ang mga assessor, at subukan ang rubric. Nagtatapos ito sa isang halimbawang ginamit at ang mga limitasyong natitira.

Ano ang rubric sa pagtatasa ng pagganap?

Ang rubric sa pagtatasa ng pagganap ay isang gabay sa pagmamarka para sa isang gawain kung saan ang mag-aaral ay gumagawa ng isang bagay sa halip na maalala ang isang bagay. Inililista nito ang mga pamantayan na mahalaga, inilalarawan kung ano ang hitsura ng bawat antas ng iskor at nagbibigay sa mga tagasuri ng isang ibinahaging batayan para sa pagpapasya. Para sa paghatol at paglutas ng problema, ang gawain ay karaniwang isang kaso: ang mag-aaral ang nagpapasya kung ano ang gagawin, ipinapaliwanag ang desisyon at sinasabi kung ano pa ang kailangan nilang malaman.

Ang rubric ay hindi isang pagsubok ng kaalaman. Ang recall quiz ay maaaring kumpirmahin na alam ng isang tao ang mga patakaran. Ipinapakita ng rubric kung maaari nilang ilapat ang mga patakarang iyon kapag magulo ang sitwasyon.

Mabilis na katotohanan

1. Tukuyin ang ebidensya ng pagganap

Magsimula sa gawain, hindi sa anyo. Isulat ang sitwasyong haharapin ng mag-aaral, ang desisyong dapat nilang gawin at kung ano ang maipapakita ng isang mahusay na pagganap. Maging tiyak tungkol sa konteksto at mga limitasyon: anong awtoridad mayroon ang mag-aaral, anong impormasyon ang ibinigay sa kanila at ano ang sadyang nawawala?

Isang kapaki-pakinabang na pagsusulit ang pagtatanong kung ano ang maaaring ituro ng isang tagamasid. Hindi maaaring ituro ang "Nagpapakita ng mabuting pagpapasya". Ang "Isinasaad kung aling pamamaraan ang naaangkop, binabanggit ang isang katotohanang kulang at sinasabi kung sino ang kanilang tatanungin" ay maaari.

Kung hindi mo mailarawan ang ebidensya sa mga simpleng pangungusap, ang gawain ay hindi pa handang bigyan ng puntos. Ayusin muna ang gawain. Ang isang malabong gawain ay lumilikha ng malabong rubric, gaano man ito kahusay tingnan.

2. Sumulat ng mga naoobserbahang pamantayan

Pumili ng maliit na bilang ng pamantayan na tumutugma sa layunin ng pagkatuto. Para sa paghatol at paglutas ng problema, tatlo ang mahusay na gumagana sa maraming tungkulin:

• Pagsasagawa ng gawain. Ang mag-aaral ay gumagawa ng desisyon sa loob ng kanyang awtoridad at itinatala ang pagpili at ang ebidensya sa likod nito.
• Pangangatuwiran Ipapaliwanag ng mag-aaral ang mga limitasyon, ang mga alternatibo, at kung ano ang hindi pa rin tiyak.
• Mga hangganan. Gumagamit ang mag-aaral ng mga aprubadong pamamaraan at humihingi ng tulong kapag may kulang na impormasyon o awtoridad.

Isulat ang bawat pamantayan bilang isang bagay na nakikita sa isang desisyon, isang paliwanag o isang output. Iwasan ang mga salitang tumutukoy sa isang katangian, tulad ng "mahusay", "maygulang" o "mabuti". Magkaiba ang pagbasa ng dalawang tagasuri sa mga salitang iyon.

Panatilihing mababa ang bilang. Ang bawat dagdag na pamantayan ay nagdaragdag ng lugar para hindi magkasundo ang mga tagasuri at isang dahilan para habulin ng mga mag-aaral ang mga marka sa halip na mag-isip. Kung ang isang pamantayan ay hindi nagbabago sa kung ano ang gagawin mo sa resulta, alisin ito.

3. Ilarawan ang mga angkla ng pagganap

Ang anchor ay isang maikling paglalarawan ng kung ano ang hitsura ng isang antas ng iskor. Kung walang anchor, ang iskor na 1 o 2 ay nangangahulugang anumang nais ipakahulugan ng tagatasa.

Ang isang simpleng tatlong-antas na iskala ay kadalasang sapat para sa isang unang bersyon:

Para sa bawat pamantayan, magdagdag ng maikling halimbawa kung ano ang tunog ng 0, 1 at 2 para sa iyong gawain. Gumamit ng mga totoong salita mula sa mga pagtatangka sa pagsasanay kung saan mo kaya. Ang mga angkla na nakasulat sa abstrak ay may posibilidad na bumalik sa mga malabong pang-uri.

Tratuhin nang hiwalay ang mga kritikal na error. Ang ilang mga pagkabigo ay hindi dapat i-average. Ang pagkilos nang lampas sa iyong awtoridad, pagbalewala sa isang hakbang sa kaligtasan o paglabag sa isang limitasyon sa pagsunod ay mga halimbawa. Ilista ang mga ito bukod sa mga pamantayang nakuha at sabihin ang kahihinatnan: isang kritikal na pagkakamali ang itinatala at sinusundan ng anumang nakasaad sa kabuuan. Kung hindi, ang isang mag-aaral ay maaaring makakuha ng mataas na marka sa pangangatwiran at mga hangganan habang gumagawa ng isang aksyon na hindi katanggap-tanggap sa trabaho.

4. I-calibrate ang mga assessor gamit ang mga halimbawa

Hindi nagbibigay ng marka ang isang rubric sa sarili nito. Binibigyang-kahulugan pa rin ito ng mga assessor, kaya mag-calibrate muna bago mo bigyan ng marka ang isang cohort.

1. Pumili ng dalawa o tatlong halimbawang sagot na may magkakaibang kalidad. Pinakamainam ang mga totoong pagsubok mula sa isang piloto.
2. Ipa-iskor sa bawat assessor ang mga ito nang nakapag-iisa, bago ang anumang talakayan.
3. Paghambingin ang mga iskor at, higit na mahalaga, ang ebidensyang binanggit ng bawat tao.
4. Kung saan magkakaiba ang mga iskor, hanapin ang mga salitang naging sanhi nito at baguhin ang pamantayan o angkla.
5. Ulitin gamit ang isang bagong halimbawa hanggang sa magbigay ang mga tagasuri ng parehong iskor para sa parehong mga dahilan.

Ang layunin ay isang ibinahaging pagbasa ng mga pamantayan, hindi isang pagsang-ayon para sa sarili nitong kapakanan. Kung ang dalawang tagatasa ay magbibigay ng parehong iskor para sa magkaibang dahilan, ang rubric ay hindi pa rin malinaw.

Ano ang sinasabi ng pananaliksik? Halo-halo ang ebidensya, kaya magplano para sa ilang hindi pagkakasundo at sukatin ito. Sa isang pag-aaral noong 2022 ng mga klinikal na eksaminasyon na na-record sa video sa Fujita Medical Journal, dalawang rater ang nakakuha ng apatnapung video. Para sa unang sampu, nakakuha sila ng puntos nang walang moderasyon, at para sa iba pa, tinalakay nila ang kanilang pagmamarka laban sa pamantayan ng rubric sa bawat pagkakataon. Ang pagkakasundo, na sinukat gamit ang weighted kappa coefficient, ay tumaas mula 0.49 sa unang sampung video patungong 0.82 sa huling sampung (Watari at mga kasamahan, 2022). Isa lamang itong maliit na pag-aaral sa isang gawain sa pagsusulit, kaya ituring ito bilang isang senyales na makakatulong ang moderasyon, hindi isang pangako.

Hindi rin garantiya ang pagsasanay lamang. Natuklasan sa isang randomized na pag-aaral noong 2014 sa 21 rater na sumusuri sa 242 estudyante ng medisina na ang isang maikling frame-of-reference training session ay hindi lubos na nakapagpabuti sa katumpakan ng mga indibidwal na rater, bagama't ang mga sinanay na rater ay nakakuha ng mas mahigpit na iskor at mas malapit sa isang reference panel. Napagpasyahan ng mga may-akda na ang pagtatasa ng pagganap ay lubos na indibidwal (Weitz at mga kasamahan, 2014Ang praktikal na pagbasa ay ang patuloy na pag-calibrate gamit ang mga totoong halimbawa, suriin ang pagkakatugma habang nakakakuha ka ng puntos, at huwag ipagpalagay na sapat na ang isang sesyon ng briefing.

5. Subukan at baguhin ang rubric

Bago mo gamitin ang rubric para sa mga mahahalagang desisyon, subukan muna ito.

• Patakbuhin ito kasama ang isang maliit na grupo ng mga mag-aaral at dalawa o higit pang mga tagasuri.
• Itala kung saan hindi sumasang-ayon ang mga assessor at hilingin sa bawat isa na ipaliwanag ang kanilang iskor.
• Tiyaking pinaghihiwalay ng mga pamantayan ang malakas at mahinang tugon. Kung ang bawat mag-aaral ay nakakuha ng 2, ang gawain o ang mga angkla ay masyadong madali.
• Tanungin ang mga mag-aaral kung ano ang nilinaw ng rubric at ano ang nakalito sa kanila.
• Baguhin, pagkatapos ay subukan muli gamit ang isang bagong kaso.

Maging tapat tungkol sa ipinapakita ng pilot program. Ang isang hindi napatunayang rubric ay isang gumaganang draft. Hindi ito isang pangkalahatang pamantayan sa sertipikasyon, at hindi ito dapat gamitin upang gumawa ng mga desisyon na may malaking panganib tungkol sa mga tao hangga't hindi ito narerepaso ng isang practitioner sa tungkulin at mayroon kang ebidensya na gumagana ito para sa iyong populasyon.

Isang epektibong halimbawa: isang desisyon sa pagpapataas ng antas ng escalation

Paglalarawan. Dapat patunayan ng isang practitioner na gumagawa ng gawaing ito ang kaso at ang pamantayan sa sagot bago gamitin.

Ang kaso. Isang customer ang nag-ulat ng naantalang order at humihingi ng buong refund. Maaaring mag-alok ang ahente ng credit hanggang sa isang takdang halaga nang walang pag-apruba. Ang refund ay higit pa rito. Hindi available ang manager sa loob ng dalawang oras. Ipinapakita ng mga tala ang apat na order ngayong taon.

Ang ginagawa ng mag-aaral. Pumili ng sagot, ipaliwanag ang desisyon, banggitin ang ebidensya at sabihin kung anong karagdagang impormasyon o suporta ang kakailanganin nila.

Ang tugon ay nakakuha ng 1 puntos sa pangangatwiran. “Ibibigay ko sana ang refund dahil nagagalit ang customer.” Nakasaad na ang desisyon, ngunit walang ebidensya, walang binanggit na limitasyon at walang senyales kung ano ang kulang.

Ang tugon ay nakakuha ng 2 puntos sa pangangatwiran. "Hindi ako magre-refund nang higit sa aking limitasyon nang walang pag-apruba. Ang mga tala ay nagpapakita ng apat na order ngayong taon, kaya mahalaga ang customer na ito, ngunit hindi ko pa nakukumpirma kung nasaan ang parsela. Mag-aalok ako ng credit sa loob ng aking limitasyon ngayon, sasabihin ko sa customer kung kailan sasagot ang manager at hihingi ng update sa tracking ng carrier para mabilis ang pag-apruba."

Isang kritikal na pagkakamali. Ang pag-isyu ng refund nang walang pag-apruba ay itinatala bilang isang kritikal na pagkakamali anuman ang iba pang mga marka, dahil lumalagpas ito sa awtoridad ng ahente.

Pansinin ang ginawa ng mga anchor. Ang dalawang assessor mula sa opening ay hahanapin na ngayon ang parehong mga bagay: ang desisyon, ang binanggit na ebidensya, ang nakasaad na kawalan ng katiyakan at ang hangganan.

Kung saan nakakatulong ang interactive na paghahatid

Nakakatulong ang mga interactive na format sa pagsasanay at pagkakalibrate dahil ang bawat tao ay nangangako sa isang sagot bago makita ang sagot ng grupo. Sa isang live na sesyon, maaaring magpakita ang isang facilitator ng isang sample na tugon, hilingin sa bawat assessor na bigyan ito ng pribadong marka at pagkatapos ay ibunyag ang spread bago ang talakayan. Ang parehong mga kaso ay maaaring gamitin sa sarili mong bilis para sa paghahanda. Sinusuportahan ng AhaSlides ang interactive na pag-aaral at paglipat sa pagitan ng live at sarili mong bilis na paghahatid. Suriin ang anumang partikular na function ng pag-author, feedback o pag-uulat na plano mong asahan laban sa iyong sariling daloy ng trabaho, at ituring ang mga tampok ng AI, simulation at integration bilang panlabas o hindi pa nakumpirma hanggang sa makita mo ang mga ito na gumagana. Para sa gabay sa pagpili sa pagitan ng mga format, tingnan ang kailan gagamit ng adaptive, interactive, at live learningPara maitugma ang mga aktibidad sa antas ng pag-iisip na gusto mong tasahin, tingnan ang aming gabay sa pagtutugma ng mga aktibidad sa pagkatuto sa Bloom's Taxonomy.

Sukatin kung ano ang nagbago

Magpasya nang maaga kung anong ebidensya ang magpapakita na kayang gawin ng mga mag-aaral ang gawain. Ihambing ang pagganap sa isang bago at hindi pa nakikitang kaso laban sa isang baseline, at tingnan ang kalidad ng pangangatwiran pati na rin ang desisyon. Tukuyin kung sino ang kasama, ang denominator at ang tiyempo. Kung bumuti ang mga marka, suriin kung ano pa ang nagbago sa parehong panahon, tulad ng isang bagong kagamitan o ibang kombinasyon ng trabaho, bago i-credit ang pagsasanay.

Mga limitasyon na maaaring manatili

Kahit ang isang mahusay na binuong rubric ay hindi nalulutas ang lahat:

• Oras ng tagasuri. Ang kalibrasyon at piloting ay nangangailangan ng oras na kailangang planuhin.
• Awtoridad sa totoong trabaho. Maaaring maayos ang pangangatwiran ng isang mag-aaral sa pagsasanay ngunit wala pa ring awtoridad na kumilos nang ganoon sa trabaho.
• Saklaw ng kaso. Isang kaso ang nagpapakita ng isang desisyon. Ang iisang iskor ay hindi naglalarawan sa pangkalahatang paghatol ng isang tao.
• Paglilipat. Ang pagganap sa isang ligtas na lugar ay hindi katulad ng pagganap sa trabaho. Suriin ang paglipat pagkatapos ng angkop na pagkakalantad.

Magplano ng magkakahiwalay na solusyon para sa mga ito at sabihin ito sa mga sponsor. Mas nagiging malinaw at patas ang pagtatasa gamit ang rubric. Hindi nito ginagawang garantiya ang isang iskor.

Mga madalas itanong

Ano ang pagkakaiba ng rubric at checklist?

Itinatala ng checklist kung may nagawa. Inilalarawan ng rubric kung gaano ito kahusay na nagawa, sa iba't ibang antas, kaya angkop ito sa mga gawaing nangangailangan ng paghatol at paliwanag.

Ilang pamantayan ang dapat mayroon ang isang rubric?

Kaunti, kadalasan tatlo hanggang lima. Piliin ang mga tumutugma sa layunin ng pagkatuto, at alisin ang anumang hindi makakapagpabago sa iyong gagawin sa resulta.

Maaari bang alisin ng isang rubric ang hindi pagkakasundo sa pagitan ng mga assessor?

Hindi. Maaari nitong bawasan ito, lalo na sa mga anchor at calibration sa mga totoong halimbawa, ngunit dapat mo pa ring suriin ang pagkakatugma habang binibigyan mo ng marka at binabago ang mga hindi malinaw na salita.

Dapat ba akong gumamit ng rubric para sa mga desisyong may malaking nakataya?

Pagkatapos lamang ng isang pilot at pagsusuri ng isang practitioner sa tungkulin. Ituring ang isang bagong rubric bilang isang draft hanggang sa mayroon ka nang ebidensya na ito ay gumagana para sa iyong mga mag-aaral at gawain.

Saan magsisimula

Pumili ng isang desisyon na dapat gawin nang mahusay ng iyong mga mag-aaral. Isulat ang ebidensyang ipapakita ng isang mahusay na pagganap, pumili ng tatlong pamantayan, bumuo ng 0 hanggang 2 na anchor para sa bawat isa at ilista ang mga kritikal na pagkakamali. Pagkatapos, ipa-iskor sa dalawang assessor ang parehong halimbawa nang magkahiwalay, ihambing ang kanilang ebidensya at ayusin ang mga salita bago ka magbigay ng kahit sino.

Para makita kung paano maaaring tumakbo nang live ang isang kaso kasama ang sarili mong team, at magamit muli nang mag-isa pagkatapos, tuklasin ang AhaSlides.