Pasirengimas savarankiškai praktikai yra sprendimas, grindžiamas keliais stebimais rezultatais, o ne vienu balu. Kolegė, kuri gerai atlieka vieną modeliuojamą atvejį, o nenuosekliai – kitą, jums kažką pasakė, bet nepakankamai. Šis vadovas skirtas medicinos studijų direktoriams ir rezidentūros programų vadovams. Jame aptariami penki sprendimai: vertinama stebima užduotis, nepažįstamas ir reprezentatyvus atvejis, stebimi kriterijai su pagrindiniais kriterijais, kaip kalibruoti vertintojus ir kaip naudoti rezultatus. Jame kalbama apie vertinimo dizainą, o ne apie klinikines gaires. Leidimas savarankiškai praktikai lieka jūsų įstaigos procesų dalis, o prieš naudojimą jūsų programos specialistas turėtų peržiūrėti atvejį ir vertinimo kriterijus.
Ką sako ir ko nesako tyrimas
Verta žinoti du paskelbtus metodus. 2005 m. dešimt Cate pasiūlė patikima profesinė veikladarbo vienetai, kuriuos vadovas nusprendžia, kad praktikantas gali atlikti be priežiūros, remdamasis pastebėta kompetencija. 1997 m. Martinas ir jo kolegos aprašė Objektyvus struktūrizuotas techninių įgūdžių vertinimas (OSATS), kuris susieja užduočiai skirtą kontrolinį sąrašą su pasauline chirurgijos rezidentų vertinimo skale.
Abu aprašo, kaip struktūrizuoti vertinimą. Nei vienas iš jų neparodo, kad konkretus bendradarbis yra pasirengęs, ir nepakeičia specialisto priežiūros. Remdamiesi jais, suformuluokite savo kriterijus, o tada patikrinkite juos su savo vertintojais.
Greiti faktai
| klausimas | Trumpas atsakymas |
|---|---|
| Ką jūs teisiate? | Pasirengimas, remiantis keliais pastebėtais pasirodymais. |
| Koks yra vieno simuliatoriaus balas? | Vienas duomenų taškas. Tai nėra leidimas savarankiškai praktikai. |
| Kas leidžia kriterijus naudoti? | Stebimas elgesys su silpno, besivystančio ir kvalifikuoto darbo pavyzdžiais. |
| Kas lemia balų patikimumą? | Vertintojai vertina balus savarankiškai, o tada lygina įrodymus. |
| Ko reikėtų vengti vertinant taškus? | Vien pasitikėjimas savimi arba greitis. |
| Ko negali nuspręsti? | Autorizacija. Tai atitinka jūsų įstaigos procesą. |
1. Apibrėžkite vertinamą našumą
Nurodykite stebimą užduotį: vertinkite pasirengimą pagal kelis stebimus rezultatus. Prieš apibrėždami balą, nurodykite vaidmenį, kontekstą ir įgaliojimų ribas. „Savarankiška kompetencija“ vienoje procedūroje, vienoje aplinkoje ir viename priežiūros lygmenyje reiškia kažką kita nei kitame. Užsirašykite, ką vertinama, ką turi atlikti studentas, su kuo jis dirba ir kas nutinka, jei nustatoma, kad jis yra pasiruošęs. Mūsų vadovas... mokymosi veiklų derinimas su Bloomo taksonomija padeda atskirti užduotis, kurioms reikalinga analizė, nuo tų, kurioms reikalingas vertinimas.
2. Pasirinkite nepažįstamą, reprezentatyvią užduotį
Pasirinkite atvejį, kurio rezidentas nerepetavo, pavyzdžiui, antrą imitacinį atvejį, kuris skiriasi nuo pirmojo tuo, kaip atrodo tikri atvejai. Paaiškinkite, kaip jis atspindi tikrąjį darbą ir ko negali nustatyti. Vienas nepažįstamas atvejis gali parodyti, ar vyksta įgūdžių perdavimas, tačiau jis negali apimti visų variantų, kiekvienos komandos ar visų komplikacijų. Štai kodėl sprendimas priimamas remiantis keliais stebimais rezultatais, paskirstytais per skirtingus atvejus ir laikui bėgant, o ne vienu.
3. Užrašykite stebimus kriterijus ir priedus
Sudarykite kriterijus, pagrįstus dviem dalykais: veiklos nuoseklumu tarp atvejų ir vertintojų sutarimu. Aprašykite, kaip kiekvienas balas atrodo elgesyje. Vieną kriterijų galite apibūdinti:
- Silpnas (0). Reikia pakartotinio raginimo, praleidžia žingsnį arba negali paaiškinti pasirinkimo.
- Vystymas (1). Užduotį atlieka su praleidimais arba nevienoda kokybe skirtinguose atvejuose.
- Įgudęs (2). Atlika užduotį, paaiškina pasirinkimus ir išsprendžia atvejo variantą.
Venkite vertinimų, pagrįstų vien pasitikėjimu savimi ar greičiu. Pasitikintis savimi žmogus gali klysti, o lėtas – būti atsargus. Abu bruožai gali būti vertinami kartu su balu, tačiau neturėtų pakeisti įrodymų apie tai, kas buvo padaryta. Naudokite Martino ir kolegų aprašytą struktūrą – konkrečioms užduotims skirtą kontrolinį sąrašą kartu su bendru įvertinimu, jei tai padeda jūsų vertintojams atskirti etapus nuo bendros kokybės.
4. Vertintojų kalibravimas ir bandomojo projekto vykdymas
Kalibravimas yra vieta, kur balai tampa palyginami:
- Įvertinkite savarankiškai. Paprašykite dviejų ar daugiau vertintojų įvertinti tą patį įrašytą ar stebėtą pavyzdį nekalbant.
- Palyginkite įrodymus. Paprašykite kiekvieno pasakyti, kas, jų manymu, lėmė tokį balų skaičiavimą. Nesutarimai paprastai slypi dviprasmiškame kriterijuje.
- Peržiūrėkite kriterijų. Perrašykite formuluotę arba pridėkite pavyzdį, tada įvertinkite naują pavyzdį.
- Bandomasis projektas su maža grupe. Prieš priimdami sprendimus, atlikite vertinimą su keliais kolegomis ir patikrinkite, ar vertintojai vis dar nesutaria.
Apibūdinkite specialistų priežiūrą: kas peržiūri ribinius rezultatus ir kas priima galutinį sprendimą.
Išnagrinėtas atvejis su atsiliepimais ir pakartotiniu bandymu
Iliustracinis pavyzdys. Rezidentūros programos vadovas ir chirurgijos specialistas prieš naudojimą turėtų patvirtinti atvejį ir atsakymų kriterijus.
Byla. Kolegė gerai atlieka vieną imituojamą atvejį, bet nenuosekliai – kitą.
Užduotis. Teisėjo pasirengimas. Paaiškinkite savo sprendimą, pateikite įrodymus ir nurodykite, kokios papildomos informacijos jums reikia.
Pirmas bandymas. „Studentas pirmuoju atveju surinko aukštą balą, tad yra pasiruošęs.“ Vertintojas klausia, kas nutiko antruoju atveju, kiek pasirodymų grindžiamas vertinimas ir ar abu vertintojai sutarė. Mokinys neturi atsakymo nė į vieną iš šių klausimų.
Atsiliepimas ir bandymas dar kartą. Vertintojas pažymi, kad vienas stiprus įvertinimas buvo traktuotas kaip verdiktas, o neatitikimas ignoruojamas. Mokinio prašoma persvarstyti savo nuomonę.
Stipresnis bandymas. Besimokantysis teigia, kad dviejų atvejų nepakanka, atkreipia dėmesį į nenuoseklų antrąjį atvejį ir klausia, kuo jis skyrėsi. Jie siūlo toliau stebėti rezultatus trečiuoju nepažįstamu atveju, pasitelkti antrą nepriklausomą vertintoją ir tikslingai pasirengti tam etapui, kuriame įvyko klaida. Jie teigia, kad kol kas nerekomenduotų sprendimo dėl pasirengimo ir jiems vis dar reikia: vertintojų įrodymų, priežiūros proceso ir programos savarankiškos praktikos apibrėžimo.
Kodėl kiekvienas atsakymas yra pagrįstas arba neišsamus. Vertinkite pagal patvirtintus kriterijus, o ne recenzento pageidavimus. Pirmuoju bandymu vienas balas traktuojamas kaip autorizacija, o tai yra kritinė klaida. Antruoju bandymu naudojami keli pasirodymai, atskiriami įrodymai nuo išvadų ir nurodomos sprendimo ribos.
5. Naudokite rezultatus tolesniems veiksmams
Pasirinkite kitą žingsnį iš pastebėto skirtumo:
- Tikslinis pasiruošimas kai trūko koncepcijos ar žingsnio.
- Interaktyvi praktika kai įgūdis yra, bet nepastovus.
- Prižiūrimas koučingas kai kolegai reikia grįžtamojo ryšio realiame darbe.
Suplanuokite pakartotinį vertinimą ir nurodykite, ko negalima padaryti remiantis rezultatu: pasirengimo vertinimas apibūdina stebėtų atvejų rezultatus, dalyvaujant vertintojams, tam tikru momentu.
| kriterijus | 0: nėra arba nepalaikoma | 1: dalinis, su praleidimais | 2: išsamus ir pagrįstas |
|---|---|---|---|
| Užduoties vykdymas | Teisėjų pasirengimas nuo vieno balo. | Naudoja kelis balus jų nelygindamas. | Teisėjai iš kelių stebėtų pasirodymų ir užrašo įrodymus. |
| Priežastys | Nepateikia jokios priežasties. | Pateikia priežastį neįvardindamas neatitikimų. | Paaiškina alternatyvas, apribojimus ir neapibrėžtumą. |
| Ribos | Rezultatą traktuoja kaip autorizaciją. | Užrašų apribojimai be plano. | Naudoja patvirtintą procesą ir kreipiasi į specialistus, kai nepakanka įrodymų. |
Ši vertinimo skalė yra siūlomas atspirties taškas, o ne patvirtintas pasirengimo standartas. Kritines klaidas apibrėžkite atskirai, pavyzdžiui, vieną simuliatoriaus balą pateikdami kaip leidimą savarankiškai praktikuotis. Bendras balas niekada neturi slėpti kritinio gedimo.
Norėdami patikrinti procesą, palyginkite pradines ir nematomas tolesnes užduotis. Įvertinkite veiklos nuoseklumą ir vertintojų sutarimą. Prieš pradėdami apibrėžkite populiaciją, vardiklį ir laiką ir prieš įskaitydami mokymus, atkreipkite dėmesį į lygiagrečius pokyčius, pvz., naują atvejų derinį ar vertintojų pasikeitimą.
Kur padeda interaktyvus pristatymas
Interaktyvūs formatai padeda kalibravimo etape. Tiesioginės sesijos metu galite parodyti pavyzdį ir paprašyti kiekvieno vertintojo privačiai pateikti balą, tada prieš aptariant įrodymus parodyti skirtumą. Savarankiškas pateikimas tinka kriterijų peržiūrai ir išankstinių reikalavimų patikrinimui iš anksto. AhaSlides, visa apimanti komandų ir klasių įsitraukimo platforma, palaiko interaktyvų mokymąsi ir tiek tiesioginį, tiek savarankišką mokymąsi. Prieš pasikliaudami kalibravimu, patikrinkite, kaip jį atliktumėte savo darbo eigoje.
Ko kompetencijos vertinimas neišspręs
- Neaiškus nepriklausomybės apibrėžimas. Be jo, balai neturi su kuo lygintis.
- Per mažai pastebėjimų. Vienas ar du atvejai negali parodyti nuoseklumo.
- Vertintojai, kurie niekada nekalibruoja. Susitarimas pats savaime neatsiranda.
- Įrodymų ribos. Du aukščiau pateikti šaltiniai aprašo metodus, o ne rezultatus jūsų kolegoms.
Dažnai užduodami klausimai
Kas yra chirurginio kompetencijos vertinimas?
Remiantis stebimu veikimu pagal nustatytus kriterijus, įvertinti, ar rezidentas gali atlikti apibrėžtą chirurginę užduotį pagal jūsų programos keliamus standartus.
Ar vieno simuliatoriaus balo pakanka pasirengimui nustatyti?
Ne. Tai vienas duomenų taškas. Sprendimas dėl pasirengimo priklauso nuo kelių stebimų rezultatų ir jūsų įstaigos patvirtinto proceso.
Kas yra OSATS?
Objektyvus struktūrizuotas techninių įgūdžių vertinimas – metodas, kuris sujungia užduočiai skirtą kontrolinį sąrašą su bendra vertinimo skale.
Kaip patikrinti, ar vertintojai sutinka?
Paprašykite jų savarankiškai įvertinti tą patį pavyzdį, palyginti savo įrodymus ir peržiūrėti visus kriterijus, kur jie skiriasi.
Kas turėtų peržiūrėti bylą ir vertinimo kriterijus?
Prieš vertinant bet ką, vadovauja chirurgijos specialistas ir rezidentūros programa.
Kur pradėti
Pasirinkite vieną procedūrą ir užrašykite stebimą užduotį. Pasirinkite du nepažįstamus atvejus, paprašykite dviejų vertintojų įvertinti kiekvieną atskirai ir palyginkite jų pateiktus įrodymus. Peržiūrėkite kriterijus ten, kur jie nesutampa, tada išbandykite su keliais vertintojais, prieš naudodami balus bet kokiam sprendimui priimti.
Norėdami sužinoti, kaip kalibravimo sesija galėtų vykti tiesiogiai arba savarankiškai, peržiūrėkite AhaSlides.








