Spremnost za samostalnu praksu je procjena izgrađena na temelju nekoliko promatranih izvedbi, a ne jednog rezultata. Osoba koja dobro radi na jednom simuliranom slučaju, a nedosljedno na drugom, rekla vam je nešto, ali ne dovoljno. Ovaj vodič namijenjen je voditeljima medicinskog obrazovanja i voditeljima specijalizacija. Obuhvaća pet odluka: promatrani zadatak koji se procjenjuje, nepoznat i reprezentativan slučaj, promatrane kriterije s sidrištima, kako kalibrirati procjenitelje i kako koristiti rezultate. Radi se o dizajnu procjene, a ne o kliničkom vodstvu. Ovlaštenje za samostalnu praksu ostaje u okviru vlastitih procesa vaše ustanove, a stručnjak iz vašeg programa trebao bi pregledati slučaj i rubriku prije upotrebe.
Što istraživanje kaže, a što ne kaže
Vrijedno je znati dvije objavljene metode. Godine 2005. deset Cate predložilo je povjerljive profesionalne aktivnosti: jedinice rada za koje nadzornik odluči da ih pripravnik može obaviti bez nadzora, na temelju uočene kompetencije. Godine 1997. Martin i kolege opisali su Objektivna strukturirana procjena tehničkih vještina (OSATS), koji spaja kontrolnu listu specifičnu za zadatak s globalnom ljestvicom ocjenjivanja za kirurške specijalizante.
Oba opisuju kako strukturirati procjenu. Niti jedno ne pokazuje da je određeni student spreman, niti jedno ne zamjenjuje stručni nadzor. Koristite ih za oblikovanje vlastitih kriterija, a zatim ih testirajte s vlastitim procjeniteljima.
Brze činjenice
| Pitanje | Kratak odgovor |
|---|---|
| Što osuđuješ? | Spremnost, iz višestruko promatranih izvedbi. |
| Što je jedan rezultat simulatora? | Jedan podatak. To nije odobrenje za samostalnu praksu. |
| Što čini kriterije upotrebljivima? | Uočljiva ponašanja s primjerima slabog, razvijajućeg i uspješnog rada. |
| Što čini rezultate pouzdanima? | Procjenitelji ocjenjuju neovisno, a zatim uspoređuju dokaze. |
| Što biste trebali izbjegavati pri bodovanju? | Samopouzdanje ili brzina. |
| Što ne može odlučiti? | Autorizacija. To je u skladu s postupkom vaše institucije. |
1. Definirajte performansu koja se procjenjuje
Navedite uočljivi zadatak: procjenu spremnosti na temelju više uočenih performansi. Navedite ulogu, kontekst i granice ovlaštenja prije nego što definirate rezultat. "Samostalna kompetencija" znači nešto drugačije za kolegu u jednom postupku, jednom okruženju i jednoj razini nadzora nego za drugu. Zapišite što se od kolege procjenjuje da radi, s kim i što se događa ako se ocijeni spremnim. Naš vodič za usklađivanje aktivnosti učenja s Bloomovom taksonomijom pomaže vam da odvojite zadatke koji zahtijevaju analizu od onih koji zahtijevaju procjenu.
2. Odaberite nepoznat, reprezentativan zadatak
Odaberite slučaj koji kolega nije uvježbavao, poput drugog simuliranog slučaja koji se razlikuje od prvog na način na koji to rade stvarni slučajevi. Objasnite kako uzorkuje stvarni rad i što ne može utvrditi. Jedan nepoznati slučaj može pokazati hoće li se vještine prenijeti, ali ne može obuhvatiti svaku varijaciju, svaki tim ili svaku komplikaciju. Zato odluka počiva na nekoliko promatranih performansi, raspoređenih po slučajevima i vremenu, a ne na jednoj.
3. Napišite uočljive kriterije i sidra
Izgradite kriterije oko dvije stvari: dosljednosti izvedbe u svim slučajevima i slaganja procjenitelja. Opišite kako svaki rezultat izgleda u ponašanju. Za jedan kriterij možete opisati:
- Slabo (0). Potrebno mu je ponovljeno poticanje, propušta korak ili ne može objasniti izbor.
- Razvoj (1). Završava zadatak s propustima ili nedosljednom kvalitetom u različitim slučajevima.
- Vješt (2). Završava zadatak, objašnjava izbore i obrađuje varijaciju slučaja.
Izbjegavajte ocjene temeljene samo na samopouzdanju ili brzini. Samouvjerena osoba može biti u krivu, a spora može biti oprezna. Obje osobine mogu se nalaziti uz ocjenu, ali ne bi smjele zamijeniti dokaz o tome što je učinjeno. Koristite strukturu koju Martin i kolege opisuju, kontrolnu listu specifičnu za zadatak uz globalnu ocjenu, ako to pomaže vašim procjeniteljima da odvoje korake od ukupne kvalitete.
4. Kalibrirajte procjenitelje i provedite pilotni projekt
Kalibracija je mjesto gdje rezultati postaju usporedivi:
- Bodujte samostalno. Neka dva ili više ocjenjivača ocjenjuju isti zabilježeni ili promatrani primjer bez razgovora.
- Usporedite dokaze. Zamolite svakoga da kaže što je vidio što je dovelo do ocjene. Neslaganje se obično nalazi u dvosmislenom kriteriju.
- Revidirajte kriterij. Prepišite tekst ili dodajte primjer, a zatim zapišite novi primjer.
- Pilotirajte na maloj grupi. Prije donošenja odluka, provedite procjenu s nekoliko kolega i provjerite slažu li se procjenitelji i dalje.
Opišite stručni nadzor: tko pregledava granične rezultate i tko je odgovoran za konačnu odluku.
Obrađen slučaj s povratnim informacijama i ponovnim pokušajem
Ilustracija. Voditelj specijalizacije i kirurški specijalist trebaju potvrditi slučaj i kriterije odgovora prije upotrebe.
Slučaj. Jedan student dobro radi na jednom simuliranom slučaju, ali nedosljedno na drugom.
Zadatak. Spremnost prosudbe. Objasnite svoju odluku, navedite dokaze i navedite koje su vam dodatne informacije potrebne.
Prvi pokušaj. „Dečko je dobio visoku ocjenu u prvom slučaju, tako da su spremni.“ Recenzent pita što se dogodilo u drugom slučaju, na koliko se izvedbi temelji procjena i jesu li se dva ocjenjivača složila. Učenik nema odgovor ni na jedno od njih.
Povratne informacije i ponovni pokušaj. Recenzent primjećuje da je jedan snažan rezultat tretiran kao presuda, a nedosljednost je zanemarena. Od učenika se traži da preispita svoju odluku.
Jači pokušaj. Učenik navodi da dva slučaja nisu dovoljna, primjećuje nedosljedan drugi slučaj i pita što se u njemu razlikovalo. Predlaže daljnje promatranje izvedbe na trećem nepoznatom slučaju, neovisnog drugog procjenitelja i ciljanu pripremu za korak koji je pošao po zlu. Kaže da još ne bi preporučili odluku o spremnosti i što im je još potrebno: dokazi procjenitelja, proces nadzora i programska definicija neovisne prakse.
Zašto je svaki odgovor opravdan ili nepotpun. Prosuđujte prema odobrenim kriterijima, a ne prema preferencijama recenzenta. Prvi pokušaj tretira jednu ocjenu kao autorizaciju, što je kritična pogreška. Drugi koristi nekoliko izvedbi, odvaja dokaze od zaključivanja i navodi granice odluke.
5. Koristite rezultate za daljnje praćenje
Odaberite sljedeći korak iz uočene praznine:
- Ciljana priprema kada je nedostajao koncept ili korak.
- Interaktivna praksa kada vještina postoji, ali je nedosljedna.
- Nadzirani coaching kada kolegi treba povratna informacija u stvarnom poslu.
Planirajte ponovnu procjenu i navedite što rezultat ne može učiniti: procjena spremnosti opisuje učinak na promatranim slučajevima, s uključenim procjeniteljima, u jednom trenutku.
| Kriterij | 0: odsutno ili nije podržano | 1: djelomično, s izostavljenim dijelovima | 2: potpuno i opravdano |
|---|---|---|---|
| Izvršenje zadatka | Spremnost se ocjenjuje na temelju jednog rezultata. | Koristi nekoliko rezultata bez njihove usporedbe. | Sudi na temelju nekoliko promatranih izvedbi i bilježi dokaze. |
| Rasuđivanje | Ne navodi razlog. | Navodi razlog bez imenovanja nedosljednosti. | Objašnjava alternative, ograničenja i neizvjesnost. |
| Granice | Tretira rezultat kao autorizaciju. | Bilježi ograničenja bez plana. | Koristi odobreni postupak i traži stručni savjet kada dokazi nisu dovoljni. |
Ova rubrika je predložena početna točka, a ne validirani standard spremnosti. Definirajte kritične pogreške zasebno, na primjer, predstavljajući jedan rezultat simulatora kao odobrenje za samostalnu praksu. Ukupni rezultat nikada ne smije skrivati kritičan neuspjeh.
Za provjeru procesa, usporedite osnovne i nevidljive naknadne zadatke. Izmjerite dosljednost izvedbe i slaganje procjenitelja. Definirajte populaciju, nazivnik i vrijeme prije nego što počnete te potražite istodobne promjene, poput nove mješavine slučajeva ili promjene procjenitelja, prije nego što dodijelite bodove za obuku.
Gdje interaktivna dostava pomaže
Interaktivni formati pomažu u koraku kalibracije. U sesiji uživo možete pokazati primjer i zamoliti svakog ocjenjivača da privatno pošalje ocjenu, a zatim prikazati raspon prije rasprave o dokazima. Vlastitim tempom izlaganja odgovara pregledu kriterija i provjeri preduvjeta unaprijed. AhaSlides, sveobuhvatna platforma za timove i učionice, podržava interaktivno učenje te nastavu uživo i vlastitim tempom. Provjerite kako biste izvršili kalibraciju u vlastitom tijeku rada prije nego što se na nju oslonite.
Što procjena kompetencija neće riješiti
- Nejasna definicija neovisnosti. Bez njega, rezultati se nemaju s čime uspoređivati.
- Premalo zapažanja. Jedan ili dva slučaja ne mogu pokazati dosljednost.
- Procjenitelji koji nikad ne kalibriraju. Sporazum se ne pojavljuje sam od sebe.
- Ograničenja dokaza. Dva gore navedena izvora opisuju metode, a ne ishode za vaše kolege.
Često postavljana pitanja
Što je procjena kirurške kompetencije?
Procjenjivanje, na temelju promatrane izvedbe u odnosu na definirane kriterije, može li specijalizant izvršiti definirani kirurški zadatak prema standardu koji zahtijeva vaš program.
Je li jedan rezultat simulatora dovoljan za procjenu spremnosti?
Ne. To je jedna podatkovna točka. Odluka o spremnosti temelji se na nekoliko promatranih performansi i odobrenom postupku vaše institucije.
Što je OSATS?
Objektivna strukturirana procjena tehničkih vještina, metoda koja kombinira kontrolnu listu specifičnu za zadatak s globalnom ljestvicom ocjenjivanja.
Kako provjeravate slažu li se procjenitelji?
Neka samostalno ocjene isti primjer, usporede svoje dokaze i revidiraju kriterije po kojima se razlikuju.
Tko bi trebao pregledati slučaj i rubriku?
Kirurški specijalist i program specijalizacije vode prije nego što se itko ocjenjuje.
Gdje započeti
Odaberite jedan postupak i napišite zadatak koji se može promatrati. Odaberite dva nepoznata slučaja, neka dva procjenitelja ocjenjuju svaki neovisno i usporedite njihove dokaze. Revidirajte kriterije tamo gdje se ne slažu, a zatim isprobajte s nekoliko kolega prije nego što upotrijebite rezultate za bilo kakvu odluku.
Da biste vidjeli kako se sesija kalibracije može odvijati uživo ili vlastitim tempom, istražite AhaSlides.








