Analityk otwiera szkic podsumowania umowy z dostawcą, wygenerowany w ciągu kilku sekund przez asystenta AI. Czyta się dobrze. Zawiera klauzulę rozwiązania umowy i warunki płatności, a całość jest wiarygodna. Kiedyś analityk spędzał poranek na przeglądaniu umowy, aby znaleźć te informacje. Teraz pytanie jest inne: czy to podsumowanie jest poprawne i co powinien sprawdzić, zanim się pod nim podpisze?
To przykładowy scenariusz, a nie udokumentowany przypadek klienta. Obrazuje on zmiany zachodzące w wielu branżach. Szybciej uzyskuje się odpowiedź. Decyzja, czy można ufać odpowiedzi i kto ponosi odpowiedzialność, jeśli nie, nadal leży w gestii osoby udzielającej odpowiedzi.
Ten przewodnik jest przeznaczony dla kierowników działów L&D oraz projektantów materiałów dydaktycznych planujących szkolenia kadry w zakresie sztucznej inteligencji. Pokazuje, jak znaleźć zadania, w których sztuczna inteligencja zmienia rolę człowieka, jak budować praktykę opartą na wynikach, które czasami są błędne, oraz jak mierzyć odpowiedzialne wykorzystanie bez obietnicy wzrostu produktywności.
Szybkie fakty
| Question | Krótka odpowiedź |
|---|---|
| Co się zmienia, gdy ludzie zaczynają używać sztucznej inteligencji w pracy? | Stworzenie pierwszego szkicu lub odpowiedzi staje się łatwiejsze. Weryfikacja, ocena i odpowiedzialność za wynik nie znikają. |
| Czego powinno uczyć szkolenie AI? | Teraz zadanie wymaga sprawdzenia i oceny, a także wiedzy specjalistycznej niezbędnej do jego wykonania. |
| Czy same instrukcje mogą naprawić problem nadmiernego zaufania? | Nie. Badania nad błędem automatyzacji wykazały, że występuje on zarówno u nowicjuszy, jak i ekspertów, a samo szkolenie lub instrukcje nie zapobiegają jego wystąpieniu. |
| Co mierzyć? | Obserwowana weryfikacja w rzeczywistych zadaniach, z zatwierdzonymi granicami wykorzystania sztucznej inteligencji. |
1. Zmapuj, w jaki sposób sztuczna inteligencja zmienia zadanie zawodowe
Zacznij od jednego, prawdziwego zadania, a nie od narzędzia. Opisz je tak, jak było robione przed erą sztucznej inteligencji i tak, jak jest robione teraz, a następnie porównaj oba zadania kolumna po kolumnie.
Przykład umowy:
- Przed: przeczytaj całą umowę, wyodrębnij najważniejsze warunki, zgłoś wszelkie nietypowe zdarzenia, napisz podsumowanie.
- Teraz: przejrzyj podsumowanie wygenerowane przez sztuczną inteligencję, porównaj je ze źródłem, zdecyduj, czy na nim polegać, zgłoś wszystko, co nietypowe, weź odpowiedzialność za wynik.
Niektóre kroki się kurczą. Wyodrębnienie terminów może zająć sekundy. Inne pojawiają się lub rosną: sprawdzanie wyników ze źródłem, zauważanie, co zostało pominięte w streszczeniu i decydowanie, kiedy zwrócić się do specjalisty. Wymagana umiejętność przesunęła się z tworzenia na ocenę. W terminologii Blooma, która opisuje sposób myślenia, jakiego wymaga zadanie, a nie sposób jego realizacji, nacisk kładzie się na analizę i ocenę. Nasz przewodnik po dopasowywanie działań edukacyjnych do taksonomii Blooma wyjaśnia, jak dopasować cel, działanie i ocenę po poznaniu poziomu.
To porównanie stanowi sedno rzetelnej analizy potrzeb szkoleniowych dla sztucznej inteligencji. Zapobiega również częstemu błędowi: szkoleniu wszystkich użytkowników z narzędzia, podczas gdy prawdziwą zmianą jest nowy obowiązek sprawdzania.
2. Określ wymagania dotyczące weryfikacji i oceny
Zadaj trzy pytania dotyczące każdego kroku w kolumnie „teraz”.
- Jak wyglądałby tutaj błędny wynik? Zmyślony zapis, pominięty wyjątek, prawdopodobna, ale nieaktualna liczba.
- Jakie dowody pozwoliłyby mi to sprawdzić? Dokument źródłowy, drugi system, współpracownik, polityka.
- Kiedy muszę się zatrzymać i zapytać kogoś innego? Granica między „Mogę to zweryfikować” a „to wymaga eksperta”.
Naukowcy od dziesięcioleci badają, co się dzieje, gdy ludzie korzystają z niedoskonałych zautomatyzowanych pomocy. Przegląd tych badań autorstwa Parasuramana i Manzeya opisuje błąd automatyzacji, który polega na tym, że ludzie popełniają błędy pominięcia i działania, ponieważ polegają na pomocy decyzyjnej, która nie zawsze jest słuszna. Skutek ten zaobserwowano zarówno u początkujących, jak i doświadczonych uczestników, i stwierdzono, że nie można go zapobiec wyłącznie za pomocą szkolenia lub instrukcji (Parasuraman i Manzey, 2010, Czynniki ludzkie). Badania te przeprowadzono przed pojawieniem się dzisiejszych asystentów AI, więc należy je traktować jako przestrogę przed ludzkim zachowaniem, a nie jako ocenę możliwości jakiegokolwiek współczesnego narzędzia.
Praktyczna lekcja dla szkoleń pracowników z zakresu sztucznej inteligencji jest taka, że polecenie pracownikom, aby „sprawdzali wyniki”, nie jest projektem. Warunki otoczenia pracownika również mają znaczenie: czas na sprawdzenie, dostęp do źródła oraz miejsce pracy, które nie karze go za spowolnienie.
3. Buduj praktykę wokół niepewnych wyników
Jeśli zadanie polega teraz na ocenie wyniku, przećwicz ocenianie wyników. Stwórz mały zestaw przypadków, w których odpowiedź AI będzie następująca:
- Poprawne i kompletne. Właściwym posunięciem jest zaakceptowanie tego i wyjaśnienie dlaczego.
- Niekompletny. To prawda, ale pomija coś, co jest istotne.
- Zwodniczy. Pewne siebie, dobrze napisane, ale błędne w sposób, który łatwo przeoczyć.
Uczniowie otrzymują każdy przypadek, źródło, z którym mogą go porównać, oraz wybór: zaakceptować, poprawić lub eskalować. Muszą również podać uzasadnienie. Oceniaj powody zgody lub sprzeciwu, a nie tylko pewność siebie. Uczeń, który akceptuje prawidłową odpowiedź bez sprawdzenia, nie wykazał się umiejętnością, podobnie jak uczeń, który kwestionuje wszystko.
Formaty interaktywne idealnie się do tego nadają. Każda osoba podejmuje decyzję i podaje jej uzasadnienie przed rozpoczęciem dyskusji w grupie, dzięki czemu widoczne stają się zarówno nadmierne zaufanie, jak i nadmierna ostrożność. Prowadzenie zajęć we własnym tempie obejmuje pierwsze podejście, a omówienie na żywo omawia niejednoznaczne przypadki, w których istnieją dwa możliwe do obrony warianty. AhaSlides wspiera interaktywne uczenie się i przełączanie między prowadzeniem zajęć na żywo a prowadzeniem zajęć we własnym tempie, dzięki czemu jeden zestaw przypadków może być realizowany w obie strony. Sprawdź każdą konkretną funkcję tworzenia, przekazywania opinii lub raportowania pod kątem własnego procesu pracy, zanim zaczniesz ją planować.
4. Zachowaj niezbędną wiedzę
Nie da się ocenić wyniku, którego się nie rozumie. Osoba, która nigdy nie poznała interakcji warunków płatności z prawami do odstąpienia od umowy, nie zauważy, że podsumowanie zawiera błędy. Dostęp do sztucznej inteligencji nie eliminuje potrzeby takiego zrozumienia. Zmienia jedynie miejsce, w którym jest ona wykorzystywana.
Zdecyduj, od jakiej wiedzy dziedzinowej zależy każde zadanie weryfikacyjne i sprawdź ją przed rozpoczęciem ćwiczeń, przeprowadzając krótką diagnostykę w tempie własnym. Takie sprawdzenie pamięci potwierdza jedynie spełnienie wymagań wstępnych. Nie dowodzi ono, że ktokolwiek potrafi zweryfikować wynik. Centrum Eberly'ego Carnegie Mellon przedstawia ten sam ogólny punkt widzenia: oceny, cele i działania dydaktyczne powinny być spójne. A gdy ocena mierzy pamięć, ale cele wymagają analizy, nie mierzy tego, czego uczniowie mieli się nauczyć, a ta rozbieżność może osłabić zarówno motywację, jak i proces uczenia się (Centrum Eberly'ego, uzgadnianie celów, ocen i instrukcji).
5. Mierz odpowiedzialne korzystanie z rzeczywistych zadań
Wybierz zadanie weryfikacyjne, które ludzie faktycznie wykonują, i ustal zatwierdzone granice wykorzystania sztucznej inteligencji, zanim zaczniesz je mierzyć: co można delegować do narzędzia, co należy sprawdzić, a co należy eskalować.
Amerykańskie Centra Kontroli i Zapobiegania Chorobom oddzielają ocenę nauki od oceny tego, jak dobrze ludzie stosują ją w pracy, i zalecają planowanie obu tych aspektów (CDC, ocena szkoleń: mierzenie skuteczności). To wskazówka ewaluacyjna, a nie prognoza wyników. W przypadku zadań związanych ze sztuczną inteligencją oznacza to dwie miary:
- Uczenie się: wydajność w nowym, nieobserwowanym zestawie przypadków w porównaniu z sytuacją bazową.
- Transfer: nadzorowane zadanie lub próbka rzeczywistej pracy, oceniana według tej samej kryteriów po tym, jak ludzie mieli czas, aby wykorzystać nabytą wiedzę.
Określ, kto jest uwzględniany, jaki jest mianownik i jaki jest czas. Raportuj wydajność tylko na podstawie zmierzonych dowodów. Jeśli zespół działa szybciej po szkoleniu AI, sprawdź, co jeszcze zmieniło się w tym samym okresie, na przykład nowy szablon, zmiana personelu lub inny układ zadań, przed uznaniem szkolenia za sukces.
Aby uzyskać szerszy pogląd na ryzyko, Narodowy Instytut Norm i Technologii publikuje Ramy zarządzania ryzykiem AI, opublikowane w styczniu 2023 r., z którego korzystają organizacje w kontekście ryzyka związanego ze sztuczną inteligencją. Stanowi punkt wyjścia do dyskusji o ryzyku, a nie standard szkoleniowy ani certyfikację.
Przykładowy schemat działania: podsumowanie umowy
Ilustrujący. Praktyk wykonujący tę pracę powinien zweryfikować przypadek i kryteria odpowiedzi przed ich użyciem.
Walizka. Uczeń otrzymuje fikcyjną umowę z dostawcą i podsumowanie napisane przez sztuczną inteligencję. W podsumowaniu wskazano 60-dniowy okres wypowiedzenia. Umowa przewiduje 60 dni na rozwiązanie umowy bez podania przyczyny i 30 dni na jej zerwanie. W podsumowaniu pominięto również wyjątek dotyczący terminu płatności w załączniku.
Czego od ucznia oczekuje się od wykonania. Wyjaśnij decyzję (zaakceptuj, skoryguj lub eskaluj), przytocz dowody z umowy i określ, jakich dodatkowych informacji lub wsparcia będą potrzebować.
Słaba odpowiedź. „Podsumowanie wygląda na dokładne i obejmuje główne terminy. Akceptuję”. Nie cytuje niczego i nie zaznacza niczego.
Silniejsza odpowiedź. „Nie zaakceptowałbym tego w obecnej formie. Klauzula 14 przewiduje 60 dni na rozwiązanie umowy bez podania przyczyny, ale 30 dni na zerwanie umowy, a podsumowanie wspomina tylko o 60 dniach. Załącznik B zawiera wyjątek od zasady płatności, o którym podsumowanie nie wspomina. Poprawiłbym wiersz dotyczący rozwiązania umowy i dodał wyjątek. Nie jestem pewien, czy załącznik dotyczy tego dostawcy, więc zapytałbym kierownika ds. umów.”
Ponowna próba. Uczeń otrzymuje drugi kontrakt, w którym podsumowanie sztucznej inteligencji jest poprawne. Właściwym krokiem jest teraz zaakceptowanie i wyjaśnienie, co zostało sprawdzone. To chroni przed wyrobieniem u ludzi odruchowej podejrzliwości.
Arkusz analizy zadań AI
Użyj jednego wiersza na krok w kolumnie „teraz” dla rzeczywistego zadania.
| Krok zadania | Co teraz robi sztuczna inteligencja | Co ta osoba musi jeszcze zrobić | Dowody potrzebne do sprawdzenia | Eskalować do | Wymagana wiedza wstępna |
|---|---|---|---|---|---|
| Wyodrębnij kluczowe terminy | Sporządza listę | Porównaj ze źródłem | Sama umowa | Kontrakty prowadzą | Struktura umowy i rodzaje klauzul |
| Oznacz nietypowe terminy | Sugeruje kandydatów | Określ, co jest nietypowe w tym kontekście | Poprzednie kontrakty, polityka | Regulamin | Standardowe warunki dla tego typu dostawcy |
| Podpisz podsumowanie | Nic | Bądź właścicielem wyniku | Sprawdzone podsumowanie | Kierownik liniowy | Limity zatwierdzenia |
Rubryka, którą możesz dostosować
Oceń każde kryterium w skali od 0 do 2. Jest to propozycja dostosowania się do stanowiska specjalisty, a nie sprawdzony standard gotowości.
| Kryterium | Obserwowalne dowody |
|---|---|
| Wykonanie zadania | Identyfikuje, gdzie sztuczna inteligencja zmienia zadanie weryfikacji i oceny. Rejestruje działanie i dowody, które za nim stoją. |
| Rozumowanie | Wyjaśnia ograniczenia, alternatywy i niepewność. Powody akceptacji lub zakwestionowania wyniku są powiązane ze źródłem. |
| Granice | Stosuje zatwierdzone procedury użytkowania sztucznej inteligencji i prosi o pomoc, gdy informacje lub uprawnienia okażą się niewystarczające. |
Kotwice: 0 = brak lub nieobsługiwane. 1 = częściowe, z istotnymi pominięciami. 2 = kompletne i uzasadnione zgodnie z ustalonymi kryteriami. Zdefiniuj błędy krytyczne osobno, na przykład zatwierdzenie wyników sprzecznych ze źródłem lub udostępnienie poufnych danych niezatwierdzonemu narzędziu. Wynik całkowity nie może ukrywać błędu krytycznego.
Ograniczenia, które mogą pozostać
Lepsza ocena w przypadku szkolenia nie usuwa wszystkich ograniczeń:
- Presja czasu. Jeśli cele wolumenowe nie pozostawiają żadnego pola do sprawdzenia, ludzie przestaną sprawdzać to, czego ich nauczono.
- Niejasna odpowiedzialność. Jeśli nikt nie jest wskazany jako właściciel sprawdzonego wyniku, sprawdzanie nie jest niczyim obowiązkiem.
- Ograniczenia narzędzi. Niektóre narzędzia nie pozwalają użytkownikom zobaczyć źródła odpowiedzi, co spowalnia weryfikację.
- Zmiana narzędzi. System sztucznej inteligencji, który zmienia zachowanie po aktualizacji, może przełamać nawyk weryfikacji, który wyrobiłeś sobie w poprzednim kwartale.
Zaplanuj osobne rozwiązania dla tych problemów i powiedz o tym sponsorom. Szkolenie może rozwinąć umiejętności. Nie stworzy czasu ani autorytetu.
PYTANIA I ODPOWIEDZI
Co powinno obejmować szkolenie pracowników w zakresie sztucznej inteligencji?
Zacznij od zadań, które AI zmienia w swojej roli. Omów, jak sprawdzać wyniki pod kątem dowodów, kiedy eskalować, jakie są zatwierdzone granice wykorzystania AI oraz wiedzę dziedzinową potrzebną do oceny odpowiedzi. Wskazówki dotyczące narzędzi są na drugim miejscu.
Czy sztuczna inteligencja eliminuje potrzebę posiadania wiedzy specjalistycznej?
Nie. Ludzie potrzebują wystarczającego zrozumienia, aby zauważyć, kiedy wynik jest błędny lub niekompletny. Zmienia się sposób wykorzystania tej wiedzy: mniej produkcji, więcej oceny.
Jak oceniasz ludzką ocenę w pracy wspomaganej przez sztuczną inteligencję?
Przedstaw uczniom realistyczne przypadki z poprawnymi, niekompletnymi i mylącymi wynikami i oceń powody, dla których je zaakceptowali, poprawili lub eskalowali. Następnie, po odpowiednim opóźnieniu, obserwuj nadzorowane, rzeczywiste zadanie.
Gdzie zacząć
Wybierz jedno zadanie, które pracownicy Twojej organizacji wykonują obecnie z pomocą sztucznej inteligencji. Uzupełnij powyższy arkusz kalkulacyjny z osobą, która wykonuje to zadanie, i zanotuj trzy miejsca, w których błędny wynik mógłby wyrządzić najwięcej szkód. Stwórz swój pierwszy przykład praktyczny wokół jednego z nich.
Aby zobaczyć, jak połączenie kontroli we własnym tempie, interaktywnego ćwiczenia przypadku i omówienia na żywo może pomóc w realizacji tego zadania, zapoznaj się z AhaSlides.
