W swoim przeglądzie badań nad tym, jak ludzie korzystają z pomocy automatycznych, Parasuraman i Manzey (2010, Czynniki ludzkie) Odkryli, że gdy pomoc jest niedoskonała, ludzie popełniają dwa rodzaje błędów: pomijają problemy, których pomoc nie zgłosiła (błędy pominięcia) i stosują się do błędnych porad (błędy prowizji). Odkryli również, że zdarza się to zarówno ekspertom, jak i nowicjuszom, i że sama praktyka tego nie eliminuje. Planista tras, który korzysta z narzędzia do planowania tras od roku, nie jest przed tym bezpieczny. Szkolenia z zakresu rekomendacji tras oparte na sztucznej inteligencji istnieją po to, aby celowo wyeliminować tę lukę.
Wyobraź sobie taką sytuację. Model trasowania proponuje najkrótszą trasę dla jutrzejszych dostaw. Nie wie, że dziś rano rada nałożyła ograniczenie obciążenia na jeden most. Planista widzi uporządkowany plan, zielony status i termin. Pytanie, na które odpowiada ten przewodnik, brzmi: jak nauczyć ludzi zatrzymywania się i zadawania pytań, których model nie widzi.
Ten przewodnik pokazuje menedżerom ds. szkoleń logistycznych oraz kierownikom magazynów i spedycji, jak budować szkolenia wokół jednego zadania: kwestionowania rekomendacji dotyczących trasowania w przypadku braku odpowiedniego kontekstu. Obejmuje on krótką diagnozę, ćwiczenie z informacją zwrotną, rozwiązany przypadek z ponowną próbą, punktowaną rubrykę oceny oraz kontrolę transferu. Przypadek i rubryka oceny są ilustracjami, dlatego przed przyznaniem punktów poproś specjalistę ds. planowania o ich porównanie z Twoimi własnymi procedurami.
Szybkie fakty
| Question | Krótka odpowiedź |
|---|---|
| Co trenujesz? | Sprawdzanie rekomendacji trasy pod kątem faktów, których model może nie uwzględniać, i podejmowanie decyzji o jej zaakceptowaniu, dostosowaniu lub zastąpieniu. |
| Co jest pierwsze? | Sprawdzanie, kto ma prawo pominąć niektóre czynności, co pokazuje narzędzie i ile czasu mają planiści. |
| Jak to praktykować? | Realistyczne przypadki, w których brakuje pewnego elementu kontekstu, wraz z informacją zwrotną na temat każdej decyzji. |
| Jak to oceniasz? | Ocena od 0 do 2 za wykonanie zadania, uzasadnienie i granice, przy czym błędy krytyczne definiowane są osobno. |
| Jak sprawdzić przelew? | Nowy, niewidziany przypadek, a następnie nadzorowany przegląd planu na żywo. |
| Czego nie naprawi szkolenie? | Omijanie ograniczeń wymagających akceptacji, na którą nikt nie ma czasu, oraz narzędzia, które ukrywają swoje założenia. |
1. Opisz problem z wydajnością
Zacznij od zadania. Kiedy pojawi się rekomendacja, planista musi porównać ją z tym, co wie: aktualnymi ograniczeniami, robotami drogowymi, limitami pojazdów, oknami dla klientów, pogodą i godzinami pracy kierowców. Decyduje, czy rekomendacja jest aktualna, określa brakujący kontekst, akceptuje, dostosowuje lub pomija i rejestruje przyczynę. Jeśli nie może się zdecydować, eskaluje.
Dwie porażki mają znaczenie. Pierwsza to podążanie za modelem w kierunku ograniczeń, o których nie miał pojęcia. Druga to tak duży brak zaufania do modelu, że każdy plan jest przebudowywany ręcznie, co marnuje korzyści płynące z narzędzia. Szkolenie powinno mieć na celu wyważoną ocenę, a nie podejrzliwość.
2. Zdiagnozuj luki w nauce i kontekście
Porównaj zadanie z tym, jak przeszkoleni i przetestowani są Twoi planiści. Przegląd ekranów narzędzia sprawdza, czy ludzie potrafią je obsługiwać. Nie pokazuje, czy potrafią dostrzec rekomendację, która jest błędna z przyczyn, których narzędzie nie jest w stanie wskazać. Analiza planu i ocena, czy należy go pominąć, to wymagania wyższego rzędu niż obsługa ekranu, i wymagają praktyki w praktyce. Nasz przewodnik po dopasowywanie działań edukacyjnych do taksonomii Blooma wyjaśnia, jak odczytywać zapotrzebowanie na zadanie.
Następnie sprawdź przyczyny, których szkolenie nie naprawi:
- Autorytet. Kto może odrzucić wniosek i czy konieczne jest potwierdzenie, którego nikt nie może udzielić?
- Widoczność. Czy narzędzie pokazuje dane wejściowe i założenia, czy tylko odpowiedź?
- Danych. Czy ograniczenia i incydenty są wprowadzane do modelu czy przechowywane w wątku wiadomości e-mail?
- Czas. Czy w trakcie zmiany jest miejsce na przeprowadzenie kontroli, czy też planiści są oceniani na podstawie planów udostępnianych co godzinę?
- Ćwiczyć. Czy ktoś ćwiczył obejście tego ograniczenia za pomocą informacji zwrotnej?
Tylko ostatnia luka to zwykła luka szkoleniowa. Podaj pozostałe nazwy sponsorom i ustal właściciela dla każdej z nich, zanim zaczniesz tworzyć treści.
3. Zaprojektuj celowe przygotowanie i praktykę
Trzy warstwy, każda z własnym zadaniem.
Przygotowanie: sprawdź wymagania wstępne. Przeprowadź krótką diagnostykę dotyczącą tego, co narzędzie wykorzystuje jako dane wejściowe, co pomija i które z Twoich własnych reguł ograniczają trasę (obciążenie osi, okna dostaw, godziny pracy). Kontrola wycofania produktu potwierdza, że spełnione są wszystkie wymagania wstępne i nic więcej. Nie zgłaszaj tego jako możliwości. Nauka we własnym tempie jest odpowiednia dla tej warstwy.
Ćwiczenie: przypadki, w których brakuje jednego faktu. Przekaż uczniowi rekomendację i niewielki zestaw dowodów, taki jak mapa trasy, zawiadomienie o ograniczeniu, rejestr pojazdu i okienko klienta. Zapytaj, czy rekomendacja jest aktualna, czego model nie może wiedzieć i co by zrobił. Informacja zwrotna powinna określać wybór: „Zaakceptowałeś trasę bez sprawdzania masy pojazdu w odniesieniu do zawiadomienia” uczy więcej niż „Spróbuj ponownie”. Różni się to od ogólnej praktyki w zakresie zakłócania: tutaj czynnikiem wyzwalającym jest konkretna rekomendacja, więc umiejętnością jest przegląd, a nie odzyskanie. Nasz przewodnik po symulacje zakłóceń w logistyce budowlanej obejmuje szerszą umiejętność i nasz przewodnik po projektowanie laboratoriów testów obciążeniowych modeli pokazuje pokrewne podejście dla analityków.
Przegląd i przeniesienie: omówienie jednego niejasnego przypadku. Bezpośrednie informacje zwrotne od przełożonego przynoszą najlepsze efekty w przypadku niejednoznacznych dowodów, na przykład gdy plotki o ograniczeniach są niepotwierdzone. Asynchroniczna analiza wystarcza do jednoznacznego sprawdzenia zgodności z ustaloną odpowiedzią.
4. Przypadek rozwiązany z informacją zwrotną i ponowną próbą
Ilustrujące. Specjalista ds. wysyłki lub planowania powinien zweryfikować przypadek i kryteria odpowiedzi przed ich użyciem.
Walizka. Model rekomenduje trasę dla 26-tonowej ciężarówki, która przejeżdża przez most na drodze lokalnej, aby zaoszczędzić 18 minut. Dowód zawiera otrzymane rano zawiadomienie o limicie 7.5 tony na tym moście od dziś. Lista danych modelu nie zawiera lokalnych zawiadomień.
Zadanie. Uzasadnij swoją decyzję, podaj dowody, na które się powołałeś i podaj, jakich dodatkowych informacji lub dowodów potrzebujesz.
Pierwsza próba. „System wybrał tę trasę, więc musiał sprawdzić drogi. Upubliczniłbym to”. Recenzent pyta, które dane wejściowe dotyczyły lokalnych ogłoszeń i czy uczeń otworzył pakiet dowodów. Uczeń nie potrafi wymienić żadnego i nie przeczytał ogłoszenia.
Prześlij opinię i spróbuj ponownie. Recenzent wskazuje na powiadomienie i listę danych wejściowych modelu, a następnie prosi o nową odpowiedź.
Silniejsza próba. Uczeń stwierdza, że zalecenie nie spełnia oczekiwań: pojazd przekracza limit na moście, a model nie zawiera lokalnych komunikatów. Zmieniają oni trasę, wybierają drogę główną, odnotowują dodatkowe 18 minut i informują o tym właściciela okna klienta. Rejestrują przyczynę, sygnalizują przerwę właścicielowi źródła danych i informują, czego jeszcze potrzebują: potwierdzenia limitu z komunikatu rady oraz czy trasa alternatywna ma własne ograniczenia.
Dlaczego każda odpowiedź jest możliwa do obrony lub niekompletna. Oceniaj według zatwierdzonych kryteriów, a nie gustu recenzenta. Pierwsza próba ufa narzędziu bez sprawdzania i wysyła pojazd przekraczający limit, co jest traktowane jako błąd krytyczny. Druga próba określa brakujący kontekst, nadpisuje w ramach procedury i pogłębia lukę w danych. Dodaj wariant, w którym powiadomienie jest niepotwierdzone i zapytaj grupę, jak wygląda wybór możliwy do obrony.
5. Ocena zdolności i zaplanowanie przeniesienia
Oceń każde kryterium w skali od 0 do 2. Dostosuj kryteria do swoich potrzeb, współpracując ze specjalistą. Niniejsza rubryka stanowi proponowany punkt wyjścia, a nie sprawdzony standard gotowości.
| Kryterium | 0: nieobecny lub nieobsługiwany | 1: częściowy, z pominięciami | 2: kompletne i uzasadnione |
|---|---|---|---|
| Wykonanie zadania | Akceptuje rekomendację bez sprawdzania. | Sprawdza pewien kontekst, ale nie cały. | Kwestionuje rekomendację, przedstawiając dowody, i odnotowuje podjęte działanie oraz jego przyczynę. |
| Rozumowanie | Nadpisuje lub akceptuje bez podania przyczyny. | Podaje powód, ale ignoruje alternatywy. | Wyjaśnia ograniczenia, porównuje opcje i wskazuje, co jest niepewne. |
| Granice | Nadpisuje procedury spoza zatwierdzonej procedury. | Odnosi się do procedury w sposób niespójny. | Stosuje zatwierdzone procedury i eskaluje działania w przypadku braku informacji lub upoważnienia. |
Zdefiniuj błędy krytyczne osobno, na przykład zwolnienie trasy przekraczającej limit pojazdów lub nadpisanie bez zapisu. Wynik ogólny nigdy nie może przesłaniać błędu krytycznego. Sprawdź, czy dwóch asesorów uzyskało tę samą odpowiedź w ten sam sposób, zanim zaczniesz opierać się na wynikach. Nasz przewodnik po ocena osądu i rozwiązywania problemów w szkoleniu obejmuje kotwice i kalibrację oceniających.
Wynik praktyczny informuje, co uczeń zrobił w praktyce. Aby sprawdzić, czy wynik jest kontynuowany, należy po krótkim opóźnieniu przedstawić nowy przypadek, a następnie dodać działania następcze w miejscu pracy: nadzorowany przegląd planu na żywo, ocenianego według tej samej rubryki. Do tego projektu pasują dwa wskaźniki:
- Współczynnik weryfikacji: odsetek przejrzanych planów, w których planista sprawdził elementy brakującego kontekstu przed ich opublikowaniem.
- Nadpisz stosowność: część poprawek uznanych przez recenzenta za uzasadnione, przy czym mianownik i czas ustalane są przed rozpoczęciem pracy.
Porównaj punkt odniesienia z niewidocznym zadaniem następczym i sprawdź, czy zachodzą jednoczesne zmiany, takie jak nowa wersja trasowania, nowy region lub szczyt sezonowy, zanim uznasz trening za udany. Należy zachować umiar: wynik lepszej praktyki jest dowodem na skuteczność rozumowania w praktyce, a nie obietnicą mniejszej liczby nieudanych tras.
Gdzie interaktywna dostawa pomaga
Formaty interaktywne pomagają uczestnikom podjąć decyzję, zanim zobaczą, co wybrali inni. Podczas sesji na żywo prowadzący może pokazać rekomendację i zestaw dowodów, poprosić każdego planistę o zaakceptowanie, skorygowanie lub pominięcie decyzji i wpisać jednowierszowe uzasadnienie, a następnie ujawnić rozkład przed dyskusją. Dzięki temu nadmierne zaufanie i nadmierna korekta są widoczne obok siebie. Prowadzenie w tempie dostosowanym do indywidualnych potrzeb uczestników sprzyja zarówno przygotowaniu, jak i niewidocznym kontynuacjom. AhaSlides, kompleksowa platforma do współpracy dla zespołów i klas, obsługuje interaktywną naukę oraz zajęcia na żywo i w tempie własnym. Sprawdź, jak przeniósłbyś tę sprawę między tymi dwoma platformami w swoim własnym procesie pracy, zanim na niej polegasz.
Czego nie naprawi szkolenie
- Autorytet. Ostra rubryka nie może stworzyć prawa do odstąpienia od umowy, którego polityka ta odmawia.
- Ukryte założenia. Jeśli narzędzie nie pokazuje danych wejściowych, żaden przypadek nie spowoduje ich wyświetlenia.
- Czas i zachęty. Jeśli nagradzana będzie wyłącznie szybkość, planiści będą nadal akceptować.
- Ograniczenia dowodowe. Jeden z przeglądów badań opisuje, jak ludzie korzystają z automatyzacji. Nie wykazuje on jednak, że jakakolwiek metoda szkolenia sprawdza się w przypadku planowania tras. Zmierz swoją własną populację.
PYTANIA I ODPOWIEDZI
Na czym polega szkolenie AI w zakresie rekomendacji tras?
Szkolenie uczące planistów, jak sprawdzać zalecenia dotyczące trasy w kontekście, którego model może nie uwzględniać, oraz jak je akceptować, dostosowywać lub zastępować, podając udokumentowany powód.
Kiedy planista powinien zmienić trasę?
Gdy dowody pokazują, że zalecenie narusza regułę lub fakt, którego model nie widzi, a który mieści się w ramach Twoich własnych reguł akceptacji.
Jak oceniasz umiejętność obejścia przepisów?
Użyj punktowanej rubryki w realistycznym przypadku, z błędami krytycznymi zdefiniowanymi osobno, a następnie nowego przypadku i nadzorowanego przeglądu planu na żywo. Przegląd narzędzia jedynie potwierdza wymagania wstępne.
Czego nie naprawi szkolenie?
Brak uprawnień do nadpisywania, narzędzia ukrywające dane wejściowe, brak czasu na sprawdzanie i zachęty nagradzające szybkość. Sprawdź je najpierw i nazwij właściciela dla każdego z nich.
Kto powinien dokonać przeglądu przypadku i rubryki oceny?
Specjalista ds. wysyłek i planowania, który zna Twoje narzędzia i procedury, zanim ktokolwiek zostanie za nie oceniony.
Gdzie zacząć
Wybierz jedną rekomendację, którą Twoi planiści powinni zakwestionować, stwórz jeden przypadek z zestawem dowodów, dwiema możliwymi do obrony odpowiedziami i wyraźnym błędem krytycznym, a następnie dostosuj trzy kryteria oceny ze specjalistą ds. planowania. Przeprowadź analizę w małej grupie, a następnie oceń nowy przypadek i przeprowadź nadzorowaną analizę na żywo, zanim zaczniesz go skalować.
Aby zobaczyć, jak taka sprawa mogłaby przebiegać na żywo lub w tempie indywidualnym, zapoznaj się z AhaSlides.
