Ein Analyst öffnet einen Entwurf einer Lieferantenvertragszusammenfassung, die ein KI-Assistent in Sekundenschnelle erstellt hat. Sie liest sich gut. Sie enthält eine Kündigungsklausel und eine Zahlungsbedingung und wirkt durchweg überzeugend. Früher verbrachte der Analyst einen ganzen Vormittag damit, den Vertrag zu lesen, um diese Punkte zu finden. Jetzt stellt sich die Frage anders: Stimmt diese Zusammenfassung, und was sollte er überprüfen, bevor er sie unterzeichnet?
Dies ist ein beispielhaftes Szenario, kein dokumentierter Kundenfall. Es verdeutlicht die Veränderungen in vielen Berufen. Antworten werden schneller gefunden. Die Entscheidung, ob man der Antwort vertrauen kann und wer im Falle einer Unzuverlässigkeit die Verantwortung trägt, liegt jedoch weiterhin beim Einzelnen.
Dieser Leitfaden richtet sich an Personalentwicklungsleiter und Instructional Designer, die KI-Schulungen für Arbeitskräfte planen. Er zeigt, wie man Aufgaben identifiziert, bei denen KI die menschliche Arbeit verändert, wie man Übungen entwickelt, die mitunter fehlerhafte Ergebnisse berücksichtigen, und wie man den verantwortungsvollen Einsatz von KI misst, ohne Produktivitätssteigerungen zu versprechen.
Schnelle Fakten
| Frage | Kurze Antwort |
|---|---|
| Was ändert sich, wenn Menschen KI am Arbeitsplatz einsetzen? | Das Verfassen eines ersten Entwurfs oder einer Antwort wird einfacher. Die Überprüfung, die Beurteilung und die Verantwortung für das Ergebnis bleiben jedoch bestehen. |
| Was sollte ein KI-Training lehren? | Die Überprüfung und Beurteilung, die eine Aufgabe heutzutage erfordert, sowie das dafür notwendige Fachwissen. |
| Können Anweisungen allein übermäßiges Vertrauen beheben? | Nein. Untersuchungen zur Automatisierungsverzerrung ergaben, dass diese sowohl bei Anfängern als auch bei Experten auftritt und sich nicht allein durch Schulungen oder Anweisungen verhindern lässt. |
| Was soll gemessen werden? | Beobachtete Verifizierung anhand realer Aufgaben, mit genehmigten Grenzen für den KI-Einsatz. |
1. Erfassen Sie, wie KI die Arbeitsaufgaben verändert
Beginnen Sie mit einer konkreten Aufgabe, nicht mit einem Werkzeug. Beschreiben Sie, wie sie vor der KI-gestützten Automatisierung erledigt wurde und wie sie heute erledigt wird, und vergleichen Sie die beiden Versionen spaltenweise.
Zum Vertragsbeispiel:
- Vorher: Lesen Sie den vollständigen Vertrag, extrahieren Sie die wichtigsten Bedingungen, kennzeichnen Sie alles Ungewöhnliche und schreiben Sie die Zusammenfassung.
- Jetzt: Eine KI-generierte Zusammenfassung prüfen, mit der Quelle abgleichen, entscheiden, ob man sich darauf verlassen kann, Ungewöhnliches kennzeichnen und die Verantwortung für das Ergebnis übernehmen.
Manche Schritte werden kürzer. Das Extrahieren von Begriffen kann Sekunden dauern. Andere kommen hinzu oder werden umfangreicher: der Abgleich der Ausgabe mit der Quelle, das Erkennen fehlender Informationen in der Zusammenfassung und die Entscheidung, wann ein Spezialist hinzugezogen werden sollte. Die geforderte Kompetenz hat sich von der Produktion hin zur Bewertung verlagert. Gemäß Blooms Taxonomie, die das Denkvermögen beschreibt, das eine Aufgabe erfordert, und nicht deren Umsetzung, liegt der Schwerpunkt nun auf Analyse und Bewertung. Unser Leitfaden zu Zuordnung von Lernaktivitäten zu Blooms Taxonomie erklärt, wie man Zielsetzung, Aktivität und Bewertung aufeinander abstimmt, sobald man das Niveau kennt.
Dieser Vergleich ist der Kern einer ehrlichen Bedarfsanalyse für KI-Schulungen. Er verhindert außerdem einen häufigen Fehler: alle in der Bedienung eines Tools zu schulen, wenn die eigentliche Veränderung in einer neuen Kontrollaufgabe besteht.
2. Überprüfungs- und Beurteilungsanforderungen identifizieren.
Stellen Sie zu jedem Schritt in der Spalte „Jetzt“ drei Fragen.
- Wie sähe eine fehlerhafte Ausgabe hier aus? Eine erfundene Klausel, eine übersehene Ausnahme, eine plausible, aber überholte Zahl.
- Welche Beweise würden mir erlauben, das zu überprüfen? Das Quelldokument, ein zweites System, ein Kollege, eine Richtlinie.
- Wann muss ich innehalten und jemand anderen fragen? Die Grenze zwischen „Ich kann das bestätigen“ und „Hierfür braucht man einen Experten“.
Forscher untersuchen seit Jahrzehnten, was passiert, wenn Menschen mit unvollkommenen automatisierten Hilfsmitteln arbeiten. Parasuraman und Manzey beschreiben in ihrer Übersichtsarbeit zu dieser Forschung den Automatisierungsbias, bei dem Menschen Auslassungs- und Übertragungsfehler begehen, weil sie sich auf ein Entscheidungshilfsmittel verlassen, das nicht immer korrekt ist. Sie stellten diesen Effekt sowohl bei Anfängern als auch bei Experten fest und kamen zu dem Schluss, dass er sich nicht allein durch Schulungen oder Anweisungen verhindern lässt.Parasuraman und Manzey, 2010, Human FactorsDiese Forschung stammt aus der Zeit vor den heutigen KI-Assistenten; daher sollte man sie als Warnung vor menschlichem Verhalten verstehen und nicht als Bewertungskriterium für aktuelle Tools.
Die praktische Lehre für KI-Schulungen von Mitarbeitern ist, dass die Aufforderung, „die Ausgabe zu überprüfen“, nicht dem Design entspricht. Die Rahmenbedingungen spielen ebenfalls eine Rolle: Zeit für die Überprüfung, Zugriff auf den Quellcode und ein Arbeitsumfeld, das langsameres Arbeiten nicht bestraft.
3. Üben Sie den Umgang mit unzuverlässigen Ergebnissen.
Wenn die Aufgabe nun darin besteht, ein Ergebnis zu beurteilen, üben Sie das Beurteilen von Ergebnissen. Erstellen Sie eine kleine Anzahl von Fällen, in denen die KI-Antwort lautet:
- Korrekt und vollständig. Die richtige Vorgehensweise ist, es zu akzeptieren und zu erklären, warum.
- Unvollständig. Das stimmt zwar, aber es lässt etwas Wichtiges aus.
- Irreführend. Selbstbewusst, gut geschrieben und auf eine Weise falsch, die man leicht übersehen kann.
Die Lernenden erhalten jeden Fall, eine Quelle zum Vergleich und die Wahl: akzeptieren, korrigieren oder eskalieren. Sie müssen außerdem ihre Gründe angeben. Bewerten Sie die Gründe für Zustimmung oder Widerspruch, nicht nur das Selbstvertrauen. Ein Lernender, der die richtige Antwort ungeprüft akzeptiert, hat die erforderliche Kompetenz nicht bewiesen, und ein Lernender, der alles in Frage stellt, auch nicht.
Interaktive Formate eignen sich hierfür hervorragend. Jede Person legt sich vor der Gruppendiskussion auf eine Entscheidung und deren Begründung fest, sodass sowohl übermäßiges Vertrauen als auch übertriebene Vorsicht sichtbar werden. Die Bearbeitung erfolgt im Selbststudium, während eine Live-Nachbesprechung die unklaren Fälle klärt, in denen zwei Interpretationen plausibel sind. AhaSlides unterstützt interaktives Lernen und den Wechsel zwischen Live- und Selbststudium, sodass ein Fallstudiensatz auf beide Arten bearbeitet werden kann. Prüfen Sie vor der Planung, ob die Funktionen zum Erstellen, Feedbackgeben oder Berichten mit Ihrem eigenen Arbeitsablauf übereinstimmen.
4. Vorwissen bewahren
Man kann ein Ergebnis nicht bewerten, das man nicht versteht. Jemand, der nie gelernt hat, wie Zahlungsbedingungen und Kündigungsrechte zusammenhängen, wird nicht bemerken, wenn eine Zusammenfassung Fehler enthält. Der Zugang zu KI macht dieses Verständnis nicht überflüssig. Er verändert lediglich den Anwendungsbereich.
Entscheiden Sie, auf welchem Domänenwissen jede Verifizierungsaufgabe basiert, und überprüfen Sie dies vor dem Üben mit einem kurzen, selbstgesteuerten Diagnosetest. Eine solche Überprüfung des Abrufs bestätigt lediglich die Voraussetzungen. Sie zeigt nicht, dass jeder ein Ergebnis verifizieren kann. Das Eberly Center der Carnegie Mellon University vertritt denselben Designaspekt allgemeiner: Bewertungen, Ziele und Lernaktivitäten sollten aufeinander abgestimmt sein, und wenn eine Bewertung den Abruf misst, die Ziele aber Analyse erfordern, misst sie nicht, was die Lernenden lernen sollen, und diese Diskrepanz kann sowohl die Motivation als auch den Lernerfolg beeinträchtigen.Eberly Center, Abstimmung von Zielen, Beurteilungen und Unterricht).
5. Verantwortungsbewusste Nutzung anhand realer Aufgaben messen
Wählen Sie eine Verifizierungsaufgabe, die Menschen tatsächlich erledigen, und legen Sie die zulässigen Grenzen für den KI-Einsatz fest, bevor Sie mit der Messung beginnen: Was kann an das Tool delegiert werden, was muss überprüft werden und was muss eskaliert werden?
Die US-amerikanischen Zentren für Krankheitskontrolle und -prävention (CDC) trennen die Bewertung des Lernprozesses von der Bewertung, wie gut die Menschen das Gelernte im Arbeitsalltag anwenden, und empfehlen, beides einzuplanen (CDC, Schulungen evaluieren: Effektivität messenEs handelt sich um eine Bewertungsrichtlinie, nicht um eine Ergebnisprognose. Für KI-Aufgaben bedeutet dies zwei Maßnahmen:
- Lernen: Leistung bei einer neuen, unbekannten Fallgruppe im Vergleich zu einer Basislinie.
- Übertragung: eine überwachte Arbeitsaufgabe oder eine Probe realer Arbeit, die anhand derselben Kriterien bewertet wird, nachdem die Teilnehmer Zeit hatten, das Gelernte anzuwenden.
Definieren Sie, wer einbezogen wird, den Nenner und den Zeitraum. Berichten Sie über die Effizienz nur auf Basis messbarer Daten. Wenn ein Team nach einem KI-Training schneller wird, prüfen Sie, welche anderen Veränderungen sich im selben Zeitraum ergeben haben, z. B. eine neue Vorlage, eine Personalveränderung oder eine andere Arbeitsstruktur, bevor Sie das Training als Erfolg anrechnen.
Für einen umfassenderen Blick auf das Risiko veröffentlicht das Nationale Institut für Standards und Technologie (NIST) die KI-Risikomanagement-FrameworkDas im Januar 2023 veröffentlichte Dokument dient Organisationen als Grundlage für die Auseinandersetzung mit KI-Risiken. Es stellt einen Ausgangspunkt für die Risikodiskussion dar und ist weder ein Schulungsstandard noch eine Zertifizierung.
Ein ausgearbeitetes Beispiel: die Vertragszusammenfassung
Zur Veranschaulichung. Ein Anwender dieser Tätigkeit sollte den Fall und die Antwortkriterien vor der Anwendung überprüfen.
Der Fall. Der Lernende erhält einen fiktiven Lieferantenvertrag und eine KI-generierte Zusammenfassung. In der Zusammenfassung ist eine Kündigungsfrist von 60 Tagen angegeben. Der Vertrag selbst sieht eine Kündigungsfrist von 60 Tagen ohne Angabe von Gründen und 30 Tagen bei Vertragsbruch vor. Die Zusammenfassung enthält zudem keine Ausnahmeregelung bezüglich der Zahlungsbedingungen in einem Anhang.
Was der Lernende tun soll. Begründen Sie die Entscheidung (akzeptieren, korrigieren oder eskalieren), nennen Sie die entsprechenden Belege aus dem Vertrag und geben Sie an, welche weiteren Informationen oder Unterstützung benötigt werden.
Eine schwache Reaktion. „Die Zusammenfassung wirkt korrekt und enthält die wichtigsten Punkte. Akzeptieren.“ Es werden keine Quellenangaben gemacht und es ist keine Überprüfung ersichtlich.
Eine stärkere Reaktion. „Ich würde das in der vorliegenden Form nicht akzeptieren. Klausel 14 sieht eine Kündigungsfrist von 60 Tagen ohne Angabe von Gründen, aber nur 30 Tagen bei Vertragsbruch vor, während in der Zusammenfassung lediglich 60 Tage erwähnt werden. Anhang B enthält eine Zahlungsausnahme, die in der Zusammenfassung nicht aufgeführt ist. Ich würde die Kündigungsposition korrigieren und die Ausnahme hinzufügen. Da ich mir nicht sicher bin, ob der Anhang für diesen Lieferanten gilt, würde ich den zuständigen Vertragsverantwortlichen um Rat fragen.“
Der Wiederholungsversuch. Der Lernende erhält einen zweiten Vertrag, in dem die KI-Zusammenfassung korrekt ist. Nun ist es ratsam, diesen zu akzeptieren und die überprüften Punkte zu nennen. Dies beugt vor, dass Menschen ein reflexartiges Misstrauen entwickeln.
Arbeitsblatt zur KI-Aufgabenanalyse
Verwenden Sie für jeden Schritt eine Zeile in der Spalte „Jetzt“ für eine konkrete Aufgabe.
| Aufgabenschritt | Was KI jetzt tut | Was die Person noch tun muss | Es werden Beweise benötigt, um dies zu überprüfen. | Eskalieren zu | Vorkenntnisse |
|---|---|---|---|---|---|
| Schlüsselbegriffe extrahieren | Entwirft die Liste | Vergleiche mit der Quelle | Der Vertrag selbst | Vertragsführung | Vertragsstruktur und Klauseltypen |
| Flagge ungewöhnliche Begriffe | Schlägt Kandidaten vor | Entscheiden Sie, was in diesem Kontext ungewöhnlich ist. | Frühere Verträge, Richtlinien | Rechtliches | Standardbedingungen für diesen Lieferantentyp |
| Zusammenfassung freigeben | Nichts | Das Ergebnis verantworten | Die geprüfte Zusammenfassung | Vorgesetzter | Genehmigungsgrenzen |
Eine anpassbare Rubrik
Bewerten Sie jedes Kriterium mit 0 bis 2 Punkten. Dies ist ein Vorschlag zur Anpassung mit einem Spezialisten für diese Rolle, kein validierter Bereitschaftsstandard.
| Kriterium | Sichtbare Beweise |
|---|---|
| Aufgabenausführung | Identifiziert, wo KI die Verifizierungs- und Beurteilungsaufgabe verändert. Protokolliert die Aktion und die zugrunde liegenden Beweise. |
| Argumentation | Erläutert die Einschränkungen, Alternativen und Unsicherheiten. Gründe für die Annahme oder Ablehnung eines Ergebnisses hängen von der Quelle ab. |
| Boundaries | Wendet genehmigte Verfahren für den Einsatz von KI an und bittet um Hilfe, wenn Informationen oder Befugnisse nicht ausreichen. |
Anker: 0 = nicht vorhanden oder nicht belegt. 1 = teilweise, mit relevanten Auslassungen. 2 = vollständig und anhand vereinbarter Kriterien begründet. Kritische Fehler sind gesondert zu definieren, z. B. die Freigabe einer Ausgabe, die der Quelle widerspricht, oder die Weitergabe vertraulicher Daten an ein nicht genehmigtes Tool. Eine Gesamtpunktzahl darf einen kritischen Fehler nicht verschleiern.
Einschränkungen, die möglicherweise bestehen bleiben
Eine bessere Beurteilung in einem Ausbildungsfall beseitigt nicht alle Einschränkungen:
- Zeitdruck. Wenn die vorgegebenen Arbeitsmengen keinen Raum für Kontrollen lassen, werden die Menschen die Überprüfung dessen, was ihnen beigebracht wurde, überspringen.
- Unklare Verantwortlichkeiten. Wenn niemand als Eigentümer einer geprüften Ausgabe benannt ist, ist die Prüfung niemandes Aufgabe.
- Werkzeuggrenzen. Bei manchen Tools ist es nicht möglich, die Quelle einer Antwort einzusehen, was die Überprüfung verlangsamt.
- Werkzeugwechsel. Ein KI-System, das sein Verhalten nach einem Update ändert, kann eine im letzten Quartal etablierte Verifizierungsgewohnheit zunichtemachen.
Planen Sie separate Lösungen für diese Probleme und teilen Sie dies den Sponsoren mit. Schulungen können die notwendigen Fähigkeiten vermitteln. Sie können jedoch weder die Zeit noch die Befugnisse schaffen.
Häufig gestellte Fragen
Was sollte eine KI-Schulung für Mitarbeiter umfassen?
Beginnen Sie mit den Aufgaben, die sich durch die veränderte Rolle der KI ergeben. Erläutern Sie, wie Ergebnisse anhand von Belegen überprüft werden, wann eine Eskalation erforderlich ist, welche Grenzen für den KI-Einsatz gelten und welches Fachwissen zur Beurteilung einer Antwort notwendig ist. Tooltips folgen im Anschluss.
Macht KI Fachwissen überflüssig?
Nein. Menschen benötigen ausreichend Verständnis, um zu erkennen, wenn ein Ergebnis fehlerhaft oder unvollständig ist. Was sich ändert, ist die Art und Weise, wie dieses Wissen genutzt wird: weniger Produktion, mehr Bewertung.
Wie beurteilt man menschliches Urteilsvermögen bei KI-gestützter Arbeit?
Geben Sie den Lernenden realistische Fallbeispiele mit korrekten, unvollständigen und irreführenden Ergebnissen und bewerten Sie deren Gründe für Akzeptanz, Korrektur oder Eskalation. Beobachten Sie anschließend nach einer angemessenen Wartezeit eine betreute reale Aufgabe.
Wo soll ich anfangen
Wählen Sie eine Aufgabe aus, die Ihre Mitarbeiter in Ihrem Unternehmen derzeit mithilfe von KI erledigen. Tragen Sie die Daten einer Person, die diese Aufgabe ausführt, in das obige Arbeitsblatt ein und notieren Sie die drei Stellen, an denen ein falsches Ergebnis den größten Schaden anrichten würde. Erstellen Sie Ihren ersten Übungsfall basierend auf einer dieser Stellen.
Um zu sehen, wie eine selbstgesteuerte Überprüfung, eine interaktive Fallübung und eine Live-Nachbesprechung für diese Aufgabe zusammenpassen könnten, erkunden Sie AhaSlides.
