Human-Agent-Systeme

Kurzfassung

Meine These: Wer KI-Agenten einführt, gestaltet heute vor allem die Maschine, also Prompts, Kontext und das Gerüst um das Modell. Der Mensch, der am Ende freigibt, wird als verlässliche Kontrolle vorausgesetzt. Nach allem, was die Human-Factors-Forschung weiß, ist er das nicht: Er nickt ab, und zwar umso eher, je öfter der Agent richtig liegt.

Ich schlage deshalb vor, die Rolle des Menschen für jeden Arbeitsschritt nach zwei Fragen festzulegen: Wie schnell zeigt sich ein Fehler, und lässt er sich zurücknehmen? Wo beides zutrifft, kann ein Agent allein arbeiten. Wo ein Fehler spät auffällt und endgültig ist, sollte der Mensch den Ablauf führen und die KI ihm zuarbeiten. Für die beiden Felder dazwischen gibt es eigene Mittel.

Gegen die These spricht vor allem, dass Mensch und KI gemeinsam im Mittel oft schlechter abschneiden als die bessere Seite allein. Widerlegt wäre sie, wenn Menschen bei gewöhnlichen Freigaben auch nach Monaten die meisten falschen Vorschläge eines Agenten erkennen.

Worauf die KI-Einführung achtet

Die Debatte über KI-Agenten hat in kurzer Zeit drei Begriffe hervorgebracht. Zuerst ging es um den Prompt, die Anweisung an das Modell. Dann um den Kontext, also alles, was ein Modell bei der Arbeit zu sehen bekommt; das KI-Unternehmen Anthropic beschrieb Context Engineering 2025 als eigene Aufgabe. Inzwischen geht es auch um den Harness, das Gerüst aus Werkzeugen, Berechtigungen und Abläufen, in dem ein Modell als Agent arbeitet.

Ich halte alle drei für nötig. Mein Eindruck ist aber, dass der Mensch in diesem Vokabular vor allem als Freigabe vorkommt: als Knopf, an dem jemand zustimmt oder ablehnt. Ob diese Prüfung etwas taugt, wird selten gefragt. Ich arbeite selbst in Sessions mit Coding-Agents und lege dafür fest, was sie selbstständig erledigen und was ich freigebe. Als Wirtschaftspsychologe interessiert mich dabei weniger, was das Modell kann, als wie Menschen mit seinen Vorschlägen umgehen.

Warum der Mensch abnickt

Abnicken ist kein Charakterfehler, sondern die erwartbare Folge der Aufgabe. Die Grundlage Mensch und Automation fasst die Befunde zusammen. Für Agenten halte ich drei für entscheidend.

Je zuverlässiger der Agent, desto seltener wird hingesehen. Eine gleichbleibend zuverlässige Automatik wird schlechter überwacht als eine schwankende (Complacency), und je mehr sie übernimmt, desto tiefer fällt der Mensch, wenn sie doch versagt. Bessere Modelle lösen das Problem deshalb nicht von selbst. Sie machen die verbleibenden Fehler seltener und damit schwerer zu finden.

Die Fehler sehen richtig aus und liegen, wo man sie nicht erwartet. Ein Agent liefert flüssigen, begründeten Text, und was sich leicht liest, halten Menschen eher für wahr (Verarbeitungsflüssigkeit). In einem Feldexperiment mit Beraterinnen und Beratern der Boston Consulting Group lagen Teilnehmende mit GPT-4 bei einer Aufgabe jenseits der Fähigkeiten des Modells seltener richtig als ohne (Dell’Acqua et al. 2023). Radiologinnen und Radiologen beurteilten Mammografien schlechter, wenn ihnen eine vermeintliche KI falsche Einschätzungen zeigte (Dratsch et al. 2023). Und Menschen wissen schlecht, wann sie einer KI eine Aufgabe überlassen sollten: In Experimenten von Andreas Fügener und Kollegen (2022) gaben Menschen Aufgaben ungünstig an die KI ab, weil sie ihr eigenes Können falsch einschätzten. Besser lief es, wenn die KI die Fälle an Menschen abgab, bei denen sie selbst unsicher war.

Gründlich zu prüfen, lohnt sich für den Einzelnen selten. Wer viele Vorschläge am Tag freigibt und fast nie einen Fehler findet, handelt aus seiner Sicht vernünftig, wenn er nur überfliegt (Rationale Unaufmerksamkeit). Jede zusätzliche Bestätigungsanfrage verstärkt die Abstumpfung (Alert Fatigue).

Daraus folgt für mich: Eine Freigabe ist nicht schon deshalb eine Kontrolle, weil ein Mensch sie erteilt. Der Informationswissenschaftler Ben Green von der University of Michigan hat dasselbe 2022 für gesetzliche Vorgaben zur menschlichen Aufsicht über Algorithmen eingewandt.

Zwei Fragen an jeden Arbeitsschritt

Statt pauschal zu entscheiden, ob ein Mensch im Ablauf sein soll (Human in the Loop), stelle ich für jeden Schritt zwei Fragen.

Rückmeldung: Wie schnell und wie eindeutig zeigt sich ein Fehler? Code, der gegen gute Tests geschrieben wird, meldet viele Fehler sofort. Eine falsche Annahme in einer Marktanalyse zeigt sich vielleicht nach Monaten, vielleicht nie. Der Entscheidungsforscher Robin Hogarth nennt Umgebungen mit schneller, zutreffender Rückmeldung kind, solche mit später oder irreführender wicked (Kind und wicked).

Umkehrbarkeit: Lässt sich der Schritt zurücknehmen, und zu welchen Kosten? Eine Änderung in einem eigenen Entwicklungszweig lässt sich verwerfen, eine Nachricht an alle Kunden, eine Zahlung oder gelöschte Daten nicht. Jeff Bezos, Gründer von Amazon, unterschied in seinem Aktionärsbrief für 2015 ähnlich zwischen Entscheidungen, die wie eine Tür in beide Richtungen offen sind, und solchen ohne Rückweg.

Jedes Feld verlangt andere Mittel.

• Agent arbeitet allein. Eine Freigabe kostet hier Aufmerksamkeit, ohne viel zu schützen, weil die Sache selbst den Fehler meldet. Der Mensch schaut auf Ergebnisse, nicht auf jeden Schritt, und spart seine Aufmerksamkeit für die anderen Felder.
• Prüfen vor dem Ausführen. Die Rückmeldung muss vor die Handlung rücken: Vorschau, Probelauf, verzögertes Absenden. Wo es geht, setzen technische Grenzen den Rahmen (Forcing Function). Wo eine Freigabe bleibt, sollte sie sich spürbar von Routineklicks unterscheiden (gezielte Reibung).
• Stichproben und Prüffälle. Hier sammeln sich kleine Fehler unbemerkt an, bis sie normal wirken (Normalisierung von Abweichungen). Helfen können Stichproben, eingestreute Fälle mit bekannter Lösung wie in der Gepäckkontrolle (Vigilanzabfall) und Rückmeldung an die Prüfenden, was sie durchgelassen haben. Eine grüne Kennzahl ist dabei noch keine Bestätigung (Stellvertretergrößen).
• Mensch führt, KI arbeitet zu. Der Ablauf gehört dem Menschen, die KI recherchiert, entwirft und widerspricht. Wer zuerst selbst urteilt und dann den Vorschlag sieht, übernimmt ihn seltener blind (Cognitive Forcing Functions). Wer festhalten muss, was er geprüft hat, prüft sorgfältiger (Verantwortlichkeit). Vor dem Start hilft ein Pre-Mortem.

Die Achsen sind keine Naturkonstanten. Oft ist es klüger, einen Schritt in ein anderes Feld zu verschieben, als eine weitere Freigabe einzubauen: Versionierung und Testumgebungen machen Schritte umkehrbar, Tests und Vorschauen machen die Rückmeldung schneller. Welcher Automatisierungsgrad passt, lässt sich so für jeden Schritt einzeln begründen.

Was gegen die These spricht

Ich sehe fünf ernsthafte Einwände. Zwei davon halte ich für berechtigt.

Der Mensch ist längst Thema. Die KI-Verordnung der EU verlangt in Artikel 14 für Hochrisiko-Systeme wirksame menschliche Aufsicht und nennt den Automation Bias ausdrücklich. Mein Gegenargument: Die Verordnung verlangt, dass Aufsicht möglich ist und die Beteiligten um die Verzerrung wissen. Ob Menschen sie im Alltag leisten, regelt sie nicht, und genau das bezweifelt Green.

Oft vertrauen Menschen der KI zu wenig, nicht zu viel. Berkeley Dietvorst und Kollegen zeigten 2015, dass Menschen einen Algorithmus meiden, nachdem sie ihn einmal irren gesehen haben, selbst wenn er besser urteilt als sie. Das stimmt, widerspricht aber nicht der Matrix. Sie fragt nicht, ob vertraut wird, sondern wo eine Prüfung etwas bringt.

Weniger Mensch wäre oft besser. Michelle Vaccaro, Abdullah Almaatouq und Thomas Malone vom MIT werteten 2024 Experimente zu Mensch-KI-Kombinationen aus. Im Mittel schnitten die Kombinationen schlechter ab als die bessere Seite allein, besonders bei Entscheidungsaufgaben, während sie beim Erstellen von Inhalten eher gewannen. Diesen Einwand teile ich teilweise: Im Feld „Agent arbeitet allein“ sagt die Matrix ohnehin, den Menschen herauszunehmen. Wo Rückmeldung spät kommt, weiß aber niemand rechtzeitig, welche Seite die bessere ist.

Die Matrix ist nicht neu. Der Soziologe Charles Perrow ordnete 1984 technische Systeme nach Kopplung und Komplexität, Bezos unterschied Türen mit und ohne Rückweg, und Risikoabstufungen sind in der Regulierung üblich. Auch das teile ich. Neu ist allenfalls die Anwendung auf die Frage, wo der Mensch in einem Ablauf mit Agenten steht.

Die Einordnung ist selbst ein Urteil. Wer einen Schritt für schnell rückgemeldet hält, kann sich täuschen, etwa wenn Tests nur prüfen, was jemand vorhergesehen hat. Die Matrix verschiebt das Problem dann auf eine frühere Entscheidung. Ich halte diese Entscheidung trotzdem für leichter zu treffen und zu überprüfen als hundert einzelne Freigaben.

Woran die These scheitern würde

Die These hat zwei Teile, und beide lassen sich prüfen.

Falsch ist die Diagnose, wenn Feldstudien zeigen, dass Menschen bei gewöhnlichen Freigaben von Agenten-Vorschlägen, ohne besondere Gestaltung, auch nach Monaten im Betrieb und bei seltenen Fehlern die Mehrheit der falschen Vorschläge erkennen und zurückweisen. Dann wäre der Mensch im Ablauf eine verlässliche Kontrolle, und die Sorgfalt für Prompts, Kontext und Harness wäre richtig verteilt.

Falsch ist der Vorschlag, wenn Abläufe, die nach Rückmeldung und Umkehrbarkeit gestaltet sind, im Vergleich mit Abläufen, die jeden Schritt gleich freigeben lassen, weder weniger unentdeckte Fehler noch weniger Prüfaufwand haben. Oder wenn Agenten im Feld „schnell und umkehrbar“ regelmäßig Schäden anrichten, die die schnelle Rückmeldung nicht auffängt.

Quellen

• Mensch und Automation, Grundlage in diesem Wissensbereich, mit den dort genannten Studien, u. a. Parasuraman, Molloy & Singh (1993) und Onnasch et al. (2014).
• Anthropic (2025): Effective Context Engineering for AI Agents.
• Dell’Acqua, F. et al. (2023): Navigating the Jagged Technological Frontier: Field Experimental Evidence of the Effects of AI on Knowledge Worker Productivity and Quality. Harvard Business School Working Paper 24-013.
• Dratsch, T. et al. (2023): Automation Bias in Mammography: The Impact of Artificial Intelligence BI-RADS Suggestions on Reader Performance. Radiology. Zusammenfassung: RSNA.
• Fügener, A., Grahl, J., Gupta, A. & Ketter, W. (2022): Cognitive Challenges in Human–Artificial Intelligence Collaboration: Investigating the Path Toward Productive Delegation. Information Systems Research 33(2).
• Vaccaro, M., Almaatouq, A. & Malone, T. (2024): When Combinations of Humans and AI Are Useful: A Systematic Review and Meta-Analysis. Nature Human Behaviour.
• Green, B. (2022): The Flaws of Policies Requiring Human Oversight of Government Algorithms. Computer Law & Security Review 45.
• Verordnung (EU) 2024/1689 (KI-Verordnung): Artikel 14, Menschliche Aufsicht.
• Dietvorst, B. J., Simmons, J. P. & Massey, C. (2015): Algorithm Aversion: People Erroneously Avoid Algorithms after Seeing Them Err. Journal of Experimental Psychology: General 144(1), 114–126.
• Hogarth, R. M. (2001): Educating Intuition. University of Chicago Press.
• Bezos, J. (2016): 2015 Letter to Shareholders. Amazon.com.
• Perrow, C. (1984): Normal Accidents: Living with High-Risk Technologies. Basic Books.
• Buçinca, Z., Malaya, M. B. & Gajos, K. Z. (2021): To Trust or to Think: Cognitive Forcing Functions Can Reduce Overreliance on AI in AI-Assisted Decision-Making. Proceedings of the ACM on Human-Computer Interaction 5 (CSCW1).
• Skitka, L. J., Mosier, K. L. & Burdick, M. (2000): Accountability and Automation Bias. International Journal of Human-Computer Studies 52(4), 701–717.