Mensch und Automation

Kurzfassung

Mensch und Automation ist ein Forschungsgebiet der Human Factors, der Wissenschaft von der Arbeit mit Technik zwischen Psychologie und Ingenieurwesen. Es untersucht, was mit Menschen geschieht, wenn Maschinen einen Teil ihrer Arbeit übernehmen und ihnen vor allem das Überwachen und das Eingreifen im Ausnahmefall bleibt. Der zentrale Befund ist unbequem: Automatisierung nimmt Arbeit nicht einfach ab, sie verändert sie. Übrig bleiben das Überwachen, das Menschen schlecht können, und die seltenen schwierigen Fälle, für die ihnen dann Übung und Überblick fehlen.

Gut belegt ist das für Cockpit, Leitstand und Medizin. Menschen folgen falschen Empfehlungen, übersehen Ausfälle eines meist zuverlässigen Systems und schneiden bei einem Ausfall umso schlechter ab, je mehr die Automatik vorher übernommen hatte. Erste Studien finden dieselben Muster bei KI-Assistenz; wie stark sie dort sind, ist offen.

Gestritten wird darüber, ob sich die Arbeitsteilung als Skala von Automatisierungsgraden beschreiben lässt, ob Begriffe wie Complacency ein Versagen des Menschen oder eine schlechte Gestaltung benennen und ob ein Mensch im Ablauf Sicherheit schafft oder dem System vor allem Legitimität verleiht.

Was das Feld untersucht und welche Formen der Arbeitsteilung es unterscheidet

Unter Automation verstehen Raja Parasuraman und Victor Riley (1997) die Ausführung einer Funktion durch eine Maschine, meist einen Computer, die vorher ein Mensch erledigt hat. Das reicht vom Autopiloten über Warnsoftware bei der Verordnung von Medikamenten bis zum KI-Assistenten, der Texte entwirft. Die Forschung fragt nicht, ob automatisiert werden soll, sondern wie die Arbeit zwischen Mensch und Maschine aufgeteilt ist und was diese Aufteilung mit Aufmerksamkeit, Urteil und Können der Menschen macht.

Für die Aufteilung gibt es zwei Beschreibungen, die einander ergänzen. Die ältere ordnet nach Graden: Thomas Sheridan und William Verplank beschrieben 1978 am Massachusetts Institute of Technology zehn Stufen, vom Menschen, der alles selbst entscheidet, bis zum Computer, der handelt, ohne jemanden zu informieren (Automatisierungsgrade). Die jüngere fragt zusätzlich nach der Funktion: Parasuraman, Sheridan und der Ingenieurpsychologe Christopher Wickens unterschieden im Jahr 2000 vier Funktionen, die jeweils unterschiedlich stark automatisiert sein können: Informationen aufnehmen, sie auswerten, eine Entscheidung wählen und sie ausführen.

Aus solchen Aufteilungen entstehen wiederkehrende Probleme, für die das Feld eigene Begriffe geprägt hat. Den Rahmen setzte Lisanne Bainbridge, Psychologin am University College London, 1983 mit ihrem Aufsatz über die Ironien der Automatisierung. Je weiter ein System entwickelt ist, schrieb sie, desto entscheidender kann der Beitrag des Menschen werden. Zugleich ist er schlechter darauf vorbereitet, weil er kaum noch selbst steuert und vor allem überwacht. Die übrigen Begriffe beschreiben, woran das im Einzelnen liegt.

Die Probleme verstärken sich gegenseitig. Wer selten hinschaut, verliert das Bild der Lage, und wer die Lage nicht versteht, kann einer Empfehlung wenig entgegensetzen.

Was die Forschung belegt

Die Belege sind für ein psychologisches Feld dicht, stammen aber überwiegend aus Laboren und Simulatoren. Nach Stärke geordnet:

Meta-Analysen und systematische Übersichten. Die Ingenieurpsychologin Linda Onnasch, Wickens und Kollegen werteten 2014 Experimente aus, in denen der Automatisierungsgrad gezielt verändert wurde. Je mehr die Automatik übernahm, desto besser lief der Routinebetrieb und desto geringer war die Belastung. Fiel sie aus, brach die Leistung umso stärker ein, und das Bild der Lage war schlechter. Die Autoren nannten das den Holzfäller-Effekt (lumberjack effect): Je höher der Baum, desto tiefer der Fall. Eine systematische Übersicht von Goddard, Roudsari und Wyatt (2012) fand Automation Bias in zahlreichen Studien aus der Medizin und anderen Bereichen.

Experimente in Labor und Simulator. Die meisten Einzelbefunde stammen von hier. Parasuraman und Kollegen zeigten 1993, dass Versuchspersonen Ausfälle einer gleichbleibend zuverlässigen Automatik seltener bemerkten als die einer schwankenden. In den Studien von Kathleen Mosier, Linda Skitka und Kollegen aus den späten 1990er-Jahren folgten Piloten und Studierende falschen Hinweisen eines Assistenzsystems; wer die Hilfe hatte, übersah Ereignisse, die sie nicht meldete, häufiger als wer ohne Hilfe arbeitete. Mica Endsley und Esin Kiris fanden 1995, dass Versuchspersonen nach dem Ausfall einer vollständigen Automatik langsamer entschieden als nach manueller Arbeit; mittlere Automatisierungsgrade milderten den Effekt. Stephen Casner und Kollegen ließen 2014 Linienpiloten im Simulator ohne Automatik fliegen: Die Handsteuerung war weitgehend erhalten, gedankliche Fertigkeiten wie das Navigieren ohne Automatik und das Erkennen ausgefallener Instrumente waren häufiger lückenhaft.

Unfallberichte. Untersuchungen von Unfällen nennen diese Muster immer wieder, bekannt ist der Absturz von Air-France-Flug 447 im Jahr 2009. Solche Berichte zeigen, dass die Muster im Ernstfall auftreten, aber nicht, wie häufig, und sie sind in Kenntnis des Ausgangs geschrieben.

Erste Studien zu KI-Assistenz. Thomas Dratsch und Kollegen ließen 2023 Radiologinnen und Radiologen Mammografien mit vermeintlichen KI-Einschätzungen beurteilen; falsche Einschätzungen verschlechterten die Urteile auf allen Erfahrungsstufen, am stärksten bei den wenig erfahrenen. In einer Beobachtungsstudie aus vier polnischen Endoskopie-Zentren entdeckten Ärztinnen und Ärzte bei Darmspiegelungen ohne KI weniger Adenome, also Vorstufen von Darmkrebs, als vor der Einführung der KI-Unterstützung (Budzyń et al. 2025); das passt zum Verlust von Fertigkeiten, lässt aber andere Erklärungen zu. In einem Feldexperiment mit Beraterinnen und Beratern der Boston Consulting Group arbeiteten Teilnehmende mit GPT-4 bei Aufgaben innerhalb der Fähigkeiten des Modells schneller und besser, bei einer Aufgabe jenseits davon lagen sie seltener richtig als ohne KI (Dell’Acqua et al. 2023). Die Autoren sprechen von einer zerklüfteten Grenze (jagged frontier): Von außen ist nicht zu sehen, welche Aufgaben das Modell beherrscht. Das sind Einzelstudien. Systematische Befunde zu KI-Agenten im Arbeitsalltag fehlen bisher.

Worauf die Befunde beruhen

Die klassischen Ergebnisse gelten unter vier Bedingungen. Wo sie nicht zutreffen, werden die Effekte schwächer oder ändern ihre Gestalt.

1. Der Mensch überwacht, statt mitzuarbeiten. Die Effekte sind am stärksten, wo ein Mensch nur noch zusieht. Wer Teile der Arbeit selbst erledigt oder regelmäßig übt, behält Lagebild und Können eher. Bainbridge schlug deshalb Übung am Simulator vor und Anzeigen, die verständlich machen, was das System tut.
2. Die Automatik ist zuverlässig, aber nicht fehlerfrei. Complacency entsteht gerade bei seltenen Fehlern. Ein System, das häufig irrt, wird eher umgangen oder abgeschaltet als blind befolgt, was Parasuraman und Riley als Nichtgebrauch (disuse) beschrieben.
3. Aufmerksamkeit ist knapp. Parasuraman und Manzey fassten 2010 die Forschung zusammen: Complacency zeigt sich vor allem, wenn Menschen mehrere Aufgaben zugleich erledigen, und Erfahrung allein beseitigt sie nicht. Beide Phänomene verstehen sie als Folge davon, wie Aufmerksamkeit verteilt wird.
4. Nachprüfen ist aufwendig. Je mehr Mühe es kostet, eine Empfehlung zu überprüfen, desto eher wird sie übernommen (Lyell & Coiera 2017).

Bei KI-Assistenz ändern sich zwei dieser Bedingungen. Klassische Automatik versagt selten und meist erkennbar, etwa durch einen ausgefallenen Sensor. Sprachmodelle irren dagegen in flüssigem, gut begründetem Text, der nach Richtigkeit klingt (Verarbeitungsflüssigkeit), und ihre Fehlerrate schwankt von Aufgabe zu Aufgabe. Das erschwert die Kalibrierung des Vertrauens. Umgekehrt ist Wissensarbeit selten zeitkritisch: Es gäbe Zeit zum Prüfen, wenn die Organisation sie vorsieht, statt nur Tempo zu belohnen (Rationale Unaufmerksamkeit). Ob sich die Befunde aus Cockpit und Leitstand eins zu eins auf ruhige Wissensarbeit übertragen lassen, ist nicht geprüft.

Wenig sagen die Befunde über Aufgaben, die ein System vollständig erledigt und deren Fehler sich sofort und billig zeigen. Dort wird kein menschlicher Überwacher gebraucht, weil die Rückmeldung aus der Sache selbst kommt (kind und wicked Lernumgebungen).

Herkunft, Schulen und Streitfragen

Das Feld begann mit der Aufmerksamkeit. Im Zweiten Weltkrieg fiel auf, dass Radarbeobachter gegen Ende ihrer Wache Ziele übersahen; Norman Mackworth wies den Effekt 1948 im Experiment nach. 1951 stellte eine Gruppe um den amerikanischen Psychologen Paul Fitts für die Flugsicherung eine Liste auf, welche Aufgaben Menschen und welche Maschinen besser erledigen. Solche Listen, später MABA-MABA genannt (men are better at, machines are better at), prägten die Frage lange als reine Aufgabenverteilung. Mit der Automatisierung von Cockpits und Leitständen seit den 1980er-Jahren rückten Überwachung, Vertrauen und Lagebild in den Vordergrund, mit generativer KI kehrte das Thema in die Büros zurück. Die KI-Verordnung der Europäischen Union von 2024 verlangt in Artikel 14 menschliche Aufsicht über Hochrisiko-Systeme und nennt den Automation Bias ausdrücklich beim Namen.

Vier Fragen sind bis heute offen.

Skala oder Zusammenspiel? Die Human-Factors-Forscher Sidney Dekker und David Woods kritisierten 2002 Aufgabenlisten und Gradskalen gleichermaßen. Automatik ersetze nicht einfach eine Teilaufgabe, während alles andere gleich bleibt, sie verändere die ganze Arbeit und schaffe neue Abstimmungsaufgaben. Gefragt sei Automatik, die sich wie ein Teammitglied verhält und erkennen lässt, was sie vorhat. Empirisch ist auch der Holzfäller-Effekt umstritten: Greg Jamieson und Gyrd Skraaning fanden 2020 in einer Studie mit Bedienpersonal im Simulator eines Kernkraftwerks keinen solchen Zielkonflikt, Wickens, Onnasch und Kollegen hielten dagegen, die Studie sei dafür kein geeigneter Test.

Versagen oder vernünftige Anpassung? Neville Moray und Toshiyuki Inagaki argumentierten 2000, von Complacency dürfe man erst sprechen, wenn jemand seltener hinschaut, als es die Zuverlässigkeit des Systems rechtfertigt. Selten zu kontrollieren, was selten versagt, ist zunächst vernünftig. Der Begriff legt dann eine Charakterschwäche nahe, wo die Aufgabe das Verhalten hervorbringt.

Zu viel oder zu wenig Vertrauen? Die Automationsforschung betont das Übervertrauen. Die Entscheidungsforschung fand auch das Gegenteil: Berkeley Dietvorst, Joseph Simmons und Cade Massey zeigten 2015, dass Menschen einen Algorithmus meiden, nachdem sie ihn irren gesehen haben, selbst wenn er besser urteilt als sie (algorithm aversion). Jennifer Logg, Julia Minson und Don Moore fanden 2019, dass Laien algorithmische Ratschläge stärker gewichten als menschliche. Der Gedanke der Kalibrierung von Lee und See umfasst beide Richtungen.

Mehr Mensch oder bessere Gestaltung? Der Informationswissenschaftler Ben Green von der University of Michigan hielt 2022 Vorschriften zur menschlichen Aufsicht über Algorithmen entgegen, dass Menschen diese Aufsicht nach der Forschungslage nicht verlässlich leisten können; die Vorschrift verleihe Systemen Legitimität, ohne sie zu kontrollieren. Andere setzen auf Gestaltung statt auf bloße Anwesenheit des Menschen, etwa der Ansatz der Human-Centered AI, der hohe Automatisierung und hohe menschliche Kontrolle zugleich anstrebt. Ob der Mensch dabei eine Station im Ablauf der Maschine ist oder die Maschine ein Werkzeug im Ablauf des Menschen, behandelt der Baustein Human in the Loop.

Grenzen und Kritik

• Labor statt Betrieb. Viele Experimente dauern wenige Stunden und arbeiten mit Studierenden oder vereinfachten Aufgaben. Im Betrieb gibt es Teams, Verfahren und Schulungen. Wie groß die Effekte im Arbeitsalltag sind, ist weitgehend unbekannt.
• Etiketten im Rückblick. Unfallberichte vergeben Begriffe wie Complacency oder verlorenes Situationsbewusstsein, nachdem der Ausgang bekannt ist. Dekker und Erik Hollnagel nannten solche Begriffe 2004 Volksmodelle (folk models): Sie beschreiben, statt zu erklären, und lenken den Blick auf den Einzelnen statt auf das System.
• Unscharfe Grenzen zwischen den Begriffen. Complacency und Automation Bias lassen sich in Studien schwer trennen; Parasuraman und Manzey behandeln sie als zwei Seiten desselben Aufmerksamkeitsproblems.
• Wenig Wissen über KI. Die Studien zu KI-Assistenz sind Einzelstudien, teils Beobachtungsstudien, und die Modelle ändern sich schneller, als Forschung sie prüfen kann.

Das Feld liefert damit kein Rezept, aber ein gut begründetes Vokabular. Es erklärt, warum ein Mensch, der einem System nur zusieht, keine verlässliche Sicherung ist, und unter welchen Bedingungen dieses Problem kleiner oder größer wird. Wie sich die Rolle des Menschen in Abläufen mit KI-Agenten daraufhin gestalten ließe, ist Gegenstand der Perspektive Human-Agent-Systeme; um Einführung und Akzeptanz geht es in KI-Einführung in Organisationen.

Quellen

• Bainbridge, L. (1983): Ironies of Automation. Automatica 19(6), 775–779. Zuerst vorgetragen 1982 auf einer IFAC/IFIP/IFORS/IEA-Konferenz in Baden-Baden.
• Strauch, B. (2018): Ironies of Automation: Still Unresolved After All These Years. IEEE Transactions on Human-Machine Systems 48(5), 419–433.
• Sheridan, T. B. & Verplank, W. L. (1978): Human and Computer Control of Undersea Teleoperators. Technischer Bericht, MIT Man-Machine Systems Laboratory.
• Parasuraman, R. & Riley, V. (1997): Humans and Automation: Use, Misuse, Disuse, Abuse. Human Factors 39(2), 230–253.
• Parasuraman, R., Sheridan, T. B. & Wickens, C. D. (2000): A Model for Types and Levels of Human Interaction with Automation. IEEE Transactions on Systems, Man, and Cybernetics, Part A 30(3), 286–297.
• Parasuraman, R., Molloy, R. & Singh, I. L. (1993): Performance Consequences of Automation-Induced „Complacency“. International Journal of Aviation Psychology 3(1), 1–23.
• Parasuraman, R. & Manzey, D. H. (2010): Complacency and Bias in Human Use of Automation: An Attentional Integration. Human Factors 52(3), 381–410.
• Onnasch, L., Wickens, C. D., Li, H. & Manzey, D. (2014): Human Performance Consequences of Stages and Levels of Automation: An Integrated Meta-Analysis. Human Factors 56(3), 476–488.
• Jamieson, G. A. & Skraaning, G. (2020): The Absence of Degree of Automation Trade-Offs in Complex Work Settings. Human Factors 62(4).
• Wickens, C. D., Onnasch, L., Sebok, A. & Manzey, D. (2020): Absence of DOA Effect but No Proper Test of the Lumberjack Effect: A Reply to Jamieson and Skraaning. Human Factors 62(4).
• Mosier, K. L., Skitka, L. J., Heers, S. & Burdick, M. (1998): Automation Bias: Decision Making and Performance in High-Tech Cockpits. International Journal of Aviation Psychology 8(1), 47–63.
• Skitka, L. J., Mosier, K. L. & Burdick, M. (1999): Does Automation Bias Decision-Making? International Journal of Human-Computer Studies 51(5), 991–1006.
• Goddard, K., Roudsari, A. & Wyatt, J. C. (2012): Automation Bias: A Systematic Review of Frequency, Effect Mediators, and Mitigators. Journal of the American Medical Informatics Association 19(1), 121–127.
• Lyell, D. & Coiera, E. (2017): Automation Bias and Verification Complexity: A Systematic Review. Journal of the American Medical Informatics Association 24(2), 423–431.
• Endsley, M. R. (1995): Toward a Theory of Situation Awareness in Dynamic Systems. Human Factors 37(1), 32–64.
• Endsley, M. R. & Kiris, E. O. (1995): The Out-of-the-Loop Performance Problem and Level of Control in Automation. Human Factors 37(2), 381–394.
• Lee, J. D. & See, K. A. (2004): Trust in Automation: Designing for Appropriate Reliance. Human Factors 46(1), 50–80.
• Mackworth, N. H. (1948): The Breakdown of Vigilance during Prolonged Visual Search. Quarterly Journal of Experimental Psychology 1(1), 6–21.
• Casner, S. M., Geven, R. W., Recker, M. P. & Schooler, J. W. (2014): The Retention of Manual Flying Skills in the Automated Cockpit. Human Factors 56(8), 1506–1516.
• Fitts, P. M. (Hrsg.) (1951): Human Engineering for an Effective Air-Navigation and Traffic-Control System. National Research Council, Washington.
• Dekker, S. W. A. & Woods, D. D. (2002): MABA-MABA or Abracadabra? Progress on Human–Automation Co-ordination. Cognition, Technology & Work 4, 240–244.
• Dekker, S. & Hollnagel, E. (2004): Human Factors and Folk Models. Cognition, Technology & Work 6, 79–86.
• Moray, N. & Inagaki, T. (2000): Attention and Complacency. Theoretical Issues in Ergonomics Science 1(4), 354–365.
• Dietvorst, B. J., Simmons, J. P. & Massey, C. (2015): Algorithm Aversion: People Erroneously Avoid Algorithms after Seeing Them Err. Journal of Experimental Psychology: General 144(1), 114–126.
• Logg, J. M., Minson, J. A. & Moore, D. A. (2019): Algorithm Appreciation: People Prefer Algorithmic to Human Judgment. Organizational Behavior and Human Decision Processes 151, 90–103.
• Dratsch, T. et al. (2023): Automation Bias in Mammography: The Impact of Artificial Intelligence BI-RADS Suggestions on Reader Performance. Radiology. Zusammenfassung: RSNA.
• Budzyń, K. et al. (2025): Endoscopist Deskilling Risk after Exposure to Artificial Intelligence in Colonoscopy: A Multicentre, Observational Study. The Lancet Gastroenterology & Hepatology. Zusammenfassung: ASCO Post.
• Dell’Acqua, F. et al. (2023): Navigating the Jagged Technological Frontier: Field Experimental Evidence of the Effects of AI on Knowledge Worker Productivity and Quality. Harvard Business School Working Paper 24-013.
• Green, B. (2022): The Flaws of Policies Requiring Human Oversight of Government Algorithms. Computer Law & Security Review 45.
• Verordnung (EU) 2024/1689 (KI-Verordnung): Artikel 14, Menschliche Aufsicht.