Die Psychologin Lisanne Bainbridge veröffentlichte 1983 einen kurzen Aufsatz mit dem Titel „Ironies of Automation“. Sie untersuchte Leitstände in der Prozessindustrie, etwa in Kraftwerken und Chemieanlagen. Der Text gilt bis heute als einer der klarsten über das Verhältnis von Mensch und Automatik und liest sich, als wäre er über KI-Agenten geschrieben.
Bainbridge beschrieb mehrere Ironien. Die wichtigsten:
- Der Mensch bekommt die schwierigsten Aufgaben. Automatisiert wird, was sich gut automatisieren lässt. Übrig bleiben die ungewöhnlichen, unklaren Fälle, und zwar für Menschen, die sonst nur zuschauen.
- Überwachen ist schwer. Menschen sind schlecht darin, lange auf ein System zu achten, das fast immer funktioniert (siehe Vigilanzabfall).
- Fertigkeiten gehen verloren. Wer nicht mehr selbst steuert, verlernt es. Im Notfall soll er aber genau das können, unter Stress und ohne Übung (siehe Verlust von Fertigkeiten).
- Das Verständnis fehlt. Wer die Arbeit nie selbst gemacht hat, versteht auch nicht, was die Automatik gerade tut, und kann ihre Fehler schlecht erkennen.
Bainbridges Schlussfolgerung war nicht, auf Automatisierung zu verzichten. Sie forderte, die Rolle des Menschen bewusst mitzugestalten: regelmäßige Übung, Simulatoren, Anzeigen, die verständlich machen, was das System tut, und Aufgaben, die Menschen im Geschehen halten.
Für KI-Agenten gilt das fast wörtlich. Wer einen Agenten die Routinearbeit machen lässt und nur noch Ausnahmen freigibt, schafft genau die Lage, die Bainbridge beschrieben hat.