Den Begriff prägten die Psychologinnen Kathleen Mosier und Linda Skitka Mitte der 1990er Jahre (siehe Mosier & Skitka). Sie untersuchten Piloten und Studierende in Simulationen, in denen ein Assistenzsystem gelegentlich falsche Hinweise gab. Das Ergebnis war beunruhigend stabil: Die Versuchspersonen folgten dem System auch dann, wenn andere Anzeigen eindeutig widersprachen.
Mosier und Skitka unterschieden zwei Fehlerarten:
- Unterlassungsfehler: Ein Problem wird übersehen, weil das System nicht darauf hinweist. Man verlässt sich darauf, dass es sich schon melden würde.
- Ausführungsfehler: Man tut, was das System empfiehlt, obwohl die eigene Wahrnehmung oder andere Informationen dagegensprechen.
Automation Bias betrifft nicht nur Laien. Erfahrung schützt kaum, Zeitdruck und hohe Arbeitslast verstärken den Effekt. Auch ein zweiter Mensch im Cockpit verhinderte die Fehler in den Studien nicht zuverlässig, was für das Vier-Augen-Prinzip bedeutsam ist.
Bei KI-Agenten kommt eine Besonderheit hinzu. Ihre Vorschläge kommen als flüssiger, begründeter Text, was die Zustimmung zusätzlich fördert (siehe Verarbeitungsflüssigkeit). Eine lange Erklärung ist kein Beleg für eine richtige Empfehlung.
Zwei Gegenmittel sind gut belegt. Wer für seinen Prüfprozess Rechenschaft ablegen muss, nicht nur für das Ergebnis, prüft sorgfältiger (siehe Verantwortlichkeit). Und wer zuerst selbst urteilt und erst danach die Empfehlung sieht, übernimmt sie seltener blind (siehe Cognitive Forcing Functions). Verwandt, aber nicht gleich ist die Complacency, das nachlassende Überwachen.