Die Human-Factors-Forscherin Mica Endsley formulierte 1995 ein Modell des Situationsbewusstseins (situation awareness) mit drei aufeinander aufbauenden Stufen:
- Wahrnehmen: Welche Elemente sind in der Lage wichtig, und welchen Zustand haben sie? Etwa: Die Triebwerkstemperatur steigt.
- Verstehen: Was bedeuten diese Elemente zusammen für meine Ziele? Die Temperatur steigt, obwohl die Leistung gleich bleibt, das ist ungewöhnlich.
- Vorhersehen: Wie wird sich die Lage in naher Zukunft entwickeln? Wenn es so weitergeht, muss das Triebwerk in einigen Minuten abgeschaltet werden.
Fehler entstehen oft nicht durch falsche Entscheidungen, sondern durch ein falsches Bild der Lage. Wer die Lage nicht versteht, entscheidet folgerichtig falsch. Endsley und andere zeigten, dass Automatisierung das Situationsbewusstsein schwächen kann: Wer eine Aufgabe nicht mehr selbst ausführt, beobachtet weniger genau, erlebt die Entwicklung nicht mit und ist beim plötzlichen Eingreifen erst einmal orientierungslos. Die Forschung spricht hier vom out-of-the-loop-Problem.
Für KI-Agenten ist das ein starkes Argument dafür, Menschen nicht nur am Ende eines langen Ablaufs eine Freigabe zu geben. Wer erst bei Schritt zwanzig gefragt wird, kennt die neunzehn vorherigen nicht. Besser sind knappe Zwischenstände, die zeigen, was der Agent gerade annimmt und wohin er steuert.
Situationsbewusstsein hängt eng mit dem Verlust von Fertigkeiten und den Ironien der Automatisierung zusammen.