Die Soziologin Diane Vaughan prägte den Begriff normalization of deviance in ihrem Buch über die Challenger-Katastrophe von 1986. Die Raumfähre zerbrach kurz nach dem Start, weil Dichtungsringe an den Feststoffraketen bei der ungewöhnlichen Kälte versagt hatten.
Vaughans Befund war unbequem. Es gab keinen einzelnen skandalösen Fehler und keine böswilligen Manager. Schäden an den Dichtungsringen waren bei früheren Flügen mehrfach aufgetreten. Jedes Mal wurden sie untersucht, jedes Mal wurde entschieden, dass das Risiko akzeptabel sei, weil die Fähre sicher zurückgekehrt war. Mit jedem Flug verschob sich die Grenze dessen, was als normal galt. Am Ende genehmigten Menschen, die alle nach den Regeln ihrer Organisation handelten, einen Start, den sie Jahre zuvor abgelehnt hätten.
Das Muster ist weit verbreitet. Eine Freigabe wird einmal ohne vollständige Prüfung erteilt, weil es eilt, und es geht gut. Beim nächsten Mal ist das schon Gewohnheit. Eine Kennzahl liegt leicht außerhalb des Zielbereichs, aber das war im Vorquartal auch so. Jeder einzelne Schritt ist plausibel, die Summe nicht.
Bei KI-Agenten droht dieselbe Dynamik: Die ersten hundert Vorschläge waren in Ordnung, also prüft man den hundertsten weniger genau, und kleine Fehler werden als Rauschen abgetan. Gegenmittel sind vorher festgelegte Grenzen, die nicht im Einzelfall verhandelt werden, der Blick von außen und ein Klima, in dem Warnungen ernst genommen werden (siehe psychologische Sicherheit). Verwandt ist die Complacency.