Die Human-Factors-Forscher John D. Lee und Katrina See veröffentlichten 2004 einen viel zitierten Überblick mit dem Titel „Trust in Automation: Designing for Appropriate Reliance“ (siehe Lee & See). Ihr zentraler Gedanke: Das Ziel ist nicht möglichst viel Vertrauen, sondern angemessenes Vertrauen. Ein gut kalibrierter Mensch verlässt sich auf das System, wo es gut ist, und prüft dort, wo es schwach ist.
Fehlkalibrierung kann in zwei Richtungen gehen:
- Übervertrauen führt zu Fehlgebrauch. Man setzt das System für Aufgaben ein, für die es nicht gemacht ist, oder übersieht seine Fehler (siehe Automation Bias).
- Untervertrauen führt zu Nichtgebrauch. Man prüft alles doppelt, schaltet das System ab oder umgeht es, und verschenkt damit seinen Nutzen.
Raja Parasuraman und Victor Riley hatten diese Muster schon 1997 als misuse und disuse beschrieben. Vertrauen reagiert dabei träge und oft auf die falschen Signale. Ein einzelner auffälliger Fehler kann Vertrauen lange beschädigen, während viele unauffällige Fehler es kaum berühren.
Kalibrierung braucht deshalb Informationen darüber, wo ein System gut und wo es schlecht ist. Bei KI-Agenten heißt das: nicht nur eine Gesamttrefferquote angeben, sondern zeigen, bei welchen Aufgaben und Daten die Fehler gehäuft auftreten. Und Menschen brauchen Rückmeldung über ihre eigenen Freigaben: Wie oft war etwas falsch, das sie durchgewunken haben?
Anders als das Modell der Technologieakzeptanz, das erklärt, ob Menschen eine Technik überhaupt nutzen, fragt die Vertrauenskalibrierung, ob sie sie richtig nutzen.