Innovation & Organisation / GrundlageErklärt ein Konzept und vergleicht Sichtweisen: was es ist, was belegt ist und wo man sich streitet. Zum Verstehen.Baut auf: Analyse · Daten & BI · Wirtschaftspsychologie · UX & Gestaltung

Wie Dashboards Entscheidungen verzerren

Welche Wahrnehmungs- und Urteilsfehler beim Lesen von Dashboards auftreten, wie gut das belegt ist und was Gestaltung daran ändern kann.

8 Min. Lesezeit
#Dashboards#Datenvisualisierung#Kognitive Verzerrungen#Entscheidungen#Business Intelligence

Kurzfassung

Ein Dashboard ist eine Übersicht aus Kennzahlen und Diagrammen, und wie Menschen daraus Urteile bilden, hängt nicht nur von den Zahlen ab, sondern auch von Vergleichswerten, Farben, Achsen und davon, welche Daten überhaupt erfasst sind. Zwischen den Daten und der Entscheidung liegt ein Schritt, in dem dieselben Urteilsfehler wirken wie überall sonst.

Gut belegt sind die zugrunde liegenden Effekte, etwa der Anker-Effekt, in psychologischen Experimenten, und für einzelne Gestaltungsfragen wie abgeschnittene Achsen auch in Studien zur Datenvisualisierung. Wie stark diese Effekte in echten Steuerungsrunden ausfallen, ist kaum untersucht; das meiste ist eine Übertragung aus dem Labor.

Gestritten wird darüber, wie fehlerhaft solche Faustregeln wirklich sind und ob Gestaltung sie zuverlässig abschwächen kann.

Was gemeint ist und welche Verzerrungen es gibt

Ein Dashboard soll eine Lage auf einen Blick erfassbar machen. Gerade das macht es anfällig: Wer schnell urteilt, stützt sich auf Faustregeln. Die Forschung dazu geht vor allem auf Daniel Kahneman und Amos Tversky zurück, die ab den 1970er-Jahren zeigten, dass Menschen unter Unsicherheit mit Heuristiken urteilen, die meist gut funktionieren, aber in bestimmte Richtungen irren (Kognitive Verzerrungen).

Die Verzerrungen entstehen an verschiedenen Stellen: in den Daten, die das Dashboard überhaupt enthält, in ihrer Verdichtung und Darstellung, und bei den Menschen, die es lesen.

Verzerrungen entstehen an jeder Stelle zwischen Erfassung und Deutung

  • Datenbasis
    Survivorship-Bias
  • Verdichtung
    Simpson-Paradox, Rauschen als Trend
  • Darstellung
    Vergleichswert als Anker, Ampelfarben, Achsen
  • Betrachter
    Bestätigungsfehler, Gruppendynamik
ErfassungWeg von den Daten zur Entscheidung Deutung
Vereinfachte eigene Einordnung, keine Messung
VerzerrungWas geschiehtIm Dashboard
Survivorship-BiasNur wer noch da ist, wird erfasst.Die Zufriedenheitsbefragung erreicht abgewanderte Kunden nicht.
Simpson-ParadoxDie Gesamtzahl zeigt das Gegenteil der Teilgruppen.Ein Rückgang, der nur aus einer veränderten Zusammensetzung stammt.
Regression zur MitteAuf Extremwerte folgen meist normalere Werte.Die Maßnahme nach dem schwächsten Monat scheint zu wirken.
Anker-EffektDie erste Zahl setzt den Maßstab.Vorjahr oder Plan bestimmen, ob ein Wert als gut gilt.
FramingDieselbe Lage wirkt je nach Rahmung anders.Ampelfarben und Schwellen urteilen, bevor jemand liest.
BestätigungsfehlerGesucht wird, was die Vermutung stützt.Mit genug Filtern findet sich für jede Sicht eine Ansicht.

Zwei Formen sind darstellungsspezifisch. Eine abgeschnittene Achse, die nicht bei null beginnt, lässt kleine Unterschiede groß erscheinen; bei Balken ist das besonders irreführend, weil die Länge als Menge gelesen wird. Die Ampel ordnet einen Wert knapp unter der Schwelle genauso als rot ein wie einen Einbruch, und die Schwelle ist oft nie begründet worden. Zudem können Menschen mit einer Rot-Grün-Sehschwäche die beiden Farben schlecht unterscheiden.

In Steuerungsrunden kommt Gruppendynamik hinzu. Die Deutung der ranghöchsten Person kann selbst als Anker wirken, und ob abweichende Lesarten ausgesprochen werden, hängt mit der psychologischen Sicherheit im Raum zusammen.

Nutzen und Beleglage

Gut belegt sind die psychologischen Grundeffekte. Der Anker-Effekt geht auf ein Experiment von Tversky und Kahneman (1974) zurück und ließ sich im Replikationsprojekt „Many Labs“ über viele Labore hinweg wiederfinden (Klein et al. 2014). Framing und Bestätigungsfehler sind vielfach untersucht; für Framing fand eine Meta-Analyse (Kühberger 1998) einen Effekt, dessen Stärke aber stark von Aufgabe und Darstellung abhängt. Regression zur Mitte und das Simpson-Paradox sind statistische Tatsachen; fraglich ist nur, wie oft sie in der Praxis übersehen werden.

Teilweise belegt ist die Übertragung auf Visualisierungen. Michael Correll, Enrico Bertini und Steven Franconeri (2020) zeigten in Online-Experimenten, dass abgeschnittene Achsen die wahrgenommene Größe eines Unterschieds bei verschiedenen Diagrammarten erhöhen, und zwar auch dann, wenn die Abschneidung deutlich markiert war. Sie folgern allerdings nicht, dass Achsen immer bei null beginnen müssen, sondern dass die Wahl davon abhängt, welche Unterschiede bedeutsam sind. Evanthia Dimara und Kollegen (2020) ordneten 154 kognitive Verzerrungen nach Aufgaben der Datenanalyse und stellten fest, dass es wenig empirische Forschung dazu gibt, wie sie sich bei der Arbeit mit Visualisierungen auswirken.

Kaum belegt ist der Effekt im Alltag von Organisationen. Studien, die Entscheidungen mit unterschiedlich gestalteten Dashboards im Feld vergleichen, sind selten. Was für Steuerungsrunden gesagt wird, ist meist plausible Übertragung.

Worauf die Effekte beruhen und was Gestaltung ändern kann

Die Verzerrungen treten nicht in jeder Lage gleich stark auf. Sie setzen drei Dinge voraus:

  1. Schnelles Urteilen. Wer eine Ansicht kurz überfliegt, stützt sich stärker auf Farbe, Anker und Gestalt als jemand, der eine Zahl in Ruhe prüft (schnelles und langsames Denken).
  2. Fehlende Information über Schwankung und Herkunft. Ein einzelner Wert ohne Angabe, wie stark er üblicherweise schwankt und woher er stammt, lässt sich kaum richtig einordnen.
  3. Konsequenzen ohne Gegenprobe. Wo auf eine Zahl sofort eine Maßnahme folgt, ohne Vergleichsgruppe oder spätere Prüfung, bleibt ein Fehlschluss unbemerkt.

Aus der Literatur stammen mehrere Gestaltungsvorschläge, die an diesen Voraussetzungen ansetzen. Am besten begründet ist das Prozessverhaltensdiagramm von Walter Shewhart, das Donald Wheeler für Managementkennzahlen aufbereitet hat: Es zeigt Werte mit ihren aus der bisherigen Schwankung berechneten Grenzen und trennt so Rauschen von Veränderung. Weitere Vorschläge sind, den Vergleichswert zu benennen („gegenüber Plan“, „gegenüber Vorjahr“), Schwellen einmal zu begründen statt nachzujustieren, Farbe nicht als einzigen Träger einer Information zu verwenden, wie es auch die Richtlinien für barrierefreie Webinhalte verlangen, und Datenstand sowie Herkunft am Wert zu zeigen. Diese Vorschläge sind gut begründet, aber als Gesamtpaket kaum auf ihre Wirkung geprüft.

Eine eigene Rolle hat die Standardansicht. Wer ein Dashboard öffnet, sieht zuerst Zeitraum, Filter und Vergleich, die jemand voreingestellt hat. Aus der Forschung zum Status-quo-Bias ist bekannt, dass Voreinstellungen häufig beibehalten werden. Für Dashboards ist das naheliegend, aber nicht eigens untersucht.

Das Wahl- und Politik-Radar auf dieser Website setzt einige dieser Gedanken um. Es zeigt die Einzelumfragen unter dem geglätteten Mittel, trennt gemessene, berechnete und von Hand ausgewählte Inhalte, berücksichtigt die systematischen Unterschiede zwischen Instituten (Hauseffekt) und vergleicht in einem Realitätscheck die letzten Umfragen vor jeder Wahl mit dem Ergebnis.

Herkunft, Schulen und Streitfragen

Das Thema liegt zwischen zwei Forschungsrichtungen, die lange getrennt arbeiteten. Die Urteils- und Entscheidungsforschung untersucht, wie Menschen aus Information Schlüsse ziehen. Die Visualisierungsforschung fragt, wie Diagramme wahrgenommen werden; Edward Tufte prägte 1983 den Begriff des Lie Factor für das Verhältnis zwischen der Größe eines Effekts in der Grafik und in den Daten. Erst seit einigen Jahren werden beide Richtungen systematisch zusammengeführt.

Zwei Streitfragen sind offen.

Sind die Faustregeln Fehler? In der Tradition von Kahneman und Tversky gelten Heuristiken als Quelle systematischer Irrtümer. Gerd Gigerenzer und die Schule der ökologischen Rationalität halten dagegen, dass einfache Regeln in vielen echten Umgebungen gut abschneiden und Laborbefunde den Fehler übertreiben. Für Dashboards heißt das: Nicht jede schnelle Deutung ist falsch, und eine gut gestaltete Ansicht nutzt Faustregeln, statt sie zu bekämpfen.

Wie viel Freiheit beim Filtern? Self-Service-Werkzeuge erlauben, Daten selbst zu zerlegen. Das hilft, Aggregationseffekte wie das Simpson-Paradox zu entdecken, erleichtert aber auch, für jede Position eine stützende Ansicht zu finden. Ob mehr Freiheit Verzerrungen eher aufdeckt oder verstärkt, ist nicht geklärt.

Grenzen und Kritik

  • Übertragung aus dem Labor. Die meisten Belege stammen aus Experimenten mit Studierenden und einfachen Aufgaben. Erfahrene Leser eines bestimmten Dashboards kennen dessen Eigenheiten und urteilen womöglich anders.
  • Lange, überlappende Listen. Kataloge mit über hundert Verzerrungen erwecken den Eindruck, jedes Urteil sei verzerrt. Viele Einträge überschneiden sich, und nicht alle sind gleich gut belegt.
  • Keine neutrale Alternative. Ohne Dashboard entscheiden Menschen nicht unverzerrt, sondern nach Gedächtnis, Eindruck und Verfügbarkeit. Die Frage ist, welche Verzerrungen eine Darstellung verstärkt oder abschwächt, nicht ob sie welche erzeugt.
  • Gestaltung allein genügt nicht. Ein ehrlich gestaltetes Dashboard mit schlecht abgeleiteten Kennzahlen bleibt irreführend (Kennzahlensysteme und KPI-Baum); und eine Zahl, an der Prämien hängen, verliert ihre Aussagekraft unabhängig von der Darstellung (Goodharts Gesetz).

Quellen

  • Tversky, A. & Kahneman, D. (1974): Judgment under Uncertainty: Heuristics and Biases. Science 185(4157), 1124–1131.
  • Kahneman, D. (2012): Schnelles Denken, langsames Denken. Siedler (darin die Geschichte der Fluglehrer).
  • Bickel, P. J., Hammel, E. A. & O’Connell, J. W. (1975): Sex Bias in Graduate Admissions: Data from Berkeley. Science 187(4175), 398–404.
  • Wason, P. C. (1960): On the failure to eliminate hypotheses in a conceptual task. Quarterly Journal of Experimental Psychology 12(3), 129–140.
  • Klein, R. A. et al. (2014): Investigating Variation in Replicability: A „Many Labs“ Replication Project. Social Psychology 45(3), 142–152.
  • Kühberger, A. (1998): The Influence of Framing on Risky Decisions: A Meta-analysis. Organizational Behavior and Human Decision Processes 75(1), 23–55.
  • Correll, M., Bertini, E. & Franconeri, S. (2020): Truncating the Y-Axis: Threat or Menace? CHI 2020.
  • Dimara, E., Franconeri, S., Plaisant, C., Bezerianos, A. & Dragicevic, P. (2020): A Task-based Taxonomy of Cognitive Biases for Information Visualization. IEEE Transactions on Visualization and Computer Graphics 26(2). Projektseite: ISIR.
  • Tufte, E. R. (1983): The Visual Display of Quantitative Information. Graphics Press.
  • Wheeler, D. J. (1993): Understanding Variation: The Key to Managing Chaos. SPC Press.
  • W3C (2018): Web Content Accessibility Guidelines (WCAG) 2.1, Erfolgskriterium 1.4.1 „Use of Color“.
  • Gigerenzer, G. & Gaissmaier, W. (2011): Heuristic Decision Making. Annual Review of Psychology 62, 451–482.
  • Wikipedia: Rot-Grün-Sehschwäche.
Praxis-Transfer & Implementierung

Möchten Sie dieses Modell in Ihrem Kontext anwenden?

Konzepte entfalten ihren Wert erst in der konkreten Praxis. Ob als strukturierter Impulsworkshop, Prototyping-Sprint oder Begleitung im Veränderungsprozess: Ich unterstütze Sie dabei, Theorie in greifbare Resultate zu übersetzen.