Wie Dashboards Entscheidungen verzerren

In einem bekannten Experiment ließen Tversky und Kahneman (1974) ein manipuliertes Glücksrad drehen, das entweder bei 10 oder bei 65 stehen blieb. Anschließend sollten die Versuchspersonen schätzen, wie hoch der Anteil afrikanischer Staaten an den Vereinten Nationen ist. Wer die 10 gesehen hatte, schätzte im Mittel 25 Prozent, wer die 65 gesehen hatte, 45 Prozent. Eine offensichtlich zufällige Zahl hatte die Schätzung verschoben.

Im Dashboard wirken der Vorjahreswert, das Planziel oder die große Zahl oben links als solche Anker. Ob ein Ergebnis als Erfolg gilt, hängt dann stärker am gewählten Vergleich als am Ergebnis selbst.

Rot und Grün transportieren ein Urteil, bevor die Zahl gelesen ist. Ein Wert knapp unter der Schwelle wird genauso rot wie ein dramatischer Einbruch, und die Schwelle selbst ist oft nie begründet worden.

Beginnt die y-Achse nicht bei null, sehen kleine Unterschiede groß aus. Bei Balkendiagrammen ist das irreführend, weil die Balkenlänge als Menge gelesen wird. Bei Liniendiagrammen kann ein Ausschnitt sinnvoll sein, sollte dann aber erkennbar sein.

Kahneman unterrichtete in den 1960er Jahren Fluglehrer der israelischen Luftwaffe in Lernpsychologie und erklärte ihnen, dass Lob wirksamer sei als Strafe. Ein erfahrener Ausbilder widersprach: Wenn er einen Flugschüler nach einer besonders gelungenen Landung lobe, sei die nächste meist schlechter. Wenn er ihn nach einer missratenen Landung anschreie, werde die nächste meist besser. Seine Erfahrung schien eindeutig: Lob schadet, Tadel hilft.

Die Erklärung liegt nicht im Feedback, sondern in der Statistik. Jede einzelne Landung ist eine Mischung aus Können und Zufall, etwa Wind, Tagesform oder Glück. Eine außergewöhnlich gute Landung enthält deshalb wahrscheinlich eine Portion Glück, die sich beim nächsten Versuch nicht wiederholt. Die folgende Landung liegt dann näher am üblichen Niveau des Schülers, also schlechter. Nach einer außergewöhnlich schlechten Landung gilt das Umgekehrte. Diese Rückkehr zum Durchschnitt nennt man Regression zur Mitte. Sie tritt auch ganz ohne Lob oder Tadel ein. Der Ausbilder hatte sie als Wirkung seines Feedbacks gedeutet und daraus die falsche Lehre gezogen.

Dashboards ohne Angabe der normalen Schwankung laden zu genau diesem Fehler ein: Der schwächste Monat wird besprochen, eine Maßnahme beschlossen, und im nächsten Monat „wirkt“ sie, weil sich der Wert ohnehin wieder dem Durchschnitt genähert hätte.

Aggregierte Zahlen können das Gegenteil dessen zeigen, was in den Teilgruppen passiert. Dieses Phänomen trägt den Namen des britischen Statistikers Edward H. Simpson, der es 1951 beschrieb.

Das bekannteste Beispiel stammt von der Universität Berkeley. Im Herbst 1973 wurden dort 44 Prozent der männlichen, aber nur 35 Prozent der weiblichen Bewerber für ein Graduiertenstudium zugelassen. Das sah nach Benachteiligung von Frauen aus. Als die Statistiker Peter Bickel, Eugene Hammel und William O’Connell die Zahlen 1975 nach Fachbereichen aufschlüsselten, zeigte sich ein anderes Bild: In den meisten Fachbereichen wurden Frauen gleich häufig oder sogar häufiger zugelassen als Männer. Der Unterschied in der Gesamtzahl entstand, weil sich Frauen häufiger bei Fachbereichen beworben hatten, in denen die Konkurrenz groß war und alle Bewerbenden selten zugelassen wurden. Männer bewarben sich häufiger dort, wo die Zulassungsquoten für alle hoch waren.

Für Dashboards heißt das: Eine Gesamtzahl kann eine Entwicklung vortäuschen, die in keiner einzigen Teilgruppe stattfindet, zum Beispiel wenn sich nur die Zusammensetzung von Kunden, Standorten oder Produkten verschoben hat.

Ein Dashboard zeigt nur, was gemessen wird. Diese Lücke veranschaulicht eine Geschichte um den Mathematiker Abraham Wald (1902–1950), der aus Klausenburg im heutigen Rumänien stammte, 1938 in die USA emigrierte und im Zweiten Weltkrieg für die Statistical Research Group an der Columbia University arbeitete. Das Militär untersuchte Bomber, die von Einsätzen zurückkehrten, und fand die meisten Einschusslöcher an Tragflächen und Rumpf, kaum welche an den Triebwerken. Naheliegend schien es, dort zusätzliche Panzerung anzubringen, wo die meisten Treffer waren.

Wald wies auf den Denkfehler hin: Untersucht wurden nur die Flugzeuge, die überlebt hatten. Treffer an Tragflächen und Rumpf waren offenbar überlebbar. Die Flugzeuge mit Treffern an den Triebwerken fehlten in der Stichprobe, weil sie nicht zurückgekehrt waren. Gepanzert werden musste also gerade dort, wo man kaum Löcher sah. Die Geschichte wird in populären Darstellungen vereinfacht erzählt, Walds Originalarbeit ist eine mathematische Methode zur Schätzung der Verwundbarkeit. Der Kern stimmt aber und hat dem Effekt seinen Namen gegeben: Survivorship-Bias, die Verzerrung durch die Beschränkung auf die „Überlebenden“.

Im Unternehmen sieht das so aus: Eine Zufriedenheitsbefragung erreicht nur die Kundinnen, die noch Kundinnen sind. Wer unzufrieden ohne Beschwerde abgewandert ist, taucht weder in der Befragung noch in der Beschwerdestatistik auf. Das Dashboard zeigt dann ein freundlicheres Bild, als die Lage rechtfertigt.