Das Simpson-Paradox bezeichnet den Fall, dass ein Zusammenhang in der Gesamtheit der Daten das Gegenteil dessen zeigt, was in jeder Teilgruppe gilt. Es entsteht, wenn die Gruppen unterschiedlich groß sind und sich ungleich auf die Vergleichsgruppen verteilen. Edward Simpson beschrieb es 1951; ähnliche Beobachtungen machten schon Karl Pearson und seine Mitarbeiter (1899) sowie Udny Yule (1903). Den Namen „Simpson’s paradox“ prägte Colin Blyth 1972.
Das bekannteste Beispiel stammt von der Universität Berkeley. Im Herbst 1973 wurden dort 44 Prozent der männlichen und 35 Prozent der weiblichen Bewerber für ein Graduiertenstudium zugelassen. Nach Aufschlüsselung auf die Fachbereiche verschwand der Unterschied zuungunsten der Frauen, weil sie sich häufiger auf Fachbereiche mit niedrigen Zulassungsquoten beworben hatten (Bickel, Hammel & O’Connell 1975).
Daraus folgt nicht, dass man immer aufschlüsseln sollte. Judea Pearl (2014) betont, dass die richtige Lesart nicht aus den Zahlen allein hervorgeht, sondern davon abhängt, welche Annahmen über die Ursachen getroffen werden: Mal ist die Gesamtzahl, mal die Aufschlüsselung die sinnvolle Antwort.
Für Kennzahlen heißt das: Eine Gesamtzahl kann eine Entwicklung zeigen, die in keiner Teilgruppe stattfindet, wenn sich nur die Zusammensetzung verschoben hat. Der Artikel Wie Dashboards Entscheidungen verzerren zeigt das für Dashboards.
Quellen
- Simpson, E. H. (1951). The Interpretation of Interaction in Contingency Tables. Journal of the Royal Statistical Society, Series B, 13(2), 238–241.
- Blyth, C. R. (1972). On Simpson’s Paradox and the Sure-Thing Principle. Journal of the American Statistical Association, 67(338), 364–366.
- Bickel, P. J., Hammel, E. A. & O’Connell, J. W. (1975). Sex Bias in Graduate Admissions: Data from Berkeley. Science, 187(4175), 398–404.
- Pearl, J. (2014). Understanding Simpson’s Paradox. The American Statistician, 68(1), 8–13.