Goodharts Gesetz

Kurzfassung

Goodharts Gesetz beschreibt die Beobachtung, dass eine Kennzahl ihre Aussagekraft verliert, sobald Menschen nach ihr beurteilt oder belohnt werden. Die Zahl hing vorher mit dem zusammen, was eigentlich gemeint war. Unter Druck lernen die Beteiligten, die Zahl zu bewegen, ohne die Sache zu bewegen, und der Zusammenhang löst sich auf.

Gut belegt ist das Muster in Einzelstudien zum öffentlichen Sektor, etwa an gemeldeten Einsatzzeiten britischer Rettungsdienste, und in Experimenten zur Wirkung von Belohnungen auf Motivation. Wie stark der Effekt im Durchschnitt ausfällt und wann er ausbleibt, ist dagegen kaum untersucht. Viele bekannte Beispiele sind Einzelfälle.

Gestritten wird darüber, was daraus folgt: ob Kennzahlen sich grundsätzlich schlecht zur Steuerung eignen oder nur dann, wenn eine einzelne Zahl ohne Gegengewicht an starke Konsequenzen gekoppelt wird.

Was das Gesetz besagt und welche Formen es gibt

Der britische Ökonom Charles Goodhart, damals Berater der Bank of England, schrieb 1975 über die britische Geldpolitik, jede beobachtete statistische Regelmäßigkeit neige dazu zusammenzubrechen, sobald man sie zu Steuerungszwecken unter Druck setze. Hintergrund war der Versuch, die Inflation über Ziele für bestimmte Geldmengen zu lenken. Goodhart meinte das als Bemerkung zur Geldpolitik, nicht als allgemeine Regel.

Die heute zitierte Kurzform lautet: „When a measure becomes a target, it ceases to be a good measure.“ Sie steht in einem Aufsatz der Sozialanthropologin Marilyn Strathern von 1997 über Leistungsbewertungen an britischen Universitäten. Strathern übernahm die Formulierung sinngemäß von dem britischen Managementforscher Keith Hoskin, der 1996 geschrieben hatte, jede Messgröße, die zum Ziel werde, werde zu einer schlechten Messgröße. Der Name Goodharts ist also eine Verkürzung.

Zugrunde liegt eine einfache Unterscheidung. Eine Kennzahl ist fast immer eine Stellvertretergröße: Gezählt werden abgeschlossene Fälle, gemeint ist gute Arbeit. Solange niemand auf die Zahl achtet, hängt sie mit der Sache zusammen. Wird sie zum Ziel, gibt es zwei Wege, sie zu verbessern: die Sache besser machen oder die Zahl auf anderem Weg bewegen. Der zweite ist oft billiger.

Die Forscher David Manheim und Scott Garrabrant haben 2018 vier Varianten unterschieden, ursprünglich mit Blick auf lernende Systeme und künstliche Intelligenz. Sie lassen sich auf Organisationen übertragen:

Nur die vierte Variante setzt voraus, dass jemand die Zahl bewusst bewegt. Die ersten drei treten auch auf, wenn alle redlich handeln. Das ist der Grund, warum das Phänomen nicht allein mit Kontrolle zu beheben ist.

Nutzen und Beleglage

Das Gesetz ist keine Methode, sondern eine Erklärung für ein Muster. Wie gut sie belegt ist, hängt davon ab, welcher Teil gemeint ist.

Quantitative Studien zur Manipulation von Zielgrößen. Am dichtesten sind die Belege aus dem britischen Gesundheitswesen der 2000er-Jahre. Rettungsdienste sollten in 75 Prozent der lebensbedrohlichen Notfälle innerhalb von acht Minuten vor Ort sein. Gwyn Bevan und Richard Hamblin (2009) zeigten, dass die gemeldeten Einsatzzeiten in mehreren Diensten knapp unter acht Minuten auffällig gehäuft auftraten und knapp darüber ebenso auffällig selten. Bei etwa einem Drittel der englischen Dienste wurden nachträgliche Korrekturen der Zeiten festgestellt. Bevan und Christopher Hood (2006) ordneten solche Reaktionen in drei Typen: Leistung wird gebremst, damit das nächste Ziel nicht steigt; Leistung wird an der Schwelle ausgerichtet statt verbessert; und Ergebnisse werden verfälscht oder Ungemessenes vernachlässigt. Wie viel der gemeldeten Verbesserung echt war und wie viel nicht, ließ sich in diesen Studien nur teilweise trennen.

Experimente zur Motivation. Ein zweiter Strang betrifft nicht die Zahl, sondern die Menschen, die nach ihr arbeiten. Der US-Psychologe Edward Deci ließ 1971 Studierende Puzzles lösen; wer dafür bezahlt worden war, beschäftigte sich in einer anschließenden freien Phase weniger damit. Daraus entstand mit Richard Ryan die Selbstbestimmungstheorie (Deci und Ryan). Ob äußere Belohnungen innere Motivation tatsächlich mindern, war in den 1990er-Jahren heftig umstritten; Deci, Koestner und Ryan (1999) fanden in einer Meta-Analyse über 128 Experimente einen solchen Effekt für leistungsabhängige Belohnungen. Eine spätere Meta-Analyse von Cerasoli, Nicklin und Ford (2014) über 183 Studien zeigt ein differenziertes Bild: Anreize sagten eher die Menge der Leistung vorher, innere Motivation eher die Qualität. Wo Anreize direkt an Leistung gekoppelt waren, verlor die innere Motivation an Erklärungskraft.

Feldbefunde zum Verdrängungseffekt. Bruno Frey und Felix Oberholzer-Gee (1997) befragten Anfang der 1990er-Jahre Einwohner der Schweizer Gemeinde Wolfenschiessen, die als Standort für ein Atommüll-Endlager im Gespräch war. Ohne Entschädigung stimmten 50,8 Prozent zu, mit angebotener Entschädigung 24,6 Prozent, und höhere Beträge änderten daran wenig. Das ist eine Befragung, kein Verhaltensexperiment, aber sie passt zum Muster.

Einzelfälle. Die bekanntesten Beispiele sind Fallgeschichten. Bei der US-Bank Wells Fargo eröffneten Beschäftigte unter hohem Verkaufsdruck zwischen 2002 und 2016 Konten und Karten ohne Wissen der Kundschaft, intern selbst „gaming“ genannt. 2016 zahlte die Bank 185 Millionen US-Dollar Strafe, 2020 einigte sie sich mit dem US-Justizministerium und der Börsenaufsicht auf drei Milliarden. Solche Fälle sind anschaulich, sagen aber nichts darüber, wie oft Zielvorgaben ohne solche Folgen bleiben.

Worauf das Gesetz beruht

Goodharts Gesetz beschreibt eine Neigung, keine Zwangsläufigkeit. Es greift umso stärker, je mehr von drei Bedingungen zutreffen.

1. Es hängt etwas an der Zahl. Prämien, Beurteilungen, Budgets oder öffentliche Ranglisten. Eine Zahl, die nur zur Beobachtung dient, steht unter wenig Druck.
2. Die Zahl lässt sich billiger bewegen als die Sache. Je größer der Abstand zwischen Stellvertretergröße und Ziel, desto mehr Wege gibt es, die Zahl ohne die Sache zu verbessern.
3. Die Gemessenen beeinflussen die Messung. Wer selbst erfasst, einordnet oder auswählt, was gezählt wird, hat Spielraum.

Auch im Feld unten rechts bleibt die dritte Bedingung wirksam: Wer die Erfassung selbst steuert, kann auch eine eng an der Sache liegende Zahl verfälschen.

Daraus ergeben sich die Gegenmittel, die in der Literatur diskutiert werden. Donald Campbell empfahl, quantitative Indikatoren durch qualitative Verfahren zu ergänzen. Andrew Grove, damals Präsident des Halbleiterherstellers Intel, schlug 1983 vor, Kennzahlen paarweise zu verwenden, sodass eine Wirkung und ihre unerwünschte Gegenwirkung gemeinsam sichtbar werden, etwa Menge und Qualität. Diese Vorschläge sind plausibel begründet, aber selbst kaum vergleichend untersucht. Wie Kennzahlen aus einem Ziel abgeleitet werden, beschreibt Kennzahlensysteme und KPI-Baum.

Herkunft, Schulen und Streitfragen

Der Gedanke ist mehrfach und unabhängig formuliert worden, in Fächern, die wenig voneinander wussten.

Schon 1956 beschrieb der Managementforscher V. F. Ridgway, wie Leistungsmessung in Behörden und Unternehmen unerwünschtes Verhalten auslöste. In der Geldpolitik steht Goodharts Bemerkung neben der Lucas-Kritik von 1976, wonach sich Zusammenhänge aus der Vergangenheit ändern, sobald die Politik auf sie baut. In der Evaluationsforschung formulierte Campbell 1979 Campbells Gesetz: Je stärker ein sozialer Indikator für Entscheidungen genutzt wird, desto eher wird er verfälscht und verzerrt die Abläufe, die er beobachten soll. In der Managementforschung zeigte Steven Kerr 1975 an Beispielen, wie Organisationen ein Verhalten belohnen und ein anderes erhoffen (Fehlanreize). In der KI-Forschung wird dasselbe Muster heute unter Begriffen wie specification gaming untersucht, wenn ein System eine Zielfunktion erfüllt, ohne die gemeinte Aufgabe zu lösen.

Zwei Streitfragen sind offen.

Folgt daraus Skepsis gegenüber Kennzahlen überhaupt? Strathern verstand ihren Aufsatz als Kritik an einer Prüfkultur, in der aus der Beschreibung von Leistung eine Vorgabe dafür wird, was man vorzeigen muss. Bevan und Hood dagegen halten Zielvorgaben nicht für wertlos, sondern fragen, unter welchen Bedingungen der Anteil der Manipulation klein bleibt. Die erste Sicht betont, was Kennzahlen verdrängen, die zweite, wie man sie robuster macht.

Liegt das Problem bei den Menschen oder beim System? Kerr und die Forschung zu Fehlanreizen deuten Manipulation als vernünftige Reaktion auf widersprüchliche Signale. Die Fälle von Wells Fargo zeigen aber auch, dass aus solchen Reaktionen Betrug werden kann. Beide Lesarten schließen sich nicht aus.

Grenzen und Kritik

• Kein Gesetz im strengen Sinn. Die Aussage sagt nicht, wie stark und wie schnell eine Kennzahl ihre Aussagekraft verliert. In dieser Form lässt sie sich kaum widerlegen: Bleibt der Effekt aus, war der Druck eben zu gering.
• Ausgewählte Beispiele. Die bekannten Fälle sind solche, in denen etwas schiefging. Zielvorgaben, die ohne nennenswerte Verzerrung funktioniert haben, werden selten erzählt (Survivorship-Bias).
• Verdrängung ist nicht universell. Ob eine Belohnung innere Motivation mindert, hängt nach der Selbstbestimmungstheorie davon ab, ob sie als Kontrolle oder als Anerkennung erlebt wird. Bei Routinetätigkeiten ohne innere Motivation gibt es wenig zu verdrängen.
• Als Totschlagargument missbraucht. Der Verweis auf Goodhart dient mitunter dazu, jede Messung abzuwehren. Ohne Kennzahlen bleibt aber oft nur das Urteil derer, die ohnehin entscheiden, und das ist nicht frei von eigenen Verzerrungen (Wie Dashboards Entscheidungen verzerren).

Quellen

• Goodhart, C. A. E. (1975): Problems of Monetary Management: The U.K. Experience. Papers in Monetary Economics, Vol. I, Reserve Bank of Australia.
• Hoskin, K. (1996): The ‘awful idea of accountability’: inscribing people into the measurement of objects. In: Munro, R. & Mouritsen, J. (Hrsg.): Accountability: Power, Ethos and the Technologies of Managing. International Thomson Business Press.
• Strathern, M. (1997): ‘Improving ratings’: audit in the British University system. European Review 5(3), 305–321.
• Wikipedia: Goodhart’s law (Wortlaut Goodhart, Hoskin und Strathern).
• Lucas, R. E. (1976): Econometric Policy Evaluation: A Critique. Carnegie-Rochester Conference Series on Public Policy 1, 19–46.
• Ridgway, V. F. (1956): Dysfunctional Consequences of Performance Measurements. Administrative Science Quarterly 1(2), 240–247.
• Kerr, S. (1975): On the Folly of Rewarding A, While Hoping for B. Academy of Management Journal 18(4), 769–783.
• Campbell, D. T. (1979): Assessing the impact of planned social change. Evaluation and Program Planning 2(1), 67–90.
• Manheim, D. & Garrabrant, S. (2018): Categorizing Variants of Goodhart’s Law. arXiv:1803.04585.
• Bevan, G. & Hood, C. (2006): What’s measured is what matters: targets and gaming in the English public health care system. Public Administration 84(3), 517–538.
• Bevan, G. & Hamblin, R. (2009): Hitting and missing targets by ambulance services for emergency calls. Journal of the Royal Statistical Society A 172(1), 161–190.
• Deci, E. L. (1971): Effects of externally mediated rewards on intrinsic motivation. Journal of Personality and Social Psychology 18(1), 105–115.
• Deci, E. L., Koestner, R. & Ryan, R. M. (1999): A meta-analytic review of experiments examining the effects of extrinsic rewards on intrinsic motivation. Psychological Bulletin 125(6), 627–668.
• Cerasoli, C. P., Nicklin, J. M. & Ford, M. T. (2014): Intrinsic motivation and extrinsic incentives jointly predict performance: A 40-year meta-analysis. Psychological Bulletin 140(4), 980–1008.
• Frey, B. S. & Oberholzer-Gee, F. (1997): The Cost of Price Incentives: An Empirical Analysis of Motivation Crowding-Out. American Economic Review 87(4), 746–755. Zahlen nach Frey & Oberholzer-Gee: The Old Lady Visits Your Backyard.
• Krakovna, V. et al. (2020): Specification gaming: the flip side of AI ingenuity. DeepMind Blog.
• Grove, A. S. (1983): High Output Management. Random House.
• FDIC Office of Inspector General (2020): Wells Fargo Agrees to Pay $3 Billion to Resolve Criminal and Civil Investigations into Sales Practices.
• VOA News: Wells Fargo agrees to U.S. settlement (Strafe 2016 über 185 Millionen US-Dollar).
• Vann, M. G. (2003): Of Rats, Rice, and Race: The Great Hanoi Rat Massacre, an Episode in French Colonial History. French Colonial History 4, 191–203. Überblick: Wikipedia, Great Hanoi Rat Massacre.