Wirkungslogik

Kurzfassung

Eine Wirkungslogik beschreibt, wie ein Vorhaben seine Ziele erreichen soll: welche Mittel eingesetzt werden, was damit getan wird, welche Leistungen entstehen und welche Veränderungen daraus folgen sollen. Die verbreitetste Form ist die Kette aus Input, Aktivitäten, Output, Outcome und Impact, im englischen Sprachraum als Logic Model bekannt, in Deutschland oft als Wirkungstreppe. Sie wird in Förderprogrammen, gemeinnützigen Organisationen und zunehmend in internen Veränderungsvorhaben verwendet.

Ihr Nutzen liegt vor allem darin, Annahmen sichtbar zu machen und Leistungen nicht mit Wirkungen zu verwechseln. Dass Vorhaben mit Wirkungslogik tatsächlich mehr bewirken, ist dagegen kaum untersucht. Die Literatur besteht überwiegend aus Leitfäden und Erfahrungsberichten.

Streit gibt es an zwei Stellen. Erstens beim Kausalitätsproblem: Je weiter oben in der Kette eine Wirkung liegt, desto weniger lässt sie sich einem einzelnen Vorhaben zuschreiben. Zweitens bei der Starrheit: Kritiker bemängeln, dass vorab festgelegte Ketten und Indikatoren zu Formularpflichten werden und Lernen eher verhindern.

Ablauf

Eine Wirkungslogik verbindet fünf Glieder. Die W. K. Kellogg Foundation, eine US-amerikanische Stiftung, hat sie in ihrem Logic Model Development Guide (2004) so beschrieben, und die meisten späteren Leitfäden folgen dieser Gliederung.

Die Zeitangaben stammen aus dem Kellogg-Leitfaden und beziehen sich auf soziale Programme. In Unternehmen sind die Zeiträume meist kürzer, die Reihenfolge bleibt gleich.

Die wichtigste Grenze verläuft zwischen Output und Outcome. Outputs zeigen, dass etwas stattgefunden hat, nicht, dass es etwas verändert hat. Eine Schulung mit 200 Teilnehmenden ist ein Output; ob danach jemand anders arbeitet, ist ein Outcome. Diese Unterscheidung ist der Kern der Methode und der häufigste Fehler in der Praxis: Berichte zählen Outputs und nennen sie Wirkung.

Das Kursbuch Wirkung der gemeinnützigen Analyse- und Beratungsgesellschaft Phineo, entstanden in Zusammenarbeit mit der Bertelsmann Stiftung, hat die Kette für den deutschsprachigen Raum als Treppe mit sieben Stufen aufbereitet. Die unteren beiden Stufen sind Outputs (Aktivitäten finden wie geplant statt, Zielgruppen werden erreicht), die mittleren vier Outcomes (Zielgruppen akzeptieren das Angebot, verändern Bewusstsein oder Fähigkeiten, ändern ihr Handeln, ihre Lebenslage ändert sich), die oberste der Impact (die Gesellschaft verändert sich). Von Wirkung spricht das Kursbuch erst ab den Outcome-Stufen. Wegen der Abkürzung für Input, Output, Outcome und Impact ist im deutschsprachigen Raum auch vom IOOI-Modell die Rede.

Zwischen den Gliedern stehen Annahmen darüber, warum eine Stufe zur nächsten führen soll. Ihre ausdrückliche Beschreibung heißt Theory of Change. Eine Wirkungslogik ohne benannte Annahmen ist eine Liste von Hoffnungen in zeitlicher Reihenfolge.

Für die Messung wird jedem Glied mindestens ein Indikator zugeordnet, also eine Kennzahl oder Beobachtung, an der man den Stand ablesen kann. Für Outputs ist das leicht, für Outcomes schwerer, für den Impact oft nicht mit vertretbarem Aufwand möglich. Indikatoren auf den oberen Stufen sind deshalb fast immer Stellvertretergrößen.

Nutzen und Beleglage

Die Belege für die Wirkungslogik sind dünn, und man sollte sie nach ihrer Art trennen.

Vergleichsstudien fehlen weitgehend. Untersuchungen, die Vorhaben mit und ohne ausgearbeitete Wirkungslogik in ihrem Ergebnis vergleichen, sind nicht verbreitet. Danielle Stein und Craig Valters von der London School of Economics sichteten 2012 die Literatur zur Theory of Change in der Entwicklungszusammenarbeit, aus 246 Dokumenten wählten sie 48 Leitfäden und Fachbeiträge aus. Sie fanden vier Verwendungszwecke (Planung, Monitoring und Evaluation, Beschreibung gegenüber Partnern, Lernen), aber kaum Arbeiten, die prüfen, wie gut die Annahmen einer Wirkungslogik durch Belege gestützt sind. Eine Bewertung der Wirkung der Methode selbst war nicht ihr Gegenstand.

Die Begründung ist plausibel und gut ausgearbeitet. Der zentrale Gedanke stammt aus der Evaluationsforschung. Wenn ein Programm scheitert, lässt sich ohne beschriebene Wirkungskette nicht sagen, ob die Idee falsch war oder die Umsetzung. Mit Kette lässt sich prüfen, an welcher Stelle sie gerissen ist: Fanden die Aktivitäten nicht statt, wurden die Zielgruppen nicht erreicht, oder änderte sich trotz Teilnahme nichts?

Erfahrungsberichte betonen die Verständigung. Leitfäden wie der von Kellogg und das Kursbuch Wirkung beschreiben als Hauptnutzen, dass Beteiligte sich darüber einigen müssen, was ein Vorhaben eigentlich erreichen will. Das ist ein Nutzen der Erarbeitung, nicht des fertigen Schaubilds, und er ist nur durch Berichte von Anwendern belegt.

Worauf die Methode beruht

Eine Wirkungslogik setzt mehrere Annahmen voraus, die nicht immer zutreffen.

1. Wirkung lässt sich als Abfolge beschreiben. Die Kette unterstellt, dass eine Stufe zur nächsten führt. Bei einfachen Vorhaben stimmt das annähernd. In komplexen Lagen, in denen viele Kräfte gleichzeitig wirken und Rückkopplungen entstehen, vereinfacht eine lineare Kette stark. Der Kellogg-Leitfaden räumt ein, dass ein Logic Model nicht linear sein muss und bei komplexen Programmen eher einer Begriffslandkarte gleichen kann.
2. Die Ziele stehen vorab fest. Eine Wirkungslogik beschreibt einen geplanten Weg. Wo erst im Verlauf klar wird, was erreichbar und sinnvoll ist, etwa in der Innovationsarbeit, veraltet sie schnell. Kellogg nennt das Modell deshalb einen Arbeitsentwurf, eine Momentaufnahme, die mit dem Vorhaben weiterentwickelt wird.
3. Die oberen Stufen lassen sich beobachten. Outcomes und Impact zeigen sich oft spät, verrauscht und vermischt mit anderen Einflüssen. Ohne Messung bleiben sie Behauptungen, mit Messung sind sie teuer.
4. Die Kette wird ernst genommen. Eine Wirkungslogik nützt nur, wenn ihre Prüfung Folgen haben darf. Wird sie nur erstellt, weil ein Geldgeber sie verlangt, beschreibt sie eher, was dieser lesen will.

Herkunft und Varianten

Wirkungsketten haben zwei Wurzeln, die sich später vermischt haben.

Die erste ist die Planung in der Entwicklungszusammenarbeit. 1969 entwickelte der Berater Leon Rosenberg für die US-Entwicklungsbehörde USAID den Logical Framework Approach, kurz Logframe. Er ordnet ein Vorhaben in einer Tabelle mit vier Zeilen (Aktivitäten, Outputs, Zweck, Oberziel) und vier Spalten (Beschreibung, überprüfbare Indikatoren, Nachweisquellen, Annahmen). Viele internationale Geber, darunter die deutsche GIZ, haben ihn übernommen.

Die zweite ist die theoriebasierte Evaluation sozialer Programme in den USA. Die Evaluationsforscherin Carol Weiss argumentierte 1995 in einem Beitrag für einen Band des Aspen Institute, komplexe Programme seien vor allem deshalb schwer zu bewerten, weil ihre Annahmen schlecht ausformuliert seien. Sie machte den Begriff Theory of Change bekannt. Das Logic Model der Kellogg Foundation steht zwischen beiden: eine Kette wie im Logframe, aber mit dem Ziel, die Programmtheorie sichtbar zu machen.

Die Begriffe werden in der Praxis oft gleichbedeutend verwendet. Stein und Valters stellen fest, dass viele Organisationen eine Theory of Change als Variante des Logic Model oder als erweiterte Annahmen-Spalte des Logframe behandeln, und halten das für die engste Lesart.

Attribution und Contribution

Das schwierigste Problem jeder Wirkungslogik ist die Frage, ob eine beobachtete Veränderung auf das Vorhaben zurückgeht. Zwei Sichtweisen stehen sich gegenüber.

Attribution (Zuschreibung) heißt, die Veränderung dem Vorhaben ursächlich zuzuordnen. Streng genommen verlangt das einen Vergleich mit dem, was ohne das Vorhaben geschehen wäre, also eine Vergleichsgruppe oder ein Experiment. Für die meisten Vorhaben ist das zu aufwendig oder nicht möglich.

Contribution (Beitrag) heißt, plausibel zu begründen, dass das Vorhaben zu einer Veränderung beigetragen hat. Der kanadische Evaluationsforscher John Mayne schlug 2001 dafür die Beitragsanalyse (contribution analysis) vor. Sie prüft die Wirkungslogik Glied für Glied gegen vorhandene Daten, sucht andere Erklärungen und verdichtet das Ergebnis zu einer glaubwürdigen „Beitragsgeschichte“. Das ersetzt keinen Kausalnachweis, macht aber offen, wie belastbar die Behauptung ist.

Das Kursbuch Wirkung zieht daraus eine sprachliche Folgerung: Ziele auf der Ebene der Zielgruppe lassen sich weitgehend dem eigenen Vorhaben zuordnen, gesellschaftliche Wirkungen dagegen kaum, weil viele andere Einflüsse beteiligt sind. Für den Impact empfiehlt es deshalb Formulierungen wie „Das Projekt trägt dazu bei, dass …“.

Grenzen und Kritik

Die Kritik richtet sich weniger gegen die Idee als gegen den Gebrauch.

• Starrheit. Ein vorab festgelegter Logframe mit Indikatoren und Zielwerten wird leicht zum Vertrag, an dem ein Vorhaben gemessen wird, auch wenn sich die Lage geändert hat. Der Entwicklungsforscher Des Gasper plädierte 2000 dafür, den Ansatz lernorientiert statt als Kontrollinstrument zu nutzen.
• Ausrede statt Erkenntnis. Wenn Aktivitäten und Outputs nachweislich erbracht wurden, die Ziele aber verfehlt, lässt sich das Scheitern auf äußere Umstände schieben. Diese Erfahrung wird aus Ländern mit schwachen Verwaltungen berichtet, sie gilt aber ebenso für Organisationen, in denen niemand für die oberen Stufen zuständig ist.
• Pflichtübung für Geldgeber. Stein und Valters berichten von der Sorge, dass Organisationen Wirkungslogiken vor allem anfertigen, um Programme zu „verkaufen“, und dabei die Prioritäten der Geber stärker abbilden als die der Zielgruppen.
• Lineare Vereinfachung. Einfache Wenn-dann-Ketten blenden Rückkopplungen, Nebenwirkungen und Machtverhältnisse aus. Komplexere Schaubilder werden dagegen schnell unlesbar.
• Indikatoren werden zum Ziel. Sobald die Indikatoren einer Wirkungslogik über Förderung oder Ansehen entscheiden, lohnt es sich, die Zahlen zu bewegen statt der Sache. Das beschreiben Goodharts Gesetz und, ausdrücklich für die Bewertung sozialer Programme, Campbells Gesetz. Weil Outputs leichter zu messen sind, verschiebt sich die Aufmerksamkeit dann zu den unteren Stufen.

Eine Wirkungslogik ist damit vor allem ein Werkzeug zum Nachdenken und Verständigen über ein Vorhaben. Sie macht sichtbar, worauf eine Erwartung beruht und wo man prüfen kann. Einen Nachweis, dass etwas wirkt, liefert sie nicht; den kann nur eine Evaluation erbringen, die die Kette an der Wirklichkeit prüft. Verwandte Werkzeuge für Ziele innerhalb von Organisationen sind der KPI-Baum und OKR.

Quellen

• W. K. Kellogg Foundation (2004): Logic Model Development Guide. Aktualisierte Fassung, Januar 2004.
• PHINEO gAG (Hrsg.), Kurz, B. & Kubek, D. (2021): Kursbuch Wirkung. 6. überarbeitete Auflage, Berlin.
• Weiss, C. H. (1995): Nothing as Practical as Good Theory: Exploring Theory-Based Evaluation for Comprehensive Community Initiatives for Children and Families. In: Connell, J. P. et al. (Hrsg.): New Approaches to Evaluating Community Initiatives. Aspen Institute. Einordnung: Center for Theory of Change, ToC Origins.
• Mayne, J. (2001): Addressing Attribution through Contribution Analysis: Using Performance Measures Sensibly. Canadian Journal of Program Evaluation 16(1), 1–24.
• Stein, D. & Valters, C. (2012): Understanding Theory of Change in International Development: A Review of Existing Knowledge. JSRP Paper 1, London School of Economics.
• Gasper, D. (2000): Evaluating the „Logical Framework Approach“ towards Learning-Oriented Development Evaluation. Public Administration and Development 20(1), 17–28.
• Wikipedia: Logical Framework Approach (Herkunft 1969, Rosenberg, Aufbau der Tabelle, Kritik).