Kind und wicked: Wann Erfahrung zu Können führt

Kurzfassung

Kind und wicked bezeichnen zwei Arten von Lernumgebungen: In einer kind („freundlichen“) Umgebung zeigt die Rückmeldung schnell und zutreffend, ob ein Urteil richtig war, in einer wicked („tückischen“) Umgebung kommt sie spät, lückenhaft oder führt in die Irre. Die Unterscheidung stammt von dem Entscheidungsforscher Robin Hogarth und erklärt, warum Erfahrung in manchen Berufen zu verlässlichem Können führt und in anderen vor allem zu Selbstsicherheit.

Belegt ist, dass die Güte von Expertenurteilen stark von der Aufgabe abhängt: Wo Ergebnisse regelmäßig und eindeutig zurückgemeldet werden, urteilen Erfahrene meist gut, wo nicht, oft kaum besser als Laien. Weniger belegt ist, wie genau sich eine bestimmte Umgebung einordnen lässt; die Begriffe beschreiben Pole eines Spektrums, keine Messgröße.

Für Organisationen ist die Unterscheidung nützlich, weil viele ihrer Rückmeldungen über Kennzahlen laufen, die selbst verzerrt sein können. Streit gibt es vor allem über populäre Folgerungen, etwa dass Generalisten in wicked Umgebungen grundsätzlich im Vorteil seien.

Was kind und wicked bedeuten

Hogarth führte die Begriffe 2001 in seinem Buch Educating Intuition ein. Sein Ausgangspunkt: Intuition ist kein angeborenes Gespür, sondern gelernt, und sie ist nur so gut wie die Rückmeldungen, aus denen sie gelernt wurde. Der Baustein Lernumgebungen kind und wicked beschreibt die Grundidee. Dieser Artikel ordnet sie ein und fragt, was aus ihr folgt.

Eine Rückmeldung kann auf zwei Weisen versagen. Sie kann zu spät kommen: Wer eine Strategie wählt, erfährt erst nach Jahren, ob sie aufging, und dann haben sich viele andere Umstände mit verändert. Und sie kann verzerrt sein: Sie zeigt nur einen Teil der Fälle, oder das eigene Handeln verändert das Ergebnis, an dem man sich misst. Beides zusammen ergibt die Vierfeldertafel.

Das Feld unten rechts ist das tückischste: Die Rückmeldung kommt prompt und wirkt eindeutig, also lernt man schnell und mit wachsender Sicherheit, aber man lernt etwas anderes als das, worauf es ankommt.

2015 schärften Hogarth, Tomás Lejarraga und Emre Soyer die Unterscheidung. Sie trennen das Lernumfeld, in dem jemand Erfahrungen sammelt, vom Zielumfeld, in dem er das Gelernte anwendet. Kind ist eine Umgebung, wenn beide eng übereinstimmen. Wicked wird sie, wenn das Lernumfeld nur einen Ausschnitt des Zielumfelds zeigt, umgekehrt das Zielumfeld nur einen Ausschnitt des Gelernten verlangt, sich beide nur teilweise überschneiden oder gar nichts miteinander zu tun haben. Diese Fassung erklärt auch Fälle, in denen die Rückmeldung zwar schnell und richtig ist, aber in einer anderen Lage gewonnen wurde als der, in der sie später genutzt wird.

Nutzen und Beleglage

Übersichten über Expertenleistung. James Shanteau verglich 1992 Studien zu Fachleuten aus vielen Berufen und fand, dass sich ihre Leistung weniger durch die Person als durch die Aufgabe erklären ließ. Gut schnitten Fachleute ab, die mit gleichbleibenden Gegenständen arbeiten und ihre Urteile regelmäßig überprüft bekommen, darunter Wetterfachleute, Schachmeister und Testpiloten. Schwach schnitten Fachleute ab, die menschliches Verhalten vorhersagen sollen und selten erfahren, ob sie richtig lagen, darunter klinische Psychologen, Richter und Börsenmakler. Die Übersicht ordnet Befunde ein, sie misst die Rückmeldung nicht direkt.

Theoretische Einigung zweier Lager. Daniel Kahneman, der vor allem die Fehler der Intuition untersucht hatte, und Gary Klein, der ihre Stärken in der Praxis beschrieb, kamen 2009 zu einem gemeinsamen Ergebnis. Ob man einem intuitiven Urteil trauen kann, hängt von zwei Bedingungen ab: ob die Umgebung regelhaft genug ist, um Vorhersagen zu erlauben, und ob die urteilende Person Gelegenheit hatte, diese Regeln durch lange Übung mit Rückmeldung zu lernen. Das Gefühl der Sicherheit sagt darüber nichts, denn es entsteht auch dort, wo es keine Regeln zu lernen gibt. Der Aufsatz ist eine Synthese vorhandener Forschung, keine neue Studie. Sein Gewicht liegt darin, dass er zwei gegensätzliche Forschungsrichtungen auf dieselben Bedingungen festlegt.

Modell der verzerrten Rückmeldung. Hillel Einhorn und Hogarth zeigten 1978 in einem Modell, wie sich falsches Vertrauen in das eigene Urteil hält. Wer etwa Bewerberinnen auswählt, sieht später nur, wie sich die Ausgewählten bewährt haben, nicht aber, wie sich die Abgelehnten entwickelt hätten. Zudem können Förderung und Erwartung die Ausgewählten erfolgreicher machen. Die Rückmeldung bestätigt dann ein Urteil, das sie gar nicht prüft. Dasselbe Muster beschreibt der Survivorship Bias.

Prognosen. Philip Tetlock fand, dass Fachleute für Politik und Wirtschaft langfristige Entwicklungen im Mittel wenig treffsicher vorhersagten, und zeigte später, dass sich Prognosen verbessern lassen, wenn sie präzise formuliert, nach Monaten ausgewertet und bewertet werden. Das entspricht dem Versuch, eine wicked Umgebung für eine Teilfrage künstlich kind zu machen (siehe Urteilen unter Unsicherheit).

Populäre Verbreitung. Der Wissenschaftsjournalist David Epstein machte die Begriffe 2019 mit seinem Buch Range bekannt. Er stellt Lebensläufe aus Sport, Musik und Wissenschaft gegenüber und folgert, dass frühe Spezialisierung in kind Umgebungen wie dem Schach oder dem Golf nützt, in wicked Umgebungen aber breite Erfahrung im Vorteil sei. Das Buch beruht auf ausgewählten Fällen und Einzelstudien. Als Beleg für die Unterscheidung selbst taugt es weniger als die Fachliteratur, auf die es sich stützt.

Worauf die Unterscheidung beruht und was aus ihr folgt

Die Unterscheidung setzt drei Dinge voraus. Erstens, dass Menschen aus Rückmeldung lernen, ohne es zu bemerken, also auch das Falsche. Zweitens, dass sich Umgebungen in ihrer Regelhaftigkeit unterscheiden: Manche Ergebnisse hängen verlässlich von erkennbaren Merkmalen ab, andere zu einem großen Teil vom Zufall. Drittens, dass sich nicht die Person, sondern die Umgebung zuerst prüfen lässt. Daraus ergeben sich drei Folgerungen für Organisationen.

Kennzahlen. In Organisationen kommt Rückmeldung oft als Zahl. Eine Kennzahl kann eine wicked Umgebung kind machen, wenn sie schnell und zutreffend zeigt, was eine Entscheidung bewirkt hat. Sie kann sie aber auch ins Feld unten rechts verschieben: Wer an einer leicht messbaren Stellvertretergröße lernt, wird darin besser, nicht unbedingt im eigentlichen Ziel. Wird die Zahl zudem zum Ziel, verändert das Verhalten die Messung (Goodharts Gesetz). Die Unterscheidung von Früh- und Spätindikatoren lässt sich so lesen: Frühindikatoren beschleunigen die Rückmeldung und erkaufen das mit dem Risiko, dass sie das Falsche anzeigen.

Berufserfahrung. Jahre im Beruf sind nach Kahneman und Klein nur dort ein Hinweis auf gutes Urteil, wo diese Jahre viele Durchgänge mit zutreffender Rückmeldung enthielten. Wer zehn Jahre lang Strategien entwickelt hat, hat vielleicht drei oder vier vollständige Rückmeldungen erhalten, und die waren von Marktlage und Zufall überlagert. Für die Frage, wessen Einschätzung in einer Besprechung Gewicht bekommen sollte, ist das unbequem: Sicheres Auftreten und lange Erfahrung sind leichter zu sehen als die Güte der Rückmeldungen, aus denen sie entstanden.

KI-Agenten. Lernende Systeme sind auf ähnliche Weise von ihrer Umgebung abhängig. Spiele wie Go sind kind: Die Regeln sind fest, und jede Partie endet mit einem eindeutigen Ergebnis. Das Programm AlphaGo Zero übertraf dort 2017 allein durch Spiele gegen sich selbst, ohne menschliche Partien als Vorlage, frühere Versionen, die bereits Weltklassespieler besiegt hatten. In Organisationen sind die Bedingungen anders. Ein Agent, der aus historischen Daten oder aus der Zustimmung von Nutzern lernt, lernt in einem Lernumfeld, das vom späteren Zielumfeld abweichen kann, und wird an Stellvertretergrößen bewertet. Das ist eine Übertragung der Unterscheidung, keine Aussage der genannten Forschung. Sie legt aber nahe, bei einem Agenten dieselbe Frage zu stellen wie bei einem Menschen: Woraus hat er gelernt, und wie ähnlich ist das der Lage, in der er nun urteilt? Zur Zusammenarbeit von Mensch und Agent siehe Mensch und Automation.

Auch Prototyping lässt sich in diesem Rahmen lesen: Ein Prototyp verkürzt die Rückmeldeschleife für eine Teilfrage, aber nur, wenn die Testsituation dem späteren Gebrauch ähnlich genug ist.

Herkunft, Abgrenzung und Streitfragen

Die Begriffe stehen in einer Forschungslinie, die nach dem Verhältnis von Urteil und Umgebung fragt. Herbert Simon hatte die Rationalität des Menschen mit einer Schere verglichen, deren eine Klinge die Umgebung ist; Gerd Gigerenzer fragte mit der ökologischen Rationalität, in welchen Umgebungen einfache Regeln gut funktionieren. Hogarth wendete denselben Gedanken auf das Lernen an: nicht welche Regel passt, sondern ob die Umgebung es überhaupt erlaubt, die passende Regel zu lernen.

Das englische Wort wicked führt leicht zu Verwechslungen mit zwei anderen Konzepten, die im Wissensbereich vorkommen.

Die drei hängen zusammen, sind aber nicht dasselbe. Ein wicked Problem im Sinne von Rittel und Webber liegt meist in einer wicked Lernumgebung, weil jeder Lösungsversuch einmalig ist und keine saubere Rückmeldung erzeugt. Umgekehrt kann eine Lernumgebung wicked sein, obwohl das Problem klar definiert ist, etwa wenn bei der Personalauswahl der Erfolg der Abgelehnten unbekannt bleibt. Cynefins komplexer Bereich, in dem sich Ursache und Wirkung erst im Nachhinein zeigen, beschreibt eine Lage, in der Rückmeldung zwangsläufig spät kommt. Cynefin fragt aber, wie man handeln soll, Hogarth, wie man lernt.

Zwei Streitfragen sind offen. Die erste betrifft die Einordnung: Ob eine Umgebung kind oder wicked ist, hängt davon ab, welche Frage man an sie stellt. Ein Vertriebsteam bekommt schnelle Rückmeldung darüber, ob ein Gespräch zum Abschluss führte, aber kaum darüber, ob der Kunde langfristig zufrieden war. Die zweite betrifft die Folgerung: Hogarth schlug vor, Intuition gezielt in kind Umgebungen zu schulen oder Rückmeldung herzustellen. Epstein folgert eher, in wicked Umgebungen auf Breite statt auf Tiefe zu setzen. Beide Folgerungen gehen über das hinaus, was die Studien direkt zeigen.

Grenzen und Kritik

• Kein Messinstrument. Es gibt kein etabliertes Verfahren, um die Freundlichkeit einer Umgebung zu bestimmen. Die Einordnung bleibt ein begründetes Urteil und ist damit selbst anfällig für die Verzerrungen, die sie erklären soll.
• Pole statt Typen. Die Vierfeldertafel legt zwei klare Arten nahe. Tatsächlich sind Geschwindigkeit und Verlässlichkeit von Rückmeldung stufenlos, und die Fassung von 2015 kennt mehrere Formen der Abweichung.
• Nachträgliche Erklärung. Die Unterscheidung lässt sich leicht im Nachhinein anwenden: Wo Fachleute gut waren, war die Umgebung eben kind. Vorhersagekraft hat sie erst, wenn die Umgebung vor dem Vergleich eingeordnet wird, und solche Studien sind selten.
• Populäre Zuspitzung. In Ratgebern wird aus der Unterscheidung oft eine Empfehlung für Generalisten oder gegen Fachleute. Die Forschung sagt etwas Engeres: dass sich die Verlässlichkeit eines Urteils nicht an Erfahrung oder Sicherheit ablesen lässt, sondern an der Umgebung, aus der es gelernt wurde.

Quellen

• Rittel, H. W. J. & Webber, M. M. (1973): Dilemmas in a General Theory of Planning. Policy Sciences 4(2), 155–169.
• Einhorn, H. J. & Hogarth, R. M. (1978): Confidence in Judgment: Persistence of the Illusion of Validity. Psychological Review 85(5), 395–416.
• Simon, H. A. (1990): Invariants of Human Behavior. Annual Review of Psychology 41, 1–19.
• Shanteau, J. (1992): Competence in Experts: The Role of Task Characteristics. Organizational Behavior and Human Decision Processes 53(2), 252–266.
• Hogarth, R. M. (2001): Educating Intuition. University of Chicago Press.
• Tetlock, P. E. (2005): Expert Political Judgment. Princeton University Press.
• Kahneman, D. & Klein, G. (2009): Conditions for Intuitive Expertise: A Failure to Disagree. American Psychologist 64(6), 515–526.
• Mellers, B. et al. (2014): Psychological Strategies for Winning a Geopolitical Forecasting Tournament. Psychological Science 25(5).
• Hogarth, R. M., Lejarraga, T. & Soyer, E. (2015): The Two Settings of Kind and Wicked Learning Environments. Current Directions in Psychological Science 24(5), 379–385.
• Silver, D. et al. (2017): Mastering the Game of Go without Human Knowledge. Nature 550, 354–359.
• Epstein, D. (2019): Range: Why Generalists Triumph in a Specialized World. Riverhead Books (Wikipedia).
• Snowden, D. J. & Boone, M. E. (2007): A Leader’s Framework for Decision Making. Harvard Business Review 85(11), 68–76.