Die Fehlerspanne (englisch margin of error) gibt an, wie weit das Ergebnis einer Umfrage allein aufgrund des Zufalls bei der Auswahl der Befragten vom wahren Wert abweichen kann. Bei einer einfachen Zufallsstichprobe und einer Sicherheit von 95 Prozent beträgt sie ungefähr 1,96 · √(p · (1 − p) / n), wobei p der Anteil der Partei und n die Zahl der Befragten ist.
Das ergibt bei 1.000 Befragten für eine Partei bei 30 Prozent rund ±2,8 Prozentpunkte, bei 50 Prozent rund ±3,1 und bei 5 Prozent rund ±1,4. Wer in einer einzelnen Sonntagsfrage eine Partei von 29 auf 30 Prozent steigen sieht, beobachtet deshalb keine belegte Veränderung. Zwei Umfragen derselben Größe unterscheiden sich sogar erst dann deutlich, wenn die Differenz die Fehlerspanne beider Werte übersteigt. Das Wahl- und Politik-Radar fasst Umfragen mehrerer Institute zusammen, auch aus diesem Grund; die Angaben zu Fehlerspannen stehen dort unter Datenherkunft.
Die Formel ist eine Idealisierung. Sie erfasst nur den Stichprobenzufall. Nicht erfasst sind Verzerrungen durch Nichtteilnahme, Gewichtung oder die Frageformulierung, und viele Institute arbeiten mit Online-Panels, die keine reinen Zufallsstichproben sind. Die tatsächliche Unsicherheit ist daher meist größer als der ausgewiesene Wert. Dazu kommen systematische Unterschiede zwischen Instituten, siehe Hauseffekt.
Für die Praxis in Organisationen gilt dasselbe wie bei Mitarbeiterbefragungen: Kleine Unterschiede zwischen Abteilungen oder Jahren sind ohne Blick auf die Zahl der Antwortenden schwer zu deuten.
Quellen
- Margin of error. Wikipedia (Formel, Annahmen).
- Methodik und Fehlerspannen im Wahl- und Politik-Radar, Datenherkunft.