Noch eine Beschwörungsformel: Die Ergebnisse der Umfrage basieren auf einem repräsentativen Querschnitt der Bevölkerung.
Diese Beschwörungsformel, sie steht in dieser oder einer ähnlichen Variante unter einer Vielzahl von Meinungsumfragen zu jedem beliebigen Thema. Die Beschwörungsformel ist wichtig, denn welcher Auftraggeber gibt schon Umfragen in Auftrag und bezahlt viel Geld dafür, wenn er hinterher nicht behaupten kann, das Ergebnis, das bei seiner Umfrage herausgekommen ist, sei repräsentativ und deshalb könne man Aussagen für z.B. alle Deutschen oder einen bestimmten Teil der Deutschen machen. Etwa so:
- Deutsche glauben an Flüchtlingsintegration.
- Repräsentative Umfrage in Wolfsburg: Die Nachfrage nach hochwertigem Wohnraum steigt.
- PlasticsEurope: Repräsentative Umfrage im Auftrag der Kunststofferzeuger – „Deutsche schätzen Kunststoff“
- Ergebnisse einer repräsentativen forsa-Umfrage:
Hamburg schlägt Monte Carlo, London und Paris als beliebteste Luxus-Traumstadt der Deutschen - Repräsentative Umfrage: Kritik an den Finanzämtern
Die tollen Ergebnisse, sie ließen sich nicht mehr so gut und so vollmundig verkaufen, wenn man kleinere Brötchen backen müsste, wenn man sagen müsste, von unseren 1000 Befragten glauben 354 an eine Integration von Flüchtlingen. Deutsche glauben an Flüchtlingsintegration klingt einfach deutlich besser.
Wenn da nur nicht immer diese dummen Wahlen wären, bei denen deutlich wird, dass Meinungsforschung alles andere als repräsentativ ist, dass Meinungsforschung im Gegenteil ein Mittel der Manipulation (je nachdem, wer bezahlt) sein kann und dass Meinungsforschung Ergebnisse produziert, die man mit jedem Würfel besser erreichen könnte.
Wir haben die Landtagswahlen in Baden-Württemberg, Rheinland-Pfalz und Sachsen-Anhalt zum Anlass genommen, um den Vorhersagefehler und das Manipulationspotential von Meinungsumfragen zu berechnen. Dazu haben wir für die Forschungsgruppe Wahlen (FGW), YouGov, Forsa und INSA die jeweils letzte Vorwahlumfrage und das darin prognostizierte Endergebnis mit dem vorläufigen Endergebnis verglichen, um ein Maß für die Akkuratheit der Meinungsumfragen zu erhalten.
Ergebnis: Die Meinungsumfragen sind nicht akkurat. Tippen Sie in Zukunft und Sie haben eine höhere Wahrscheinlichkeit, richtig zu liegen als Meinungsforschungsinstitute mit ihren angeblich repräsentativen Befragungen.
Die Abbildung zeigt, um wie viele Prozentpunkte die Vorhersagen der vier Meinungsforschungsinstitute daneben lagen. Die Abweichung in Baden-Württemberg und Rheinland-Pfalz beträgt dabei (mit der Ausnahme er FGW in Rheinland-Pfalz) regelmäßig mehr als 10 Prozentpunkte, d.h. die Wahrscheinlichkeit, dass die angeblich repräsentative Umfrage ein korrektes Ergebnis ergibt, ist mit einer Fehlerwahrscheinlichkeit belastet, die man in keiner statistischen Analyse dulden würde. Verheerend wird das Ergebnis in Sachsen-Anhalt. Hier liegen FGW, Forsa und INSA um 20 Prozentpunkte daneben. Wer würde ein Medikament nehmen, dessen Nebenwirkungen in 20% der Fälle eintreten?
Und doch gibt es Parteien, Verbände; Zeitungen und andere Medien, die Unsummen für Meinungsumfragen auf den Tisch legen.
Warum?
Weil Meinungsumfragen ein Manipulationspotential haben, das beträchtlich ist. Um dieses Manipulationspotential zu zeigen, haben wir ausgerechnet, wie sich die Vorhersagefehler die in der Abbildung dargestellt sind, prozentual auf die Parteien auswirken, die zu den Landtagswahlen angetreten sind.
Die Tabelle gibt das prozentuale Ausmaß und die Richtung des Vorhersagefehlers an. Ein positiver Wert sagt aus, dass der Anteil der entsprechenden Partei überschätzt wurde, ein negativer Wert zeigt an, dass der Anteil der entsprechenden Partei unterschätzt wurde.
Die Ergebnisse der Tabelle kann man wie folgt zusammenfassen:
- Die AfD wurde in allen Bundesländern erheblich schlechter prognostiziert als sie letztlich abgeschnitten hat. Der Anteil am Vorhersagefehler, der auf die AfD entfällt, beträgt zwischen 25,49% und 40,91%. Das ist erheblich und kann entweder dadurch erklärt werden, dass die Ergebnisse für die AfD von den vier Meinungsforschungsinstituten im Vorfeld heruntergewichtet wurden (Zum Hexenwerk der Gewichtung haben wir uns hier bereits geäußert) oder es bedeutet, dass die Meinungsforschungsinstitute viel zu wenige Befragte mit einer Wahlabsicht für die AfD in ihren Stichproben hatten, was wiederum heißt: Die Stichproben sind nicht zufällig, sondern systematisch gezogen und entsprechend systematisch verzerrt.
- In Baden-Württemberg wurden die Grünen von allen Meinungsforschungsinstituten überschätzt, dabei fällt der Wert von INSA (31,37%) besonders auf und legt die Frage nahe, wie diese extreme Überschätzung des Wahlanteils, die dreimal so hoch ausfällt als bei anderen Meinungsforschungsinstituten zu erklären ist. Normal ist sie nicht. Es sei denn, man nimmt an, die Stichprobe von INSA sei erheblicher verzerrt als die anderer Meinungsforschungsinstitute.
- In Rheinland-Pfalz ist das Abschneiden der CDU von allen Meinungsforschungsinstituten erheblich überschätzt worden. Der Einklang des Ausmaß‘ der Überschätzung ist insbesondere erstaunlich, so dass man sich abermals fragt, ob hier alle Stichproben verzerrt waren oder ob es andere Gründe gibt, auf die man die Abweichungen zurückführen muss, z.B. Gefälligkeitsgewichtung?
- In Sachsen-Anhalt gilt, was gerade für die CDU in Rheinland-Pfalz festgestellt wurde, für SPD und LINKE. Die Fragen, die sich stellen, sind dieselben.
- Schließlich drängen sich die beiden hohen Wert bei FORSA und der SPD in Baden-Württemberg und Sachsen-Anhalt in den Vordergrund. In beiden Fällen wird das Abschneiden der SPD so stark überschätzt (30,56% bzw. 30,77%), dass man sich fragt, ob hier die Parteimitgliedschaft von Forsa-Chef Güllner mit ihm durchgegangen ist.
Zusammenfassend kann man feststellen, dass die Landtagswahlen zeigen, dass Meinungsforschungsinstitute im Dunkeln stochern, wenn es darum geht, Wahleergebnisse zu prognostizieren, sie entsprechend nicht über repräsentative Stichproben verfügen können, dafür aber ein erheblicher Spielraum für Manipulation vorhanden ist, der auch genutzt zu werden scheint.
Helfen Sie uns dabei, ScienceFiles vom Hobby zum fest etablierten Blog zu machen. Machen Sie mit beim ScienceFiles-Projekt.
Mit Ihrer Spende können Sie dazu beitragen, dass wir uns nicht mehr nur nebenbei um ScienceFiles kümmern können und uns dem, was wir investigative Wissenschaft und angewandte Sozialwissenschaft nennen, voll widmen können.
Paypal:
Spendenkonto:
Wir empfehlen Transferwise, um die horrenden Bankgebühren deutscher Banken zu vermeiden.
- Bank: Tescobank plc.
- Accountname: ScienceFiles-Account
- BIC: TPFGGB2EXXX
- IBAN: GB40TPFG40642010588246
- Kontoinhaber: Michael Klein
- Bankgebühren umgehen mit Transferwise
Den aktuellen Spendenstand gibt es hier.