Gewichtung von Umfragedaten: Magisches aus Meinungsforschungsinstituten

Dr. habil. Heike Diefenbach & Michael Klein

Die geringen Prozentwerte, die z.B. die ARD in den von ihr bezahlten Infratest Dimap Umfragen für die Alternative für Deutschland ausweist, haben zu einer Diskussion darüber geführt, wie diese Umfrageergebnisse überhaupt zu Stande kommen. Dabei spielt vor allem die Frage der Gewichtung von Rohdaten eine wichtige Rolle. So hat der Chef der AfD im Handelsblatt Folgendes behauptet:

„Es gibt ein Problem mit den Meinungsumfragen“, sagte Lucke im Interview mit dem Handelsblatt (Freitagausgabe). „Die Forschungsinstitute nutzen den Spielraum der statistischen Analyse, um uns kleinzurechnen“, kritisierte der AfD-Chef. „Sie wollen offenbar ihre Hauptauftraggeber, die etablierten Parteien, nicht verärgern.“ Er habe für seinen Vorwurf „eindeutige Hinweise von Mitarbeitern der Wahlforscher“, sagte Lucke. „In den Rohdaten von Allensbach und Forsa liegen wir deutlich über fünf Prozent.“

Natürlich haben Wahlforscher dem heftig widersprochen, von: hier wird weder herunter- noch hochgerechnet bis zur Drohung mit einer Unterlassungsklage reichen die Reaktionen. Trotz aller Bekundungen wollen die kritischen Stimmen nicht verstummen, und die Frage, was bei der Auswertung der Daten von Wahlumfragen nun wirklich passiert, ist plötzlich für viele von Interesse.

Unberechtigt ist die Frage sicher nicht: So basiert die letzte von der ARD veröffentlichte Umfrage auf den Angaben von 1008 Wahlberechtigten, die eine repräsentative Stichprobe für alle Wahlberechtigten abgeben sollen. Letzteres soll durch die Auswahlmethode gewährleistet sein: Die “repräsentative Zufallsauswahl / Dual Frame”.

Wie können Angaben von 1.008 Personen repräsentativ für rund 61 Millionen Wahlberechtigte sein? Nun, fragt man z.B. die beiden empirischen Sozialfoscher, die ScienceFiles betreiben, dann lautet die Antwort: Sie können es gar nicht. Wir kennen beide keinen einzigen Datensatz, der trotz aller versierter Zufallsauswahlmethoden auch nur in die Nähe einer Repräsentativität gekommen wäre. Und wir haben beide mit einer Vielzahl von Datensätzen gearbeitet, angefangen bei Datensätzen von IPOS (Institut für Praxisorientierte Sozialforschung), dem Sozialforschungsableger der Forschungsgruppe Wahlen, über den Eurobarometer, die Daten des International Social Survey Programme, das SOEP, die European Election Studies, den World Value Survey bis hin zu einer Reihe von Datensätzen, an deren Erhebung wir beteiligt waren. Aufgrund dieser Erfahrungen sind wir beide der Ansicht, dass Repräsentativität ein Fetisch ist, mit dem Meinungsforschungsinstitute wedeln, um ihre Ergebnisse verlässlicher erscheinen zu lassen. Warum wir bislang keinem “repräsentativen Datensatz begegnet sind und auch in Zukunft keinem begegnen werden, das wollen wir hier kurz ausführen.

Was ist eine Zufallsauswahl?

Wie der Name schon sagt, erfolgt bei einer Zufallsauswahl die Auswahl der Befragten zufällig. Wichtig bei einer Zufallsauswahl ist es, dass jedes Element der Grundgesamtheit, im vorliegenden Fall alle Wahlberechtigten, die gleiche Chance hat, befragt zu werden. Das klingt simpel, ist es aber nicht. Die erste Frage: Wie kommt man an Daten zu allen Wahlberechtigten? Dies geht z.B. über die Ordnungsämter oder den Bundeswahlleiter, in dem man Daten der Wahlberechtigten bzw. Daten der über 18-jährigen Deutschen nachfragt. Man kann auch einfach loslaufen und in verschiedenen Gegenden Deutschlands Personen über 18 Jahre fragen, ob sie wahlberechtigt sind, um Migranten, die nicht wahlberechtigt sind, auszuschließen. Meinungsforschungsinstitute tun in der Regel dann, wenn es um Wahlumfragen geht, nichts davon: Sie telefonieren, d.h. ihre Mitarbeiter telefonieren. Sie rufen Personen an, die sie in einem Pool gesammelt haben, z.B. weil die entsprechenden Personen bereits in der Vergangenheit befragt wurden und ergänzen diesen Pool durch zufällig ausgewählte weitere Befragte (Telefonnummern kann man entweder zufällig generieren oder aus einem digitalen Telefonbuch zufällig ziehen).

Wie auch immer die Auswahl der Befragten erfolgt, das Ergebnis ist nie repräsentativ. Die Rohdaten sind immer verzerrt. Warum? Die Antworten sind einfach: Wahlberechtigte halten sich nicht zur selben Zeit am selben Ort auf, um sich dort von Meinungsforschern befragen zu lassen. Wahlberechtigte sind einfacher oder schwieriger zu erreichen. Manche Wahlberechtigte sind gar nicht zu erreichen, weil sie im Urlaub, im Krankenhaus, im Führerhaus ihres Lkws oder mit der Bundeswehr in Afghanistan sind. Kurz: Die geforderte gleiche Möglichkeit, für jeden Wahlberechtigten zufällig in die Befragung zu gelangen, ist nicht erfüllbar. Die Zufallsauswahl ist keine Zufallsauswahl. Sie ist nur ein mehr oder weniger gutes Abbild der Grundgesamtheit aller Wahlberechtigten, und eines sicher nicht: repräsentativ.

Was tun? Das Statistische Bundesamt und bestimmte Rückerinnerungsfragen helfen vermeintlich weiter. Das statistische Bundesamt hat Daten, die die Anteile von Wahlberechtigten nach Alter, Geschlecht und Bildung, nach Beruf oder nach Wohnort ausweisen. Jede Befragung enthält einen sogenannten demographischen Teil, in dem Alter, Geschlecht, Bildungsabschluss, Wohnort und Beruf der Befragten abgefragt werden. Stellt man nun fest, dass im Datensatz 10% unter 30jähriger Männer enthalten sind, unter den Wahlberechtigten der Anteil der unter 30jährigen Männer, aber: sagen wir 20% beträgt, dann ist der erste Gewichtungsfaktor bereits gefunden: Männer unter 30 Jahren im Datensatz werden verdoppelt, d.h. mit dem Faktor 2 multipliziert.

Nun geht es bei “Wahlprognosen” um die Wahlentscheidung, und deshalb wird in der Regel nach der letzten Wahlentscheidung gefragt, in diesem Fall bei der Bundestagswahl 2009. Die Ergebnisse werden aggregiert und mit dem tatsächlichen Wahlergebnis der letzten Bundestagswahl verglichen. Sagen 30% der aktuell Befragten, sie hätten das letzte Mal CDU gewählt, die CDU hatte aber 33,8% der Stimmen bei der Bundestagswahl 2009 , dann besteht hier eine Diskrepanz von 3,8%, so dass die Stimmen von ehemalgen CDU-Wählern im Datensatz mit dem Faktor 33,8/30 = 1,13 gewichtet werden. So, jedenfalls, beschreibt es Dr. Thomas Petersen auf der Achse des Guten und so will er die Behauptung des Mitgründers der Mannheimer Forschungsgruppe Wahlen (FGW), Wolfgang Gibowski, dass alle Meinungsforschungsinstitute außer der FGW ihre Hochrechnungsprozedur, ihre jeweilige Form der Gewichtung hüten wie ein Staatsgeheimnis, entkräften.

Hier die Lüftung des Geheimnisses durch Thomas Petersen:

“Hat eine Partei A bei der letzten Wahl 50 Prozent der Stimmen erhalten und kommt bei der Rückerinnerungsfrage auf den zu tiefen Wert von 45 Prozent, so ergibt sich ein Gewichtungskoeffizient von 50 : 45 = 1,11. Das heißt, die 45 Prozent Befragten, die die Partei gewählt haben, werden so gezählt, als würden sie 50 Prozent derer ausmachen, die bei der letzten Wahl gewählt und eine konkrete Angabe gemacht haben. Hundert Personen mit diesen Merkmalen zählen soviel, als wären sie 111 Befragte.”

Dass dieses Beispiel so nicht stimmen kann bzw. nur einen Teil der Wahrheit darstellt, kann jeder für sich selbst feststellen, wenn er sich drei Fragen stellt:

• Warum soll ausgerechnet die Rückerinnerung an die letzte Wahlentscheidung dabei helfen, einen Datensatz richtig zu gewichten? Was, wenn die Rückerinnerung falsch oder schlicht unwahr ist? Was, wenn die Anzahl derjenigen, die sich rückerinnern wollen, verzerrt ist, also nicht repräsentativ für die Grundgesamtheit? 
• Was ist mit Nichtwählern? Wie werden Nichtwähler, die 2009 nicht gewählt haben, 2013 aber eine Wahlangabe machen, gewichtet? [Und für Insider: Wie gehen die Meinungsforscher damit um, dass Rückerinnerungsfragen immer und ausnahmslos die Anteile der Partei überschätzen, die gewonnen hat?]
• Was ist mit neuen Parteien, die mit der Frage nach der letzten Wahlentscheidung nicht erhoben werden können, weil es sie bei der letzten Wahl schlicht noch nicht gab?

Dass das von Petersen dargestellte Verfahren so nicht funktionieren kann, ist spätestens jetzt klar. Somit stellt sich die Frage, was beim Gewichten wirklich passiert und mit dieser Frage ist man bei der Aussage von Wolfgang Gibowski: Niemand außerhalb der entsprechenden Institute weiß es so genau. Was genau geschieht ist ein gut behütetes Geheimnis, das man jedoch aufgrund der aus der empirischen Sozialforschung bekannten Praktiken zumindest teilweise lüften kann.

Da alle Stichproben von der Grundgesamtheit der deutschen Bevölkerung oder der Wahlberechtigten im Hinblick auf sozialstrukturelle Merkmale wie Alter, Geschlecht, Bildung oder Wohnort abweichen, müssen die verzerrten Stichproben wie dies oben dargestellt wurde, begradigt werden. Dies erfolgt durch schlichte Multiplikation, so dass die Verteilung in der Stichprobe anteilig der Verteilung in der Grundgesamtheit entspricht. Nun geht es zudem darum, dass die Wahlentscheidung “repräsentativ” sein soll und entsprechend werden anhand der letzten Wahlentscheidung die Wähler sozio-demographisch gewichtet. Wenn die CDU beim letzten Mal 25% Wähler unter hochgebildeten selbständigen Männern hatte, im Datensatz aber nur 20%, dann werden hochgebildete selbständige Männer unter den CDU-Wählern mit dem Faktor 25/20 gewichtet, also mit 1,25 multipliziert. Dass Gewichtung entsprechend ein beharrendes Element hat und deshalb neue Parteien immer unterschätzt werden, ist mehr als deutlich geworden, und so betrachtet hat der Chef der AfD einen Punkt, wenn er behauptet, die AfD würde heruntergerechnet. Sie wird es vermutlich nicht absichtlich, aber als Folge der Gewichtung der Daten. Dass neue Parteien schlechter dastehen, als sie es tatsächlich tun, wird entsprechend billigend in Kauf genommen, immer in der Hoffnung, die tatsächliche Abweichung vom ausgewiesenen Prozentsatz bewege sich innerhalb des statistischen Fehlers von 2 Prozent.

Donorbox

Unterstützen Sie ScienceFiles

Unsere eigene ScienceFiles-Spendenfunktion

Unser Spendenkonto bei Halifax:

• IBAN: GB15 HLFX 1100 3311 0902 67
• BIC: HLFXGB21B24