NoLympia: Eine Blamage auch für die Meinungsforschung

Kräftigt blamiert hat sich die Forschungsgruppe Wahlen aus Mannheim, die Hausdemoskopen des ZDF, mit ihrer Vorhersage des Ausgangs des Hamburger Referendums über die Olympiabewerbung der Stadt: 56% der Hamburger, so die Forschungsgruppe, würden eine Bewerbung Hamburgs befürworten, 44% sie ablehnen.

Tatsächlich lehnten 51,6% der 651.589 Hamburger, die sich am Olympia-Referendum beteiligt haben, eine Bewerbung Hamburgs ab, 48,4% befürworteten die Bewerbung.

Nolzmpia7,6% daneben. Das ist heftig und mit dem Anspruch, die eigenen Befragungen seien repräsentativ, nicht in Einklang zu bringen.

Entsprechend müht sich Matthias Jung von der Forschungsgruppe Wahlen in der Welt, das Vorhersage-Fiasko zu erklären, und zwar so:

‚Beim Olympia-Referendum in Hamburg haben wir erstmals eine telefonische Sonntagsbefragung gemacht, die offensichtlich nicht ausgereicht hat, um die Breite der unterschiedlichen Standpunkte in der Bevölkerung abzubilden‘, sagte Matthias Jung von der Forschungsgruppe Wahlen im Gespräch mit der ‚Welt‘. Im Auftrag des ZDF hatte die Mannheimer Forschungsgruppe am Tag der Abstimmung eine telefonische Umfrage durchgeführt. Dabei wurden 3800 zufällig ausgewählte Wahlberechtigte angerufen.“

Wie seltsam, wo in der Regel 1000 zufällig ausgewählte Befragte ausreichen sollen, um die Repräsentativität des Ergebnisses zu gewährleisten, reichen dieses Mal nicht einmal 3800 Befragte, um dieselbe zu erreichen und auch nur in die Nähe des tatsächlichen Ergebnisses zu kommen.

Wo liegt das Problem?

Es ist die falsche Art der Befragung, sagt Matthias Jung, nicht Exit-Poll, also Interviewer vor dem Wahllokal postiert habe man, sondern telefonische Interviews durchgeführt. Deshalb sei die Vorhersage falsch gewesen.

Worin nun liegt der Unterschied zwischen einer Exit-Poll-Befragung und den telefonischen Interviews?

Nun, die Befragten für Letztere werden nach den Kriterien ausgewählt, die Meinungsforschungsinstitute regelmäßig anführen, um die von ihnen behauptete Repräsentativität ihrer Ergebnisse zu belegen.

FGWBei Exit-Poll Befragungen verlassen sich Meinungsforscher seltsamerweise nicht auf die doch angeblich so unfehlbare Repräsentativität per Zufallsauswahl. Vielmehr suchen sie die Wahllokale, vor denen sie ihre Interviewer postieren, danach aus, dass die dort in der Vergangenheit zu beobachtende Verteilung der Stimmen, dem späteren Gesamtergebnis recht nahe gekommen ist, und sie postieren ihre Interviewer in Wahlkreisen, die als Hochburgen jeweils einer Partei gelten, um schnell sehen zu können, in welchen Hochburgen die Stimmen abschmelzen und in welchen nicht. Anders formuliert: Sie, die ansonsten nicht müde werden, die Repräsentativität ihrer Umfragen zu betonen, sie täuschen und suchen Wahlkreise zur Hochrechnung des Endergebnisses gerade nicht nach Repräsentativität, sondern nach besonderen, nicht repräsentativen, also nach Alleinstellungs-Merkmalen aus.

Mit guten Grund, denn was herauskommt, wenn sich Meinungsforscher auf ihre behauptete Repräsentativität verlassen, das sieht man in Hamburg: gut 8% daneben und alles andere als repräsentativ, sondern verzerrt.

Das Fiasko von Hamburg, es hat für die Branche entsprechend erhebliche Konsequenzen, wurde doch deutlich, was man von der angeblichen Repräsentativität zufällig gezogener Befragter zu halten hat: Nichts.

Daran ändert auch der lahme Verweis auf das Experiment nichts, das angeblich durchgeführt worden sei. Es ist mehr als deutlich geworden, dass selbst Zufallsstichproben von 3800 Befragten, also mehr als dreimal die normale Anzahl von Befragten, nicht einmal in die Nähe einer repräsentativen Stichprobe kommen. Entsprechend kann man die auf vermeintlichen repräsentativen Auswahlen basierenden Studien, die gerade wieder an allen Ecken und Enden aus dem Boden schießen, in der Pfeife rauchen: Sie sind ihr Geld nicht wert!

Und was von der Aussage Jungs zu halten ist, nach der 3.800 zufällig gezogene Befragte nicht ausreichen, um „die Breite der unterschiedlichen Standpunkte in der Bevölkerung abzubilden“, wo die Breite der Standpunkte doch eher beschränkt war, dichotom um genau zu sein und eine Entscheidung mit zwei Alternativen, nämlich ein Für und ein Wider Olympia umfasst hat, das kann sich jeder selbst denken.

ScienceFiles ist ein Non-Profit-Blog. Damit wir unser Angebot aufrechterhalten und vielleicht sogar ausbauen können, benötigen wir Ihre Unterstützung
durch eine Spende (via Paypal) durch eine Spende (via Banküberweisung) als ScienceFiles-Clubmitglied
  • Bank: Tescobank plc.
  • Accountname: ScienceFiles-Account
  • BIC: TPFGGB2EXXX
  • IBAN: GB40TPFG40642010588246
  • Kontoinhaber: Michael Klein
  • Bankgebühren umgehen mit Transferwise

Über Michael Klein
... concerned with and about science

17 Responses to NoLympia: Eine Blamage auch für die Meinungsforschung

  1. Pingback: [Kritische Wissenschaft] NoLympia: Eine Blamage auch für die Meinungsforschung

  2. Pingback: Demoskopie des tages | Schwerdtfegr (beta)

  3. Gereon says:

    Die Meinungsumfragen sind doch wohl eher für den Auftraggeber und werden in dessen Richtung hin geschönt. Ausserdem sehe ich sie als Mittel der Meinungsgleichschaltung, um dem nicht Hinterfragenden die vorgeblich vorherrschende Meinung nahezulegen.
    In Onlineumfragen erfährt Merkel und die Regierungspolitik regelmässig 80-95% Ablehnung, die Umgeheung von Recht und Grundgesetz ist jedem bewusst. Die AfD erfährt dort bis zu 60% Zustimmung. Selbst wenn man eine Fehlerquote durch Internet-Affine annimmt, zeichnet sich doch ein gewaltig anderes Bild ab, als die harmonischen Ergebnisse, die wir aus der Aktuellen Kamera oder dem Schwarzen Kanal gewöhnt sind.

  4. Walter S. says:

    Das ist jetzt zugegeben etwas pedantisch, aber trotzdem: Sie schreiben am Anfang des dritten Absatzes: „7,6% daneben.“ Es müsste aber heißen: „7,6 ProzentPUNKTE daneben.“ Relativ betrachtet liegt die Forschungsgruppe Wahlen mit dieser Differenz nämlich ca. 17 Prozent daneben.

  5. Tobias Spengler says:

    „56% der Hamburger, so die Forschungsgruppe, würden eine Bewerbung Hamburgs befürworten, […] , 48,4% befürworteten die Bewerbung. 7,6% daneben.“

    Ähh, das sollte wohl eher heissen, oder?

  6. hgb says:

    Mir erschließt sich zudem nicht, welche Erkenntnis das ZDF aus einer solchen Umfrage – die ja von den Beitragszahlern bezahlt wird und wohl nicht Teil des Rundfunkauftrages ist – gewinnen wollte. Insidervorteile?

  7. Pete says:

    Das ist m.E. eher ein technisches Problem, dass die Prognose so danebenging. Man hat 3800 Leute angerufen. Ueber den Festnetzanschluss. Und da liegt der Hase im Pfeffer, denn der wird vor allem von Jüngeren kaum noch benutzt, die haben ihr Taschentelefon und das war es. Das Mobiltelefon, bzw. dessen Rufnummer steht aber eher seltener in irgendeinem Telefonbuch. Und so fällt eine grosse Gruppe schonmal durch das Suchraster. Übrig bleiben dann diejenigen, denen man noch eher solche Grossveranstaltungen der Korrupten andrehen kann… (übermässig gross war die prognostizierte Mehrheit aber auch nicht)

    Dieses Phänomän wurde schon früher angesprochen, wenn es um Telefonumfragen ging. In der heutigen Zeit sind solche Erhebungen unzuverlässig, wenn es Demoskopie geht.

    • Telefon-Befragungen funktionieren aber nicht so, wie Sie das annehmen. Angerufen wird ein Anschluss und dort wird nicht derjenige interviewt, unter dessen Namen der Anschluss im Telefonbuch steht, sondern eine Person, die im Haushalt lebt, und wenn der Haushalt nur aus einer Person besteht, was selten der Fall ist, dann wird diese Person befragt. Auf diese Weise kann man das Problem mit dem Mobiltelefon umgehen und genau deshalb ist das Fiasko ein Fiasko.

  8. L.Bagusch says:

    Na endlich mal was gutes in den Nachrichten ! 🙂
    Es ist doch klar das die Kosten für solche Veranstaltungen mächtig hoch sind und sowieso während der Bauveranstaltung steigen werden, das sieht man ja am besten an S21 oder BER !
    Die deutschen Ingeneure und Architekten haben ihren Ruf deshalb schon verloren Dank den korrupten Politdarstellen und nimmersatten und raffgierigen Groß-Konzerne !!!

  9. kakalu says:

    Ihren Ausführungen kann ich nicht zustimmen. Dass die Prognose daneben lag, zeigt zunächst nur, dass die Prognose daneben lag. Sie zeigt nicht (der Stichprobenumfang für ihre Ausführungen hat die Größe 1), dass repräsentative Umfragen stets daneben liegen müssen. Wahrscheinlich ist der Forschungsgruppe bei der Stichprobenziehung eine Ungeschicklichkeit unterlaufen; da nützt es dann eben auch garnichts, wie Sie offenbar annehmen, den Stichprobenumfang zu vergrößern („…dass selbst Zufallsstichproben von 3800 Befragten…“).

    Im übrigen sollten Sie über den Begriff der Repräsentativität etwas nachdenken. Wenn man sagt, eine Stichprobe sei repräsentativ, meint das in aller Regel nur, dass die Methoden der Stichprobenziehung die Wahrscheinlichkeit der Repräsentativität in hinreichender Weise gewährleisten (was meistens klappt). Es bedeutet also keineswegs, dass die Stichprobe notwendigerweise repräsentativ „ist“. Selbst „perfekt“ konzipierte Stichproben können, Künstlerpech, eine nicht repräsentative Stichprobe ziehen.

    • Bevor Sie mich auffordern, über den Begriff der Repräsentativität nachzudenken, sollte Sie lesen, was wir dazu bereits geschrieben haben, dann erübrigt sich diese Anmaßung.

  10. Thorsten says:

    Wie weit die Umfrage für das ZDF neben der Wirklichkeit lag, wird man leider nicht herausbekommen. Von der befragten Gesamtheit der Hamburger können schon 56 % bzw. – mit der aus der Befragtenzahl und der (vor allem durch die kurze Befragungszeit) bedingten Erreichbarkeit beschränkten Genauigkeit – immer noch die Mehrheit für Olympia gewesen sein. Nur wenn die nicht abgestimmt haben, bringt diese Erkenntnis nicht viel. Deshalb werden ja bei Wahlen am Wahltag die Befragten aus den Wählern im Wahllokal ausgewählt.

  11. Meinungsumfragen, ein unendliches Thema. Und bitte, welche Kriterien werden da eigentlich verwendet? Man kann niemlas eine representative Umfrage machen! Das wäre zu teuer und zu aufwendig.
    Und die meisten Umfragen dienen doch nur zur Meinungsmanipulation. Die anderen sind dafür, also sind wir dann auch dafür….
    http://www.DDRZweiPunktNull.de

  12. BeFree says:

    „……..um die Breite der unterschiedlichen Standpunkte in der Bevölkerung abzubilden’, sagte Matthias Jung von der Forschungsgruppe Wahlen……“

    2 Möglichkeiten, JA / NEIN. Da redet der Mann von Breite der unterschiedlichen Standpunkte, und das bei einem 3800er-Panel, wo sonst für elementarste Fragen wie, bleibt eine Partei bspw. im DBT oder nicht, ein 1000er-Panel als vollkommen ausreichend mit Klauen und Zähnen verteidigt wird. Aber das sind eben Soziologen, von evtl. deutschen Unis, SEUFZT.

    Das ist Statistik auf hoher Niveaulosigkeit einer sog. Forschungsgruppe. Leider ist es aber auch der derzeit grassierende, mediale Dummsprech. Hoffentlich lässt man sie nicht ein Mal an lebenswichtigen Fragen forschen, sondern nur an sowas ohnehin überflüssigem wie einer Mafia- & Eliten-Olympiade, wenigstens was das Geldeinsammeln durch das/den IOC/DOSB anbelangt und die korrespondierende Geldvernichtung von Steuermilliarden durch eitle, profilneurotische Politgockel.

    Nach dieser Schlappe der Elitenbevormundung der Bürger, wird deren Bereitschaft für Volkentscheide unter Null sinken. Denn das war nur ein harmloser Test. Es würde interessant sein, die Bürger auch mal zum BW-Einsatz in Syrien abstimmen zu lassen. Das Ergebnis wäre für die merkelschen Falken, Neoconfollowers und Warmongers sicher noch desaströser.

  13. derPragmatiker says:

    Da stellt sich für mich die Frage, was käme bei folgendem Experiment raus: Es werden parallel und unabhängig voneinander zwei identische Befragungen durchgeführt, einmal mit den üblichen gut tausend Leuten, und nochmal mit z.B. 10.000 Menschen. Und mit den Ergebnissen rechnen die Statistiker schlau herum und beantworten die Frage neu, ob bei den derzeitigen Untersuchungsmethoden eine hinreichende Vorhersagewahrscheinlichkeit angenommen werden kann, und konkret auf den obigen Fall bezogen: liegen die Abweichungen im Rahmen der zu erwartenden Streuung, und was sagt uns das in Bezug auf die zahlen- oder trendmäßige Aussagekraft von Umfragen?!?
    Sorry, ich kanns nicht vorrechnen, ist zu lange her..

Bevor Sie hier kommentieren, lesen Sie bitte unser Grundsatzprogramm. Kommentare, die Beleidigungen enthalten oder lediglich gepostet wurden, um sich zu erleichtern, wandern direkt in den virtuellen Mülleimer

Trage deine Daten unten ein oder klicke ein Icon um dich einzuloggen:

WordPress.com-Logo

Du kommentierst mit Deinem WordPress.com-Konto. Abmelden / Ändern )

Twitter-Bild

Du kommentierst mit Deinem Twitter-Konto. Abmelden / Ändern )

Facebook-Foto

Du kommentierst mit Deinem Facebook-Konto. Abmelden / Ändern )

Google+ Foto

Du kommentierst mit Deinem Google+-Konto. Abmelden / Ändern )

Verbinde mit %s