Meinungsmanipulations-Umfragen: So einfach geht’s

Manche kennen sicher die Geschichte des Ökonomen, der auf einer einsamen Insel strandet. Mit ihm strandet eine Schiffsladung Bohnen in Tomatensoße, in Dosen. Der Ökonom hat keinen Dosenöffner und geht das hartnäckige Problem des Öffnens von Dosen auf betont ökonomische Art an: Nehmen wir an, wir hätten einen Dosenöffner.

Im Gegensatz zu so manchem Leichtgläubigen, der noch an die Repräsentativität glaubt, wird unser Ökonom recht schnell an die Grenzen seiner Modellwelt stoßen, und die Annahme, er habe einen Dosenöffner, durch die Dosenbearbeitung mit verfügbaren Instrumenten ersetzen.

SciencefilesDas unterscheidet diejenige, die daran glauben, man könne eine repräsentative Stichprobe der Gesamtbevölkerung ziehen und die Ergebnisse der Stichprobe dann wieder auf die Bevölkerung hochrechnen, vom Ökonomen: Sie werden nicht mit dem Problem ihrer abstrusen Annahme konfrontiert, denn es gibt keine Möglichkeit, die Behauptung, der vorliegende Datensatz sei repräsentativ für die Bevölkerung zu prüfen.

Aber es gibt eine Vielzahl von Argumenten, mit denen man zeigen kann, dass die theoretisch vielleicht mögliche Ziehung einer repräsentativen Stichprobe in der Realität und an der Realität scheitern muss. Wir haben die entsprechenden Argumente bereits in einem früheren Post zusammengestellt.

Die behauptete Repräsentativität von Befragungen durch Meinungsforschungsinstitute hat in heutigen Gesellschaften häufig den Status des Legitimationsbeschaffers für Regierung, Parteien oder sonstige Interessenverbände. Sie lassen Befragungen durchführen und präsentieren deren Ergebnisse dann stolz als repräsentativ für die Bevölkerung und Unterstützung ihrer Politik oder beabsichtigten Politik.

Weil Meinungsumfragen diesen Status des Legitimationsbeschaffers innehaben, ist die Behauptung, eine Stichprobe von 1000 Befragten sei repräsentativ für die Bevölkerung, zu einem politischen Machtmittel geworden. Die Behauptung der Repräsentativität entlastet Politiker vom Kontakt mit Wählern und verschafft Umfrageinstituten eine stetig sprudelnde Quelle, und ganz nebenbei kann diese Quelle fast nach Belieben manipuliert werden.

Bei Meinungsforschungsinstituten ist es bekannt, dass die Stichproben, die sie ziehen, verzerrt sind, also nicht repräsentativ, wie immer behauptet wird. Deshalb bessern die entsprechenden Institute nach, durch die sogenannte Gewichtung der Daten.

Wer z.B. den ARD-Deutschlandtrend von Infratest dimap betrachtet, dem werden ausschließlich Prozentwerte dargeboten. 44% sehen eher Nachteile als Folge der Zuwanderung nach Deutschland. Gleiches findet sich bei Forsa: „Im stern-RTL-Wahltrend gewinnen CDU/CSU im Vergleich zur Vorwoche einen Prozentpunkt hinzu und kommen auf 39 Prozent.“

Wie viele Befragte diese 39% sind, die angeben, die CDU/CSU wählen zu wollen, wie viele Befragte sich hinter den 44% verstecken, die mehr Nachteile als Folge der Zuwanderung sehen, das erfährt man von keinem Umfrageinstitut und mit gutem Grund, denn würden die entsprechenden Angaben gemacht, die Leser würden sich wundern, sehr wundern. Und dass Sie sich wundern würden, liegt an den tatsächlichen Fallzahlen und an der Gewichtung, die aus tatsächlichen Befragten, repräsentative Befragte machen soll.

Um zu sehen, wie über Gewichtung nicht nur die Daten auf repräsentativ geschminkt werden sollen, sondern auch die Möglichkeit der Manipulation gegeben ist, erklären wir im folgenden die Funktionsweise der Gewichtung.

Nehmen wir an, ein Umfrageinstitut zieht zufällig eine Stichprobe und fragt nach der Partei, die ein Befragter bei einer letzten Wahl gewählt hat und nach der Partei, die er bei der nächsten Wahl wählen will. Das Ergebnis dieser Befragung ist in der folgenden Tabelle dargestellt.

Partei Wahlergebnis Stichprobe Wahlabsicht Stichprobe
CDU 25% 20%
Grüne 20% 15%
SPD 20% 15%
AfD 15% 25%

Tatsächlich hat die letzte Bundestagswahl eine andere Verteilung erbracht, als die Frage nach der letzten Wahlentscheidung in der Stichprobe unseres Meinungsforschungsinstituts. Mit anderen Worten, es ist nicht gelungen, das Wahlergebnis der letzten Wahl in der Stichprobe zu replizieren. Die Stichprobe ist also verzerrt und entsprechend nicht repräsentativ. Die nächste Tabelle zeigt das noch einmal:

Partei Tatsächliches Wahlergebnis Wahlergebnis Stichprobe Wahlabsicht Stichprobe
CDU 39% 25% 20%
Grüne 24% 20% 15%
SPD 23% 20% 15%
AfD 5% 15% 25%

Die offensichtliche Abweichung zwischen dem tatsächlichen Ergebnis, das die entsprechende Partei bei der letzten Wahl erreicht hat, und dem Ergebnis, das in der Stichprobe ausgewiesen wird, ist erheblich und offensichtlich eine Abweichung von der Realität, die man doch mit der angeblich repräsentativen Stichprobe abbilden will.

Was tun?

Gewichten!

Wenn die Daten, die man hat, von der Realität abweichen, dann muss man sie eben an die Realität anpassen, sie manipulieren. Das geht wie in der folgenden Tabelle dargestellt, in dem das tatsächliche Wahlergebnis, zum Ergebnis der letzten Wahl, wie es sich in der Stichprobe darstellt, ins Verhältnis gesetzt wird.

Partei Tatsächliches Wahlergebnis Wahlergebnis Stichprobe Gewichtungs-faktor Wahlabsicht Stichprobe
CDU 39% 25% 1,56 20%
Grüne 24% 20% 1,2 15%
SPD 23% 20% 1,15 15%
AfD 5% 15% 0,3 25%

Gemessen am tatsächlichen Wahlergebnis, ist die CDU in der Stichprobe um den Faktor 1,56 unterrepräsentiert, die Grünen um den Faktor 1,2, die SPD um den Faktor 1,15 und die AfD um den Faktor 0,33. Mit anderen Worten: Jeder Befragte, der angibt, bei der letzten Wahl die CDU gewählt zu haben, ist 1,56 Befragte wert, jeder Befragte, der angibt, Grüne gewählt zu haben, 1,2 Befragte, jeder Befragte, der angibt, SPD gewählt zu haben, 1,15 Befragte und jeder Befragte, der angibt, AfD gewählt zu haben, 0,3 Befragte.

Nun muss natürlich noch die Frage nach der Wahlabsicht, die dann als Wahlbarometer in Medien zu finden sein wird, angepasst, also mit dem Gewichtungsfaktor gewichtet werden. Das Ergebnis findet sich in der nächsten Tabelle.

Partei Tatsächliches Wahlergebnis Wahlergebnis Stichprobe Gewichtungs-faktor Wahlabsicht Stichprobe Wahlabsicht gewichtet
CDU 39% 25% 1,56 20% 31%
Grüne 24% 20% 1,2 15% 18%
SPD 23% 20% 1,15 15% 17%
AfD 5% 15% 0,3 25% 8%

Eh voila. In der letzten Spalte findet sich nun das gewichtet Endergebnis, wie es das Meinungsforschungsinstitut an die Öffentlichkeit geben wird, mit der Behauptung, es sei ein Ergebnis, das auf Grundlage einer repräsentativen Stichprobe gewonnen wurde.

Und warum findet man keine Angaben zur Anzahl der Befragten, die z.B. CDU oder AfD gewählt haben. Die Antwort lautet: Wegen der Gewichtung, denn die Gewichtung hat Auswirkungen auf die Anzahl der Befragten.

Partei Anzahl tatsächlich Befragter Anzahl gewichteter Befragter
CDU 250 390
Grüne 200 240
SPD 200 230
AfD 150 50

Wie man deutlich sieht, verändert die Gewichtung die Anzahl derer, die als Wähler der Parteien ausgewiesen werden. Mit anderen Worten: Gewichtung verfälscht die tatsächlichen Ergebnisse, macht manche Wähler mehrwertig, andere minderwertig und würde, wiese man sie aus, genau dieses offenkundig werden lassen. Das will natürlich niemand, wäre doch damit auch deutlich, welcher Hokuspokus sich hinter der angeblichen Repräsentativität verbirgt.

Die Tatsache, dass das Ergebnis, das als Endergebnis an die Öffentlichkeit gegeben wird, vom Gewichtungsfaktor abhängt, lässt sich nutzen, um das Ergebnis entsprechend bestimmter Interessen zu gewichten. Ein halbes Prozent hier, ein halbes Prozent da, oder die Einrechnung von 2% Fehlerwahrscheinlichkeit, die man als Meinungsforschungsinstitut immer für sich in Anspruch nehmen kann, und das Ergebnis sieht, aus, wie in der nächsten Tabelle dargestellt – wobei die Richtung der Abweichung vermutlich nach dem Motto funktioniert: Wer bezahlt, bestimmt“.

Partei Tatsächliches Wahlergebnis Wahlergebnis Stichprobe Gewichtungs-faktor Wahlabsicht Stichprobe Wahlabsicht gewichtet inkl. bezahlter Fehler
CDU 39% 25% 1,56 20% 31% 30%
Grüne 24% 20% 1,2 15% 18% 19%
SPD 23% 20% 1,15 15% 17% 18%
AfD 5% 15% 0,3 25% 8% 7%

Nun wird es sicher den einen oder anderen geben, der denkt, diese ein/zwei Prozent in der letzten Spalte, die seien vernachlässigbar. Um diesen Irrtum aufzuklären, muss man nur überlegen, wie sich diese ein/zwei Prozent dann auswirken, wenn eine Partei versucht, die 5%-Hürde zu überspringen oder dann, wenn die Regierungsbildung zwischen zwei ideologischen Lagern umstritten ist und die letztliche Entscheidung von einem oder zwei Prozenten mehr oder weniger für die eine oder andere Richtung abhängig ist.

Zudem muss man sich klar machen, dass die meisten repräsentativen Wahrheiten, die verkauft werden sollen, in Form der 44%, die negative Folgen von Zuwanderung sehen, verkauft werden sollen, also in einer Form, die keinerlei Überprüfung zulässt. Die Möglichkeit, über Gewichtung das Zünglein an der politischen Waage spielen zu können, ist insofern nicht zu unterschätzen.

Schließlich gewichten Umfrageinstitute in der Regel auch auf Grundlage sozio-demographischer Variablen, also nach Alter, Einkommen und Bildung. Entsprechend sind die Möglichkeiten, in die eine oder andere Richtung zu beeinflussen, vielfältiger als hier dargestellt.

Wer nun immer noch an die Repräsentativität glaubt, dem ist nicht mehr zu helfen.

Haben Sie Fragen oder Anregungen?
Kontaktieren Sie uns

ScienceFiles ist ein Non-Profit-Blog. Damit wir unser Angebot aufrechterhalten und vielleicht sogar ausbauen können, benötigen wir Ihre Unterstützung
durch eine Spende (via Paypal) durch eine Spende (via Banküberweisung) als ScienceFiles-Clubmitglied
  • Bank: Tescobank plc.
  • Accountname: ScienceFiles-Account
  • BIC: TPFGGB2EXXX
  • IBAN: GB40TPFG40642010588246
  • Kontoinhaber: Michael Klein
  • Bankgebühren umgehen mit Transferwise

Über Michael Klein
... concerned with and about science

27 Responses to Meinungsmanipulations-Umfragen: So einfach geht’s

  1. Pingback: [Kritische Wissenschaft] Meinungsmanipulations-Umfragen: So einfach geht’s

  2. Aktivposten sagt:

    Ihr Lieben,
    die tatsächlichen Ergebnisse BTW 2013 sahen aber anders aus…

  3. waldbaer sagt:

    Habe ich das jetzt richtig verstanden – in den Dosen sind gar keine Bohnen mit Tomatensoße, sondern Brühwürfel in Aspik? *wirrguck*
    ;o)

  4. willi sagt:

    Gewichtungsfaktor:

    CDU: 39/25 = 1.56, Grüne = 24/20 = 1.2, SPD = 23/20 = 1.15,
    aber AFD = 4/5 = 0.33??

    Wie ist das denn zu verstehen?

  5. Roland sagt:

    Ich hätte diesbezüglich eine Frage.

    Die Argumente, die sie gegen die Repräsentativität von Umfragen anführen, halte ich für stichhaltig. Aber ergibt sich damit nicht ein riesiges Problem? Der Mythos der Repräsentativität gründet doch in dem Wunsch eine verallgemeinerbare Aussage über die Realität abzugeben.

    Insofern Umfragen nicht dazu in der Lage sind die Ergebnisse auf ein Grad der Verallgemeinerung zu heben, welchen Sinn haben Umfragen dann überhaupt noch? Entweder müsste für eine politische Meinungsumfrage jeder Einwohner Deutschlands befragt werden oder es wird eine Stichprobe befragt, die aber auch nur eine Aussage über die Menge der Teilnehmer zulässt, die an der Stichprobe beteiligt waren. Aber so eine Stichprobe wäre dann so relevant wie das chinesische Fahrrad, das ständig umfällt.

    • Des Rätsel’s Lösung lautet: theoriegeleitetes Vorgehen. Dazu gibt es bald mehr.

      • Roland sagt:

        Ich denke ich kann mir darunter bereits etwas vorstellen und ich freue mich auch mehr darüber zu erfahren.

        Dazu hätte ich auch noch eine Frage (Von der ich hoffe sie fassen sie nicht als Unterstellung auf):

        Theoriegeleitetes Vorgehen und eine darauffolgende Bestätigung bzw Falsifikation der Theorie durch eine Befragung, kann nach meinem Dafürhalten auch manipuliert werden. Beispielsweise durch Suggestivfragen. Gibt es soetwas wie eine „Ethik“ des korrekten, nüchternen oder objektiven Befragens?

        Meine Fragen zielen darauf ab, die Gütequalität von Sozialforschung zumindest einigermaßen selbst beurteilen zu können. Demnach sind die Fallstricke auf die sie bereits hingewiesen haben und diejenigen auf die sie sicherlich noch hinweisen werden pures Gold wert.

        Insofern meine Frage in das „Dazu gibt es bald mehr“ fällt, sparen sie sich die Antwort. Ich kann warten😀

  6. kakalu sagt:

    Na ja, eine „Stichprobe ist dann repräsentativ konzipiert (noch nicht notwendigerweise im Ergebnis), wenn jedes Element der Grundgesamtheit die gleiche Chance hat, für die Stichprobe gezogen zu werden“. Manipulationen der Meinungsforschungsinstitute auszuschließen wäre naiv, aber ich glaube nicht, dass sie es mittels der angeprangerten Gewichtungen tun. Im Gegenteil, weil viele Befragte sich nicht trauen ihre Meinung zu äußern, kann durch begründete Gewichtungen eine Annäherung an das korrekte Gesamtbild erzielt werden.

    • Da haben Sie schön nacherzählt, was in den entsprechenden Lehrbüchern steht.
      Und hier finden Sie die Argumentation, die zeigt, warum nicht jedes Element der Grundgesamtheit in eine Bevölkerungsstichprobe gelangen kann:
      http://www.sciencefiles.net/mythos-der-reprasentativitat/

      Und ehrlich: Weil viele Befragte etwas anderes sagen, als sie sagen würden, wenn sie sich trauen würden, deshalb kann man über Gewichtung das herausfinden, was sie nicht gesagt haben?
      Was rauchen Sie? Das muss ja psychotrop sein, dass es kracht!

  7. rote_pille sagt:

    Kann mir jemand erklären wie man zur Zahl 0,33 kommt? 4/5 ist doch 0,8 oder wird da irgendeine andere Formel benutzt?

  8. Epikur63 sagt:

    Im Artikel werden zwei Probleme in den Mittelpunkt gestellt, welche in der Praxis in der Regel nicht so relevant sind. Dafür gibt es aber einige andere, die man hinzufügen kann.

    Bei Gewichtungen zieht man in der Regel keine Variable heran, die nahe an der abhängigen Variable ist. Im Beispiel des Artikels würde man also nicht das Wahlergebnis in der Stichprobe mit dem tatsächlichen Ergebnis der letzten Wahl für die Bestimmung von Gewichtungsfaktoren verwenden. Falls Ihnen aber solche Fälle begegnet sind, wäre ich für einen Link dankbar: Diese Institute bekommen von uns keine Aufträge mehr:-), denn bei uns geht es nicht um Meinungsmache, sondern wir führen Studien durch, um unsere Produkte zu verbessern und zu verkaufen: Wir sind also an der Wahrheit interessiert.

    Der zweite Punkt betrifft die Höhe der Gewichtungsfaktoren: Wenn ein Institut mit Gewichtungsfaktoren kommt, welche für die größte Gruppe so extrem sind wie die 1,56 im Beispiel, dann würde es hier auch sehr kritische Rückfragen geben. Falls Ihnen solche Studien begegnet sind, wäre ich auch hier für Links dankbar.

    Das Kernproblem der mangelnden Repräsentativität ist natürlich real: Zufallsstichproben sind nicht möglich, weil es a) kein sinnvolles Verzeichnis gibt, aus dem man diese ziehen könnte und b) selbst wenn man die Personen zufällig ziehen könnte, man nicht jeden zur Antwort zwingen kann. Schlimmer noch: Die Bereitschaft zur Antwort kann mit der zu messenden Meinung der Person korrelieren, was die Ergebnisse völlig verzerrt.

    „Repräsentativ“ ist eine Studie immer nur hinsichtlich der Kriterien, für welche diese Repräsentativität bei der Studienplanung vorgesehen wurde. Wir ärgern uns daher auch stets, wenn ein Institut seine Ergebnisse pauschal „repräsentativ“ nennt und fragen reflexhaft nach: „Repräsentativ hinsichtlich welcher Kriterien?“. Wird dann gestammelt, gibt es schon Minuspunkte.

    Beispiel: Im ersten Schritt brauche ich verläßliche Daten über die Verteilung des Kriteriums, für das die Studie repräsentativ sein soll, in der Grundgesamtheit; daß kann bei einigen Kriterien schon ein Problem sein. Nehmen wir an, es sei ein relativ einfaches Kriterium wie Alter.

    Im zweiten Schritt muß ich entscheiden, wie ich die Altersrepräsentativität erreichen will: Da gibt es prinzipiell zwei Möglichkeiten: a) Ich lege die Stichprobengröße fest und berechne, wie viele Personen im Alter von z.B. 50-60 befragt werden müssen. Dann suche ich solange, bis ich genügend für jedes Segment gefunden habe. Bei dieser Methode muß man nicht gewichten. b) Ich lege die Stichprobengesamtgröße fest, befrage drauflos und gewichte anschließend so, daß ich auf die Grundgesamtheit altersrepräsentativ hochrechnen kann. In der Praxis ist Methode b leider beliebter weil einfacher umsetzbar.

    Im Ergebnis ist bei beiden Verfahren die Studie repräsentativ hinsichtlich des Kriteriums Alter. Hinsichtlich anderer Kriterien kann dies ganz anders ein: Berufstätige erreiche ich bei Befragungen z.B. schlechter, so dass diese unterrepräsentiert sein können. Ein besonders unangenehmes Problem ist bei unseren Studien folgendes: Aus Kostengründen laufen immer mehr Befragungen online. Ältere Personen erreiche ich damit nicht so gut wie junge, aber scheinbar kann man dieses Problem ja durch beide oben genannten Möglichkeiten lösen. Aber: Diejenigen älteren, welche Online so aktiv sind, daß ich sie gut erreiche, unterscheiden sich systematisch von denjenigen, welche weniger aktiv sind, sie sind z.B. gebildeter.

    Natürlich kann man nun zusätzlich zum Alter die Studie noch repräsentativ nach Schulbildung anlegen, aber die online aktiveren Älteren unterscheiden sich ja auch noch nach anderen Kriterien von den weniger aktiven, welche ich kaum für eine Gewichtung nutzen kann, z.B. Interesse an innovativen Produkten und, um auf das Artikelbeispiel zurückzukommen, möglicherweise auch in ihren politischen Überzeugungen.

    Die einzige Rechtfertigung für die Art, wie Meinungsumfragen durchgeführt werden ist also: a) Sie sind hilfreicher als gar nichts zu tun und b) besser als im Status Quo kann man es nicht machen. Ob diese Argumente stimmen, kann aber in fast jedem Einzelfall skeptisch hinterfragt werden … was in den Medien leider selten geschieht.

    Sorry, wurde jetzt etwas länger – tl;dr – aber das Thema ist spannend

    • Ich sehe, Sie sind mit dem, was in Teilen der Meinungsforschung üblich ist, nicht so vertraut. Wie wir im Text geschrieben haben, basiert die Gewichtung regelmäßig (auch) auf sozio-demographischen Variablen, ist also eine Mischung aus verschiedenen Variablen mit entsprechenden Manipulationsspielräumen. Ihre Meinung zur Nähe der abhängigen Variablen in allen Ehren, aber sie geht am Punkt vorbei, denn politische Gewichte, wie die entsprechenden Gewichte heißen, sind dazu da, die abhängige Variable, wie sie sagen, so anzupassen, dass sie als repräsentativ verkauft werden kann. Und was 1,56 angeht, im Eurobarometer gibt es ein Gewicht, das sich in der Größenordnung von 0,1 bis 25,9 bewegt. Wo ein Wille ist, ist auch eine Gewichtung.
      Schließlich: Die Wahrheit werden sie mit keiner Umfrage erfragen können, deshalb ist ja die Behauptung von Repräsentativität so wichtig, denn sonst müsste man sich Gedanken darüber machen, was man da eigentlich an Daten gesammelt hat, müsste eine theoretische Vorstellung von dem haben, was man an Daten gesammelt hat. Da die entsprechende Vorstellung nicht vorhanden ist, muss Repräsentativität behauptet werden, denn nur diese Behauptung macht eine schlichte Verteilung zu mehr als einer schlichten Verteilung, nämlich einer repräsentativen Verteilung.
      Wenn Sie sichergehen wollen, dass Sie Befragungen in Auftrag geben, die relevante, reliable und valide Ergebnisse produzieren, dann wenden Sie sich doch einfach an uns:
      http://www.sciencefiles.net/kontakt/

  9. waldbaer sagt:

    Jetzt mal ganz blöd gefragt:
    Wozu dient eigentlich Meinungsforschung? Wem oder was hilft das?

  10. luisman sagt:

    Selbst wenn die potentiellen Teilnehmer rein zufaellig ausgewaehlt werden, faengt das Drama doch schon damit an wie man die Ausgewaehlten dazu motiviert ueberhaupt mit zu machen. Wenn das Thema nicht genannt wird, werden eher viel-beschaeftigte Leute seltener mitmachen. Wenn das Thema genannt wird, machen eben Leute mit die sich fuer das Thema interessieren („dazu wollte ich schon immer mal meine Meinung kundtun“). Das verfaelscht schon ungemein und ist kaum korrigierbar.

  11. Rudi Ehm sagt:

    Danke für die gute Aufklärung. Hatte schon immer ein Scheißgefühl, wenn ich die alte Unke Güllner gesehen habe, aber ein Rest Neugier oder einfach nur der Wille sich aufzuregen blieb. Jetzt weiß ich: Verlorene Lebenszeit, abschalten oder einfach überlesen.

  12. Tarnname sagt:

    Wird dieser Artikel auch auf sciencefiles.net erscheinen?

  13. Pingback: Wortmagie: Nasenringe und Manegen | ScienceFiles

  14. Pingback: Wahlbeeinflussung? Seltsame Systematiken bei Wahlbefragungen | ScienceFiles

Bevor Sie hier kommentieren, lesen Sie bitte unser Grundsatzprogramm. Kommentare, die Beleidigungen enthalten oder lediglich gepostet wurden, um sich zu erleichtern, wandern direkt in den virtuellen Mülleimer

Trage deine Daten unten ein oder klicke ein Icon um dich einzuloggen:

WordPress.com-Logo

Du kommentierst mit Deinem WordPress.com-Konto. Abmelden / Ändern )

Twitter-Bild

Du kommentierst mit Deinem Twitter-Konto. Abmelden / Ändern )

Facebook-Foto

Du kommentierst mit Deinem Facebook-Konto. Abmelden / Ändern )

Google+ Foto

Du kommentierst mit Deinem Google+-Konto. Abmelden / Ändern )

Verbinde mit %s