Der Repräsentativitäts-Hoax: „Hohe Wertschätzung der ARD-Familie“

Wir haben schon an anderer Stelle darauf hingewiesen, dass die Behauptung, man könne repräsentative Querschnitte im Rahmen einer Meinungsbefragung ziehen und auf Grundlage von 1000 bis 2000 Befragten auf die Gesamtbevölkerung hochrechnen, Unsinn ist.

Repräsentativität ist ein Hoax.

Wozu der Hoax inszeniert wird, kann man leicht sehen, wenn man sich fragt, wem er nutzt.

• Den Meinungsforschungsinstituten:

Wenn Sie ihre vermeintlichen Ergebnisse nicht als „für die Bevölkerung ab 14 Jahre repräsentativ“ verkaufen könnten, wäre die Nachfrage ziemlich mau.

• Den Kunden von Meinungsforschungsinstituten:

Angeblich repräsentative Umfragen werden regelmäßig zur Legitimation benutzt.

• Von Politikern, die damit Rückhalt für ihre Politik in der Bevölkerung vortäuschen wollen (oder die den Meinungsforschern auf den Leim gehen).
• Von Funktionären, die für ihre „repräsentative Arbeit“ öffentliche Förderung aus den Mitteln von Steuerzahlern erheischen wollen;
• Von Lobbyisten, die mit angeblich repräsentativen Umfragen die Legitimität ihres Anliegens belegen wollen, das dem Zweck dient ihnen und ihrer Klientel einen Vorteil auf Kosten der Allgemeinheit zu verschaffen;
• Von öffentlich-rechtlichen Anstalten, die damit ihre Reichweite, ihre Akzeptanz und ihre angebliche Wertschätzung durch ihre Konsumenten belegen wollen, um die Preise für Webeplätze in die Höhe zu treiben oder hoch zu halten;

Die Liste derer, die angeblich repräsentative Umfragen benutzen, um ihre eigenen Zwecke zu fördern ist lang, sehr lang. Meinungsumfragen sind ein Geschäft, das Umsätze von mehreren Milliarden Euro umfasst. Schon aus diesem Grund, wird jede Kritik an Repräsentativität unterdrückt oder ignoriert.

Warum ist es nicht möglich eine repräsentative Meinungsbefragung durchzuführen?

Nehmen wir ein aktuelles Beispiel. Der Bayerische Rundfunkt als Teil der ARD hat bei GfK (Gesellschaft für Konsumforschung) in Nürnberg eine „repräsentative Befragung“ bestellt, die die Reichweite der ARD und die Akzeptanz der eigenen Programme abbilden soll.

Erhalten hat der Bayerische Rundfunk die Ergebnisse einer Befragung von „1.502 Personen im Alter ab 14 Jahren“, die vom “11. Januar bis 14. Februar 2018” befragt wurden: Die Befragung erfolgt telefonisch. Die Auswahl der Befragten erfolgte durch eine „repräsentative Zufallsauswahl“.

Es hat sich eingebürgert, ein paar magere technische Details in pompöser Sprache am Ende der angeblich repräsentativen Befragungen zu veröffentlichen. Das, so die Idee dahinter, mache die Ergebnisse glaubwürdiger.

Die Ergebnisse sind glaubwürdig, so lange man sich nicht fragt, was da eigentlich gemacht wurde.

Was zum Beispiel ist eine repräsentative Zufallsauswahl?

In einem beliebigen Lehrbuch zu den Methoden der empirischen Sozialforschung kann man Folgendes zu einer einfachen Zufallsauswahl lesen, denn die repräsentative Zufallsauswahl gibt es nicht, es gibt nur unter ganz spezifischen und eng umrissenen Bedingungen die Chance, dass eine Zufallsauswahl repräsentativ ist. Tatsächlich ist die repräsentative Zufallsauswahl in den meisten Fällen eine „einfache Zufallsauswahl“.

“Wird aus einer Grundgesamtheit mit N Elementen eine Stichprobe mit n Elementen so gezogen, dass jede mögliche Stichprobe mit n Elementen dieselbe Chance zur Realisierung besitzt, dann wird das Auswahlverfahren als “einfache Zufallsstichprobe” (simple randam sample, bzw. SRS) bezeichnet. Bei einer exakt definierten Grundgesamtheit existieren nur begrenzt viele mögliche unterschiedliche Stichproben. Angenommen eine ‘Grundgesamtheit’ besteht aus vier Elementen A, B, C und D. Soll aus dieser Grundgesamtheit eine Zufallsstichprobe mit nur zwei Elementen gezogen werden, so gibt es nur sechs verschiedene mögliche Stichproben {AB}, {AC}, {AD}, {BC}, {BD}, {CD}. Bei einer einfachen Zufallsauswahl besitzt jede dieser möglichen Stichproben die gleiche Wahrscheinlichkeit tatsächlich gezogen zu werden. Ebenso besitzt jedes Element der Grundgesamtheit dieselbe Chance in eine bestimmte dieser Stichproben zu gelangen. Durch die Ziehung wird eine der möglichen Stichproben realisiert. Eine einfache Zufallsstichprobe weist unter anderem die Eigenschaft auf, dass alle Elemente einer Grundgesamtheit dieselbe Chance besitzen, in die Stichprobe zu gelangen. Eine andere Eigenschaft einer einfachen Zufallsstichprobe ist weiterhin, dass jede einfache Zufallsstichprobe aus einer einfachen Zufallsstichprobe ebenfalls eine einfache Zufallsstichprobe darstellt. Einfache Zufallsstichproben werden zudem durch einen einzigen Auswahlvorgang aus einer Grundgesamtheit gezogen” (Schnell, Hill, Esser 1992: 289-290).

Die Bedingungen, die wir fett gesetzt haben, sind mit herkömmlichen Meinungsumfragen – schon gar nicht mit telefonischen Umfragen – nicht zu erreichen.

Warum nicht?

Wir alle kennen aus der Schule die ermüdenden Beispiele der roten und weißen Kugeln, die in einem Behälter sind, aus dem sie mit oder ohne Zurücklegen gezogen werden. Die Aufgabe der Schüler besteht darin, Wahrscheinlickeiten für verschiedene Varianten der Ziehung zu berechnen.

Die Krux an allen Berechnungen ist die, dass die Grundgesamtheit statisch ist.

Die Anzahl der Kugeln im Behälter ist bekannt. Es kommen keine dazu. Nur die, die gezogen werden, gehen verlustig (oder werden zurückgelegt).

Bei telefonischen Umfragen ist dies gerade nicht so.

Damit eine telefonische Umfrage repräsentativ sein kann, müssen alle Mitglieder der Grundgesamtheit die selbe Chance haben, genau zu dem Zeitpunkt, zu dem angerufen wird, erreichbar zu sein.

Aber das sind sie nicht.

Menschen sind nicht statisch. Wenn ich mich entschließe, einen Monat lang zu unterschiedlichen Zeiten Menschen anzurufen, die ich zuvor aus einem Telefonverzeichnis gezogen habe, dann haben nicht alle dieselbe Chance, angetroffen zu werden, ganz zu schweigen von all denen, die nicht in einem Telefonverzeichnis stehen.

Um acht Uhr morgens werde ich andere Befragte erreichen als gegen 2 Uhr Nachmittags.

Denn:

• Menschen arbeiten Nachschicht.
• Manche sind um 8 Uhr schon auf dem Weg zur Arbeit.
• Andere liegen um 8 Uhr noch im Bett.
• Wieder andere sind in Urlaub.

Jeder, der schon einmal im Telefonpool eines Umfrageinstituts gearbeitet hat, weiß, dass es fast schon die Regel ist, dass man Befragte nicht antrifft. Wenn man eine zufällig gezogene Nummer anruft, um dort mit der zweitältesten Person im Haushalt ein Interview zu führen, bleibt es häufig beim Vorsatz, denn:

1. Niemand hebt ab;
2. Der, der abhebt, hat keine Lust, ein Interview zu führen oder andere ans Telefon zu holen;
3. Der, der abhebt, würde zwar den Zeitältesten ans Telefon holen, aber der Zweitälteste ist nicht da;
4. Der, der abhebt, ist ärgerlich, weil man ihn gestört hat;
5. Der, der abhebt, hat es eilig und keine Zeit;
6. …

Damit fällt ein zufällig gezogenes Element der Grundgesamtheit aus und muss ersetzt werden. Die fünf Gründe, die wir für Personen aufgeführt haben, die kein Interview führen wollen, sind systematische Gründe. Zu bestimmten Zeiten sind bestimmte Menschen schwerer erreichbar als andere. Mit-20er sind nach Feierabend im Fitness-Studio oder in der Kneipe, nicht am Telefon. Mit-60er vielleicht nach sechs Uhr in der Kirche oder im Seniorenheim beim Abendessen. Diese Ausfälle sind systematische Verstöße gegen die Annahmen, auf denen eine Zufallsstichprobe basiert. Sie können nicht „geheilt“ werden und haben zum Ergebnis, dass Meinungsumfragen nicht repräsentativ sein können, schon gar nicht, wenn sie telefonisch geführt werden.

Aber die genannten systematischen Ausfälle sind nicht die einzigen Probleme, die die Repräsentativität in Meinungsumfragen unmöglich machen.

Wenn es gelingt, einen Befragten am Telefon zur Teilnahme an einem Interview zu bewegen, fangen die Probleme erst richtig an.

• Manche sind es nach kurzer Zeit schon leid, als Ergebnis werden Interviews abgebrochen;
• Andere sind abgelenkt und antworten willkürlich;
• Wieder anderen ist die Stimme des Interviewers unsympatisch, und sie werden renitent;
• Manche haben Probleme mit bestimmten Fragen und beantworten nur einen Teil der Fragen;

Von all diesen Problemen erfährt derjenige, der vom Verweis auf die repräsentative Umfrage so beeindruckt werden soll, dass er die Ergebnisse glaubt und denkt: So denken die Deutschen, nichts.

Kehren wir zurück zur Meinungsumfrage, die der Bayerische Rundfunk für die ARD bei GfK in Nürnberg bestellt hat, um die Reichweite der ARD hoch- oder gutrechnen zu lassen. Die Ergebnisse der Meinungsumfrage werden den Konsumenten der ARD einmal als Jubeltext und einmal als Sammlung von Abbildungen präsentiert. Mit nichts davon kann man etwas anfangen.

• Unter keiner der dargestellten Abbildungen steht die Fallzahl, auf der die dargestellten Ergebnisse tatsächlich basieren. Keine der Abbildungen basiert auf allen 1.502 Befragten, das ist sicher. Auf wie vielen Befragten die Abbildungen tatsächlich basieren, wird verheimlicht.
• Nur bei manchen der Abbildungen ist der Fragetext vorhanden, so dass man nicht weiß, worauf die Befragten geantwortet haben. Der Fragetext fehlt bei so grundlegenden Dingen wie dem „ARD-Verbund“. Was wurde alles zusammengeworfen, um die Reichweite der ARD zu bestimmen?
• Manche Abbildungen sind offensichtlich das Ergebnis eines Filterprozesses. So steht unter den Abbildungen,d ie die „Wertschätzung des ARD-Medienverbunds“ darstellen sollen, „Abfrage nach Kenntnis aller programmlichen und nicht-programmlichen Leistungen“. Was es damit auf sich hat, ist unklar. Der Verdacht liegt nahe, dass die Frage nach der Wertschätzung nicht allen 1.502 Befragten vorgelegt wurde, sondern nur einem Teil, nämlich den Befragten, die keine oder nur geringe Kenntnis von ARD-Programmen haben, nicht gestellt wurde. Und wenn die dargestellten Ergebnisse nicht gefiltert wurden, dann kann man sie gleich wegwerfen, denn sie enthalten Angaben von Personen, die etwas bewerten, das sie nicht kennen oder eine Antwort verweigert haben. Die Basis der 84%, denen angeblich der ARD-Verbund sehr gut bzw. gut gefällt, ist vollkommen unklar. Ebenso unklar ist, was der ARD-Verbund eigentlich sein soll, was die Befragten tatsächlich gefragt wurden….

Wir könnten die Liste der Probleme, Ungereimtheiten und Fragwürdigkeiten, die sich mit der GfK-Umfrage zur ARD verbinden, weiter fortsetzen, wollen aber an dieser Stelle abbrechen und ein paar Kriterien zusammentragen, anhand derer man Umfragen, die als Versuch gedacht sind, Meinung zu manipulieren, erkennen kann:

• Umfragen, die behaupten, repräsentativ zu sein und das Adjektiv repräsentativ in allen passenden und unpassenden Zusammenhängen den Lesern auf die Nase binden.
• Umfragen, die nicht angeben, wie hoch der Anteil der Befragten ist, die auf eine Frage NICHT geantwortet haben, sondern – wie die ARD-Umfrage von GfK – Leser im Glauben lassen, alle Ergebnisse basierten immer auf ALLEN Befragten.
• Umfragen, die den Fragetext, auf dem die dargestellten Ergebnisse basieren, verheimlichen.
• Umfragen, in denen Konzepte verwendet werden, wie “ARD-Verbund” oder „programmliche und nicht-programmliche Leistungen“, von denen niemand weiß, was damit gemeint ist.

Diese vier Punkte reichen in der Regel um zu wissen, ob man es mit einem Manipulationsversuch zu tun hat oder nicht. Und gemessen an diesen vier Punkten ist die GfK-Umfrage zum „ARD-Medienverbund“ ein kruder, ein sehr kruder Manipulationsversuch.

Letztlich ist die Zufallsauswahl eine regulatorische Idee. Wenn man eine Stichprobe gezogen hat, kann man aufgrund der Idealbedingungen, die eine Zufallsauswahl determinieren, angeben, wie stark die Abweichungen der aktuellen Stichprobe vom Ideal sind. Das systematische Fehlen einer entsprechenden Kennzahl in angeblich repräsentativen Meinungsumfragen ist letztlich der einzige Beleg, den man braucht, um sicher zu sein, dass die Ergebnisse weder eine Zufallsauswahl noch repräsentativ sind noch sein können.

Hat Ihnen der Beitrag gefallen?

Dann unterstützen Sie ScienceFiles!

Anregungen? Hinweise? Kontaktieren Sie ScienceFiles
©ScienceFiles

Folgen Sie uns auf Telegram.

---

Anregungen, Hinweise, Kontakt? -> Redaktion @ Sciencefiles.org

---

Wenn Ihnen gefällt, was Sie bei uns lesen, dann bitten wir Sie, uns zu unterstützen. ScienceFiles lebt weitgehend von Spenden. Helfen Sie uns, ScienceFiles auf eine solide finanzielle Basis zu stellen.

---

Wir haben drei sichere Spendenmöglichkeiten:

Donorbox

Unterstützen Sie ScienceFiles

---

Unsere eigene ScienceFiles-Spendenfunktion

---

Unser Spendenkonto bei Halifax:

ScienceFiles Spendenkonto: HALIFAX (Konto-Inhaber: Michael Klein):

• IBAN: GB15 HLFX 1100 3311 0902 67
• BIC: HLFXGB21B24

---