Demoskopen und Meinungsforscher behaupten regelmäßig, sie würden sich für die Meinung derjenigen interessieren, die sie befragen. Allensbach, Emnid, Infas, die Europäische Kommission über ihren Eurobarometer, sie alle behaupten, die Meinung von Bürgern zu erfragen, und sie alle tun es in der Regel mit geschlossenen Fragen.
Die quantitative empirische Sozialforschung unterscheidet Fragen grob in offene und geschlossene Fragen. Offene Fragen geben im Gegensatz zu geschlossenen Fragen keine Antworten vor. Beide Arten, zu fragen, haben ihre Vor- und Nachteile. Die wichtigsten Nachteile, die sich mit geschlossenen Fragen verbinden, lassen sich an einem Beispiel deutlich machen:
Was war für Sie das wichtigste Ereignis im Jahre 2014?
Die Bundestagswahl
Ebola
Die NSA-Affäre um Edward Snowden
Mein Geburtstag
Die Ereigniswelt des Jahres 2014 ist durch die Vorgaben doch massiv eingeschränkt, was deutsche Medien bei einem entsprechenden Ergebnis sicher nicht daran hindern würde, entrüstet zu vermelden: Der eigene Geburtstag war für viele im Jahr 2014 wichtiger als Edward Snowden.
Der Nachteil geschlossener Fragen besteht demnach in der Vorgabe der Antworten. Das ist dann, wenn man eine theoretische Annahme prüfen will, kein Problem (weil man klare Vorstellungen darüber hat, was an Antworten kommt und diese Vorstellungen prüfen will), wird aber schnell zum Problem, wenn man einfach nur Informationshierarchien, wie im vorliegenden Fall erfragen will. Dann werden die entsprechenden Befragungen schnell und leicht zur kleinen Manipulation, die bereits durch die Auswahl der Vorgaben Antwortmöglichkeiten aussortiert, die dem Auftraggeber der Befragung vielleicht nicht so angenehm sind oder die er nicht gerne als wichtig identifziert sehen will.
Eine offene Frage vermeidet diese Probleme, denn sie überlässt es den Befragten, welche Ereignisse sie für das Jahr 2014 als wichtig angeben. Eine Studie der Universität Hohenheim ist diesen Weg gegangen, um die Top-10 Medienthemen des Jahres 2014 zu erfragen. Im Zeitraum vom 17. bis 21. November wurden 1.006 Bürger befragt: “Wenn Sie nun an die aktuellen Themen in den Medien denken: Welches Thema hat Sie in diesem Jahr persönlich am meisten beschäftigt bzw. beschäftigt Sie am meisten?”
Man kann darüber streiten, ob der Stimulus “aktuelles Thema” bei einer Frage, die ein ganzes Jahr in Betracht ziehen will, ein Faux Pas ist und vermutlich ist er es, dessen ungeachtet, haben die Befragten die folgende Themenhierarchie angegeben:
Die vier Topthemen sind demnach alle außenpolitische Themen, die mit Krieg und Seuche zu tun haben. Innenpolitische Themen wie Migration und Wirtschaftspolitik landen weit abgeschlagen auf den Plätzen fünf und sechs, die Fussball-Weltmeisterschaft, die wirtschaftliche Lage und die Eurokrise haben im November weitgehend an Unterhaltungswert eingebüßt und die NSA-Affäre ist kaum jemandem im Erinnerung geblieben.
Dies verweist auf ein Problem teilweise retrospektiver offener Befragungen, und dieses Problem kann auf die Begriffe “Salience” und “Erinnerung” gebracht werden. Salience beschreibt das, was einem gerade besonders präsent ist: Wenn jemand einen Anruf von einem Umfrageinstitut erhält, nachdem er gerade die Tagesschau und darin den Bericht aus der Ukraine gesehen hat, und er wird gefragt, welches in den Medien transportierte Thema ihn 2014 am meisten beschäftigt hat, dann wird er ziemlich sicher mit “Ukraine” oder “Krieg in der Ukraine” antworten. Mit anderen Worten, er wird nicht antworten, was ihn 2014 am meisten beschäftigt hat, sondern was ihn derzeit am meisten beschäftigt.
Entsprechend erhält man mit offenen Fragen eine aktuelle Momentaufnahme, aber mit Sicherheit keinen Überblick über die Themen, die Deutsche im Jahr 2014 am meisten beschäftigt haben. Das verhindert schon die Erinnerung oder besser: die Nicht-Erinnerung, denn: Wer erinnert sich im November daran, dass im Februar die Berichterstattung über die Snowden-Leaks die NSA-Affäre angestoßen hat? Wer daran, dass im Februar der ehemalige Bundespräsident Wulff freigesprochen wurde? Wer außer ein paar Kölnern erinnert sich daran, dass im Mai der 1. FC Köln in die Bundesliga aufgestiegen ist und Europawahlen stattgefunden haben? Ja Europawahlen – das sind die Wahlen, bei denen unbrauchbare nationale Politiker auf hochbezahlte Stellen in Straßburg abgeschoben werden.
Entsprechend sind die Ergebnisse aus Hohenheim ein recht guter Überblick darüber, was die 1006 Befragten Ende November bewegt hat, aber sicher kein Überblick über das, was Deutsche im Jahr 2014 bewegt hat. Insofern die Hohenheimer behaupten, sie hätten das erhoben, was Deutsche, also 1006 von ihnen, als “Top-Thema des Jahres 2014” benannt haben, ist die entsprechende Behauptung wieder einmal ein Beispiel dafür, wie weit Behauptung und Wirklichkeit auseinander liegen können.
Folgen Sie uns auf Telegram.
Anregungen, Hinweise, Kontakt? -> Redaktion @ Sciencefiles.org
Wenn Ihnen gefällt, was Sie bei uns lesen, dann bitten wir Sie, uns zu unterstützen.
ScienceFiles lebt weitgehend von Spenden.
Helfen Sie uns, ScienceFiles auf eine solide finanzielle Basis zu stellen.Wir haben drei sichere Spendenmöglichkeiten:
“Insofern die Hohenheimer behaupten, sie hätten das erhoben, was Deutsche, also 1006 von ihnen,…”
Mir fällt bei Euch öfter mal auf, daß Ihr bei repräsentativen Umfragen gerne mal mit einem Seitenhieb darauf hinweist, daß eben nicht alle Vertreter einer Gruppe gefragt wurden. Nun sind repräsentativen Umfragen aber ein absolutes Standard-Instrument und gut erforscht. Woran liegt diese Kritik?
Habt Ihr Zweifel daran, ob speziell in den von Euch aufgegriffen Fällen tatsächlich repräsentativ gefragt wurde, ist es ein Fingerzeig an den Leser, sich grundsätzlich vor Augen zu halten, daß nicht die ganze Gruppe abgefragt wurde oder habt Ihr – und das wäre ja der interessanteste Fall – aus Eurer wissenschaftlichen Praxis heraus grundlegende Bedenken gegen repräsentative Umfragen?
(Ich für meinen Teil habe bisher immer akzeptiert, daß sauber durchgeführte Umfragen mit einer berechenbaren Ungenauigkeit repräsentative Ergebnisse liefern.)
Stellen Sie sich vor, Sie wollen eine repräsentative Befragung machen, bei der jedes Element der Grundgesamtheit, in diesem Fall der Bevölkerung über 18 Jahre, dieselbe Chance hat, an der Befragung teilzunehmen. Sie machen zu diesem Zwecke eine telefonische Umfrage. Zu welchem Zeitpunkt machen Sie diese Telefonumfrage, um sicherzustellen, dass auch ein repräsentativer Teil der Bevölkerung zuhause ist? Was machen Sie mit Leuten, die zwar zu Hause sind, aber keine Lust haben, bei der Umfrage teilzunehmen? Was machen Sie mit dem repräsentativen Teil, der Wohnsitzlos, im Krankenhaus oder sonstwo ist? Das sind nur einige der Probleme, denn keine mir bekannte “repräsentative Befragung” hat es je geschafft, auch nur Grundkategorien wie die Verteilung nach Schicht, Einkommen oder Bildung abzubilden. Deshalb wird gewichtet, die Befragungs-Suppe zu einer richtigen Pampe verrührt. Was bei Gewichtung passiert, erklären wir hier: http://sciencefiles.org/2013/09/14/gewichtung-von-umfragedaten-magisches-aus-meinungsforschungsinstituten/
Und wenn Sie 1006 Befragte haben und eine Kategorie wie Islam, Salafisten, die 1,8%, also 18 Befragte genannt haben, glauben Sie im Ernst, die 18 Befragten stellten noch eine Zellengröße dar, die man trotz der 1006 Befragten als repräsentativ bezeichnen kann? Allein der statistische Fehler beträgt im Durchschnitt 2%…
Ein verzerrender Effekt dürfte wohl auch sein, daß viele es wohl nicht für angemessen halten zB. die Fussball WM wichtiger zu nehmen als etwa Ebola. Was bedeuted eigentlich “am meisten beschäftigt”? Objektiv gesehen dürfte wohl ein großer Teil der Befragten die WM über zwei Monate verfolgt haben und emotional durchaus stark involviert gewesen sein. Wenn also die tatsächlich stattgefundene Beschäftigung (zB. im Sinne der aufgewandten Zeit) ausschlaggebend wäre, würde die WM vermutlich an erster Stelle stehen. Wenn jeder den Begriff Beschäftigung etwas anders für sich auslegt, was zum Teufel hat dann die “Studie” eigentlich gemessen?
Die quantitative empirische Sozialforschung unterscheidet Fragen grob in offene und geschlossene Fragen. Offene Fragen geben im Gegensatz zu geschlossenen Fragen keine Antworten vor. Beide Arten, zu fragen, haben ihre Vor- und Nachteile. Die wichtigsten Nachteile, die sich mit geschlossenen Fragen verbinden, lassen sich an einem Beispiel deutlich machen:
ScienceFiles Spendenkonto:
HALIFAX (Konto-Inhaber: Michael Klein):
ScienceFiles Spendenkonto:
HALIFAX (Konto-Inhaber: Michael Klein):
“Insofern die Hohenheimer behaupten, sie hätten das erhoben, was Deutsche, also 1006 von ihnen,…”
Mir fällt bei Euch öfter mal auf, daß Ihr bei repräsentativen Umfragen gerne mal mit einem Seitenhieb darauf hinweist, daß eben nicht alle Vertreter einer Gruppe gefragt wurden. Nun sind repräsentativen Umfragen aber ein absolutes Standard-Instrument und gut erforscht. Woran liegt diese Kritik?
Habt Ihr Zweifel daran, ob speziell in den von Euch aufgegriffen Fällen tatsächlich repräsentativ gefragt wurde, ist es ein Fingerzeig an den Leser, sich grundsätzlich vor Augen zu halten, daß nicht die ganze Gruppe abgefragt wurde oder habt Ihr – und das wäre ja der interessanteste Fall – aus Eurer wissenschaftlichen Praxis heraus grundlegende Bedenken gegen repräsentative Umfragen?
(Ich für meinen Teil habe bisher immer akzeptiert, daß sauber durchgeführte Umfragen mit einer berechenbaren Ungenauigkeit repräsentative Ergebnisse liefern.)
Stellen Sie sich vor, Sie wollen eine repräsentative Befragung machen, bei der jedes Element der Grundgesamtheit, in diesem Fall der Bevölkerung über 18 Jahre, dieselbe Chance hat, an der Befragung teilzunehmen. Sie machen zu diesem Zwecke eine telefonische Umfrage. Zu welchem Zeitpunkt machen Sie diese Telefonumfrage, um sicherzustellen, dass auch ein repräsentativer Teil der Bevölkerung zuhause ist? Was machen Sie mit Leuten, die zwar zu Hause sind, aber keine Lust haben, bei der Umfrage teilzunehmen? Was machen Sie mit dem repräsentativen Teil, der Wohnsitzlos, im Krankenhaus oder sonstwo ist? Das sind nur einige der Probleme, denn keine mir bekannte “repräsentative Befragung” hat es je geschafft, auch nur Grundkategorien wie die Verteilung nach Schicht, Einkommen oder Bildung abzubilden. Deshalb wird gewichtet, die Befragungs-Suppe zu einer richtigen Pampe verrührt. Was bei Gewichtung passiert, erklären wir hier: http://sciencefiles.org/2013/09/14/gewichtung-von-umfragedaten-magisches-aus-meinungsforschungsinstituten/
Und wenn Sie 1006 Befragte haben und eine Kategorie wie Islam, Salafisten, die 1,8%, also 18 Befragte genannt haben, glauben Sie im Ernst, die 18 Befragten stellten noch eine Zellengröße dar, die man trotz der 1006 Befragten als repräsentativ bezeichnen kann? Allein der statistische Fehler beträgt im Durchschnitt 2%…
Herzlichen Dank für die erhellende Antwort.
Es war ganz klar das Jahr der Kriegshetze. Die Maske ist endgültig verrutscht. Das heilt nicht wieder. Es gibt eben verschiedene Wege zur Aufklärung.
Carsten
—
Dummheit ist nachhaltig
Ein verzerrender Effekt dürfte wohl auch sein, daß viele es wohl nicht für angemessen halten zB. die Fussball WM wichtiger zu nehmen als etwa Ebola. Was bedeuted eigentlich “am meisten beschäftigt”? Objektiv gesehen dürfte wohl ein großer Teil der Befragten die WM über zwei Monate verfolgt haben und emotional durchaus stark involviert gewesen sein. Wenn also die tatsächlich stattgefundene Beschäftigung (zB. im Sinne der aufgewandten Zeit) ausschlaggebend wäre, würde die WM vermutlich an erster Stelle stehen. Wenn jeder den Begriff Beschäftigung etwas anders für sich auslegt, was zum Teufel hat dann die “Studie” eigentlich gemessen?