Junk Science: Universität Würzburg gibt den Legitimationsbeschaffer für Medien

Als jemand, der jahrelang mit den Daten des Eurobarometers und für die Europäische Kommission gearbeitet hat, wird Michael Klein immer hellhörig, wenn Wissenschaftler etwas Herausragendes mit den Daten des Standard-Eurobarometers herausgefunden haben wollen. Das schon deshalb, weil er sich noch an die vielen Versuche des zwischenzeitlich verstorbenen Karlheinz Reif erinnert, Wissenschaftler für die Daten des Eurobarometer zu begeistern und die vielen Absagen kennt, die Reif erhalten hat.

Wie dem auch sei, eine „Studie der Universität Würzburg“ hat angeblich herausgefunden, dass das „Vertrauen in Medien einen neuen Höchststand“ erreicht hat. Vor allem bei rechtsgerichteten Menschen sei das Vertrauen in die Medien gestiegen, weshalb der Studienautor Kim Otto zu folgern können glaubt, dass der „angebliche massive Vertrauensverlust“ der Medien ein Mythos sei.

Wer sich für den gesamten Text der Pressemeldung, die wohl mit der Studie identisch ist, interessiert, der kann ihn hier nachlesen.

Wir wollen ein wenig aus dem Nähkästchen erzählen.
Zunächst ist es etwas irritierend, wenn Daten, die frei zugänglich sind, und die sich jeder aus den Archiven des Eurobarometer beschaffen kann, als Ergebnis einer „Studie“ dargestellt werden. Es ist wohl eher das Ergebnis von einigen wenigen Minuten Arbeit. Wir haben die Daten von Otto in knapp 10 Minuten beschafft.

Wer es uns nachmachen will: Hier ist der Link zur Europäischen Kommission.

Der angeblich neue Höchststand im Vertrauen, den Kim Otto feiert, er ist mit dem Standard-Eurobarometer 86 erreicht, der im November 2016 im Feld war. D.h. die aktuellen Ergebnisse von Otto, sie beziehen sich auf den November 2016, sie sind mehr als ein halbes Jahr alt.

Der Standard-Eurobarometer heißt deshalb Standard-Eurobarometer, weil er einen Kern von Fragen umfasst, die in jedem oder fast jedem Eurobarometer, seit der Bus-Survey im Jahr 1974 eingeführt wurde, gefragt wird. Eine der Standardfragen fragt nach dem Vertrauen in Institutionen.

 

Im englischen Original lautet die Frage:
I would like to ask you about how much trust you have in certain institutions. For each of the following institutions, please tell me, if you tend to trust or tend not to trust it.
The Press?

Ich zeige Ihnen nun eine Liste von Institutionen. Bitte sagen Sie mir für jede davon, ob sie dazu neigen, der Institution zu vertrauen oder dazu, der Institution nicht zu vertrauen.
Die Presse

Die selbe Frage wird für Radio und Fernsehen (separat) gestellt.
Wir bleiben hier bei der Presse.

Otto meint, die Ergebnisse würden zeigen, dass die Lügenpressevorwürfe verpufft seien und nach seiner Einschätzung ist die Strategie der Medien „die AfD durch eine inhaltliche Auseinandersetzung zu entzaubern, ein Stück weit aufgegangen“.

Damit haben wir den Boden der Daten und der Wissenschaft verlassen. Otto betätigt sich lieber als Ideologe und Prophet, denn als Wissenschaftler.

Wäre er Wissenschaftler, er wüsste zum einen, dass es einen Unterschied macht, ob man von sich sagt, dass man dazu neigt, der Presse zu vertrauen oder ob man sagt, dass man der Presse vertraut. Durch die gesamte Pressemeldung und Studie macht Otto keinerlei Unterschied zwischen beiden Aussagen, was zeigt: Er ist Ideologe, kein Wissenschaftler.

Wäre er ein Wissenschaftler, es wäre ihm beim Lesen der Frage, wie sie im Eurobarometer gestellt wurde, selbst eine Frage gekommen: Wonach wird hier eigentlich gefragt? Was ist „Die Presse“. Die allgemeine Formulierung der Frage hat in der Vergangenheit zu heftigen Diskussionen unter den damals noch mit dem Eurobarometer betrauten Wissenschaftlern geführt. Die Allgemeinheit der Frage ist geblieben und damit ist auch die Tatsache geblieben, dass man die Frage nicht gebrauchen kann: Denn wir wissen nicht, an welche Presse ein Befragter denkt, wenn er den Begriff „die Presse“ hört. Wir wissen, dass Otto an Medien und dann an die ARD vielleicht auch an RTL2 denkt. Manche denken vielleicht an die Frankfurter Rundschau, andere an die Junge Freiheit, wieder andere an das Compact Magazin des Kopp-Verlags. Entsprechend sagt es überhaupt nichts aus, dass das Vertrauen in „die Presse“ gestiegen ist, so lange man nicht weiß, warum das Vertrauen gestiegen ist und was die Befragten als „die Presse“ verstehen.

Wäre Otto ein Wissenschaftler, dieses Problem wäre ihm in den Sinn gekommen.
Wäre er ein Wissenschaftler, er hätte sich sogar eine Möglichkeit überlegen können, dieses Problem zumindest ansatzweise zu lösen.

Unter Statistikern steht die Kreuztabelle als Nukleus der meisten statistischen Verfahren und Erkenntnisse hoch im Kurs. Selbst Otto scheint sie zu kennen, sonst hätte er nicht herausfinden können, dass „das Vertrauen der Menschen im rechten politischen Spektrum in die Presse immerhin auf 51 Prozent“ gestiegen ist. Das drängt einem geradezu den Verdacht auf, dass es unterschiedliche Verständnisse von „die Presse“ gibt. Man könnte fast denken, dass Menschen „im rechten politischen Spektrum“ im Bereich der alternativen Presse Erzeugnisse „der Presse“ gefunden haben, die ihr Vertrauen in „die Presse“, die für sie die alternative Presse ist, wieder erhöht hat.

Aus diesen Ergebnissen ableiten zu wollen, dass „die Strategie der Medien, die AfD durch eine inhaltliche Auseinandersetzung zu entzaubern“ aufgegangen ist, ist nicht nur abenteuerlich, es ist unlauter.

Von alldem abgesehen sind sich empirische Sozialforscher darüber einig, dass die Daten des Eurobarometer nicht dazu geeignet sind, aktuelle Einschätzungen zu geben. Sie sind eine Momentaufnahme. Im vorliegenden Fall stammt die Momentaufnahme aus dem November 2016. Zudem ist jeder Eurobarometer eine in sich geschlossene Querschnittsbefragung. D.h. die Befragten, die im Mai 2016 befragt wurden, sind nicht dieselben Befragten, die im November 2016 befragt wurden. Die Legitimation dafür, Daten aus der Befragung unterschiedlicher Befragter zu unterschiedlichen Zeitpunkten so zu behandeln als hätte man Daten von den selben Befragte zu unterschiedlichen Zeitpunkten wird von denen, die derart windige Dinge durchführen mit einem Verweis auf „Repräsentativität“ vorgenommen. Was wir von Repräsentativität halten, ist den Stammlesern von ScienceFiles bekannt. Wer es nicht weiß, der kann es hier nachlesen. Dass Repräsentativität im Zusammenhang mit dem Eurobarometer, der zu seinen besten Zeiten ein Gewicht enthielt, das aus 500 Luxemburgern 7 gemacht hat, für diejenigen, die die Daten kennen, Ursache kontinuierlicher Belustigung ist, sagt alles über die Möglichkeit, die Daten als Verlaufsdaten zu interpretieren.

So müssen wir leider feststellen, dass nun auch von der Universität Würzburg ideologischer Science Junk verbreitet wird. In fast schon Mitleid erregender Weise wird versucht, die deutschen Medien gutzureden und zu schreiben und ein Vertrauen herbei zu zaubern, von dem auch Herr Otto nicht weiß, ob es tatsächlich vorhanden ist, denn: Er hat keine Daten, auf die er seine wilden Vermutungen stützen könnte. Entsprechend ist es wieder einmal an der Zeit festzustellen, dass empirische Daten nicht dazu da sind, die eigenen Phantasien auszuleben und in hilflose Zahlen zu interpretieren, sie sind dazu da, Hypothesen zu prüfen oder einen Eindruck über Verteilungen zu erhalten. Und weil dem so ist, hat sich Otto als Junk Scientist ge-outet. Das macht insofern nichts, als jeder aus seinen Fehlern lernen kann. Es ist insofern erschreckend als es heute möglich ist, Junk wie den von Otto als offizielle Studie der Professur für Wirtschaftsjournalismus zu bezeichnen und in einer Zeitschrift der Universität Würzburg zu platzieren.

Anregungen? Hinweise? Kontaktieren Sie ScienceFiles

Mainzer Studie: Vertrauen, von Medien belogen zu werden, steigt

Ein Beitrag zum Thema „Fake-Wissenschaft“

„Vertrauen in Medien steigt“ – das meldet die ZEIT„Studie: Vertrauen in die Medien steigt massiv an – das Misstrauen aber ebenso“ – so titelt MeediaUnd im Tagesspiegel dilettiert Joachim Huber unter der Schlagzeile „Vertrauen in die Medien deutlich gestiegen – und gefallen“.

contradictionAlle drei Schlagzeilen beziehen sich auf eine „Studie der Uni Mainz“, die „Kommunikationsforscher der Universität Mainz“ (ZEIT), der Kommunikationsforscher Tanjev Schultz und sein Kollege Oliver Quiring (Tagesspiel und Meedia) durchgeführt haben. Nein, nicht die beiden Kommunikationsforscher, von denen einer (Tanjev Schultz) unlängst von der Redaktion der Süddeutschen Zeitung auf einen Lehrstuhl für Journalistik an der Universität Mainz gewechselt ist und einer (Oliver Quiring) Leiter des Forschungsbereichs Kommunikationswissenschaft an der Gutenberg Universität Mainz ist, haben die „Studie“ durchgeführt, sondern Ifak.

Ifak, eines der vielen Meinungsforschungsinstitute, die den Glauben an die Repräsentativität hochhalten, weil sie damit ihr Geld verdienen, hat „bundesweit 1.200 Personen“ (Meedia) befragt, von Oktober bis November 2016. Herausgekommen ist dabei laut ZEIT, dass die „Zahl der Bürger, die den Medien vertrauen … in den letzten Jahren deutlich gestiegen ist“. Denn: Heute sind 40 Prozent der Deutschen der Ansicht, man könne den Medien „in wichtigen Fragen eher oder voll und ganz vertrauen. 2008 hatte der Aussage nur knapp jeder Dritte zugestimmt“.

Hurra, das Vertrauen in die Medien ist gestiegen.

Allerdings ist auch das Misstrauen in die Medien gestiegen, denn laut derselben Studie des Mainzer Professoren und des ehemaligen Angestellten der Süddeutschen Zeitung, die Ifak durchgeführt hat, sagt etwa „jeder vierte Deutsche, dass man den Medien in wichtigen Fragen eher nicht oder überhaupt nicht vertrauen könne. 2008 waren das noch neun Prozent gewesen“ (ZEIT).

Prinzip 1 des Rationalen Widerstands besagt: Etwas ist nicht sein Gegenteil. Das Vertrauen in die Medien kann nicht gleichzeitig steigen und sinken. Dass dennoch behauptet wird, es steige und falle gleichzeitig, ist einem Trick geschuldet, den die Mainzer Universitätsangestellten anwenden: Normalerweise gibt man dann, wenn man Aussagen über die Antworttendenz machen will, ein zentrales Maß wie den Mittelwert an. Nur dann, wenn man ein Ergebnis schönreden will, zerlegt man eine zentrale Tendenz in zwei sich widersprechende Tendenzen, von denen aber nur eine wahr sein kann.

Gehen wir der Sache auf den Grund.

Zunächst das Argument dafür, die Studie des Kommunikationsforschers und des ehemaligen Journalisten von der Süddeutschen Zeitung in den Mülleimer zu werfen, denn da gehört die Junk-Studie hin.

Methoden eSEs ist nicht möglich, auf der Basis zweier Befragungen, zweier Querschnittsbefragungen, die im Abstand von 7 Jahren, einmal 2008 und einmal 2016 durchgeführt wurden, Aussagen über die Entwicklung zu machen. 2008 wurden völlig andere Personen befragt als 2016, Aussagen darüber, dass sich z.B. die Einstellung gegenüber den Medien verändert hat, kann man aber nur machen, wenn man dieselben Befragten zu unterschiedlichen Zeitpunkten befragt, wenn man die Daten einer Längsschnittsstudie zur Verfügung hat. Diese Daten haben die beiden in empirischer Sozialforschung Unbedarften aus Mainz nicht zur Verfügung. Ergo sind aussagen wie: „Vertrauen in Medien steigt“ oder „Vertrauen in die Medien steigt massiv an“ auf Basis der Daten von Schultz und Quiring nicht möglich.

Aber in der Zwischenzeit hat man sich daran gewöhnt, dass Verlaufsaussagen auf Grundlage diskreter Zeitpunkte, die wiederum von nicht vergleichbaren Populationen gewonnen wurden, gemacht werden. Warum sollen nicht auch Schultz und Quiring als Vertreter dieses Fehlers in empirischer Sozialforschung bekannt werden?

In jedem Fall werden sie bekannt werden als zwei Lehrstuhlbesetzer, die ihre Position an der Universität wohl dazu ausnutzen wollen, die Leser von ZEIT, Meedia, Tagesspiegel und all den anderen Mainstream-Medien, die die Meldung gerne und wortgetreu übernehmen werden, zu manipulieren und zu betrügen.

Die Manipulation steckt im Detail und ist denen, die in empirischer Sozialforschung nicht bewandert sind, schnell untergeschoben.

Wer hat bei den Formulierungen „eher oder voll und ganz“ bzw. „eher nicht und überhaupt nicht“ gestutzt?

Was meinen Sie, wie sehr kann man deutschen Medien in wichtigen Fragen vertrauen?“ Eher oder voll und ganz bzw. eher nicht und überhaupt nicht?

Ganz nebenbei werden den Lesern hier zusammengefasst Antwortkategorien untergeschoben, ohne dass ihnen das mitgeteilt wird, denn die Antwortmöglichkeiten auf die Fragen waren:
Voll und ganz vertrauen
Eher vertrauen
Eher nicht vertrauen
Überhaupt nicht vertrauen.

Wenn aus vier ursprünglichen Kategorien plötzlich zwei werden, dann ist Vorsicht geboten, denn dann wollen Forscher oft etwas verbergen. Es ist umso mehr Vorsicht geboten, wenn plötzlich der Usus, Kennzahlen der zentralen Tendenz zur Zusammenfassung der Antwortverteilung zu nutzen, fallengelassen wird, wie dies im vorliegenden Beispiel der Fall ist, in dem dieselbe Frage einmal mehr Vertrauen und einmal weniger Vertrauen für die Befragung in 2016 ergibt, als dies 2008 der Fall war. Warum ist Vorsicht geboten? Weil durch die Zusammenfassung die Daten manipuliert werden können, und zwar so, dass das Ergebnis geschönt wird.

Ausgangspunkt z.B. diese Verteilung für das Jahr 2008:

  • Voll und ganz vertrauen: 15%
  • Eher vertrauen: 14%
  • Eher nicht vertrauen: 6%
  • Überhaupt nicht vertrauen: 3%

So könnte die Verteilung, die zu dem zusammengefassten Ergebnis für 2008 (29% Vertrauen, 9% kein Vertrauen) geführt hat, ausgesehen haben. Die Verteilung für 2016 kann folgendes Aussehen haben:

  • Voll und ganz vertrauen: 15%
  • Eher vertrauen: 25%
  • Eher nicht vertrauen: 6%
  • Überhaupt nicht vertrauen: 19%

Oder

  • Voll und ganz vertrauen: 5%
  • Eher vertrauen: 35%
  • Eher nicht vertrauen: 10%
  • Überhaupt nicht vertrauen: 15%

Die Prozente, die zu 100% fehlen, lassen vermuten, dass es neben einer Kategorie „weiß nicht“ noch eine Mittelkategorie des „weder noch“, also derjenigen gibt, die nicht wissen, ob sie Mainstream Medien vertrauen oder nicht. Offensichtlich halten die Mainzer Universitätsangestellten diese Information für entbehrlich.

sciencefiles-rationaler-widerstand-3Beide oben dargestellte Verteilungen für das Jahr 2016 führen zu 40% zusammengefasstem Vertrauen und zu 25% zusammengefasstem Misstrauen an deutschen Medien. Dahinter verbergen sich jedoch gänzlich andere Verteilungen und gänzlich andere Zuschreibungen von Vertrauen. Das wissen Wissenschaftler natürlich und deshalb nutzen sie Maße der zentralen Tendenz. Dass dies der Komminkationslehrer und der Journalist aus Mainz nicht tun, kann daran liegen, dass sie keine Ahnung von wissenschaftlichen Gepflogenheiten haben oder daran, dass sie mit ihren Ergebnissen manipulieren und betrügen wollen.

Wie dem auch sei, selbst mit zusammengefassten Daten lässt sich noch ein Teil Wahrheit rekonstruieren und ein Maß der zentralen Tendenz berechnen. Wir berechnen den Mittelwert für die Verteilung von 29% Vertrauen und 9% Misstrauen in 2008 und den Mittelwert für die Verteilung von 40% Vertrauen und 24% Misstrauen in 2016 (unsere Werteskale reicht von 1 bis 2. Je höher der Mittelwert, desto weniger Vertrauen in Medien besteht).

Der Mittelwert für 2008 beträgt: 1,23, der Mittelwert für 2016 beträgt: 1,375. Mit anderen Worten, wenn man die Befragung von 2008 mit der Befragung von 2016 vergleicht, dann muss man feststellen, dass das Misstrauen in öffentliche Medien 2016 größer ist als 2008. Das sieht man auch daran, dass die Anzahl derjenigen, die kein Vertrauen zu Medien haben, 2016 um 15% höher liegt, als 2008. Dagegen liegt die Zahl derer, die vertrauen, im Jahr 2016 um 11% höher als 2008.

Aus den vorhandenen Daten herauslesen zu wollen, dass das Vertrauen in Medien steigen würde bzw. massiv gestiegen sei, grenzt an Datenfälschung. Es ist in jedem Fall ein Fall für die Ethikkommission der Universität Mainz, sofern es die dortige Ethikkommission als ihre Aufgabe betrachtet zu verhindern, dass Universitätsangestellte, von denen einer zugegebenermaßen mehr Erfahrung mit der Süddeutschen Zeitung als mit dem, was an Universitäten gefordert wird und Standard sein sollte, hat, versuchen, die Öffentlichkeit mit manipulierten Daten zum Narren zu halten.

Wissenschaftlichen Ansprüchen und Ansprüchen an Moral und Ehrlichkeit genügt die Darstellung der Daten durch Schultz und Quiring nicht. Aber vielleicht reicht es ja für einen Gastauftritt beim diesjährigen Mainzer Karneval, bei Mainz bleibt Mainz, wie es singt und lacht…

Translate »
error: Content is protected !!
Skip to toolbar