HomeMethodenBefragung„Hello from Princeton“: Vom neuesten gescheiterten Versuch, „parteiische“ online-Medien zu verteufeln
April 9, 2021
„Hello from Princeton“: Vom neuesten gescheiterten Versuch, „parteiische“ online-Medien zu verteufeln
von Dr. habil. Heike Diefenbach
Es begann vor Ostern mit einer unauffälligen Mail in meiner Inbox unter vielen anderen. Sie war mit „Hello from Princeton“ überschrieben, und in ihr wurde vom „Communication Manager“ Rose Huber für die Kenntnisnahme einer Studie geworben, von der behauptet wurde:
„It demonstrates the long-term corrosive effect of increased consumption of online partisan media: lowered trust in mainstream news sources.”
Der Fettdruck stand im Original, so als handle es sich bei dem schwindenen Vertrauen der Leute in die mainstream-Medien erstens um etwas Neues und zweitens um etwas Bedauerliches. Da dies bekanntermaßen aber nicht der Fall ist, war mein erster Impuls, die mail nicht weiter zu beachten und wie viele andere in den Junk-Ordner.zu verschieben.
Nun ist die Uni Princeton in den letzten Jahren durch die Inszenierung eines über-politisch korrekten Images negativ aufgefallen: ein Blick auf die homepage der Uni genügt diesbezüglich, denn dort kommt Wissenschaft nicht vor. Statt dessen werden Stimmen aus der Uni gegen „anti-Asian American racism“ vorgestellt, der „Women’s History Month“ begangen, COVID-19 zum Anlass zur Erziehung der Öffentlichkeit im Rahmen einer „public health campaign“ genommen und auf eine Studie verwiesen, die angeblich zeigt, wie die USA bis 2050 das Ziel der vollständigen Dekarbonisierung (!?) erreichen können (s. https://www.princeton.edu/ am 06. April 2021), ganz so, als wäre es ein Fakt, dass dies überhaupt wünschenswert oder notwendig sei. Dies alles bildet Politik ab, aber nicht Wissenschaft.
Angesichts des über-politisch korrekten Images der ehemals für Qualität bekannten Princeton-Universität und angesichts der schlichten Tatsache, dass für die Studie über den „langfristigen zersetzenden/zerstörerischen Effekt zunehmenden Konsums pareteilicher online-Medien“ offenbar systematisch geworben werden sollte, um ihr (vermeintiches) Ergebnis (dazu kommen wir noch) unter die Leute zu bringen, hatte ich jedoch ein hinreichend großes Unwohlsein mit Bezug auf die angepriesene Studie entwickelt, um mich für die Angelegenheit zu interessieren. Also las ich die Email ganz durch.
In der Email von Frau Huber selbst hieß es weiter:
“Andy Guess of Princeton and others did a real-world experiment in which they incentivized Americans to change their browser homepages, subscribe to email newsletters and follow the Facebook pages of either Fox News or HuffPost [The Huffington Post] during the 2018 midterm campaign. Looking at their virtual web visits and survey responses many months later they found it successfully boosted people’s partisan news exposure, but produced lasting, negative changes in their attitudes toward the mainstream media”.
Konnte es sein, dass ich das nicht richtig verstanden hatte?
Konnte es sein, dass die Studie nichts anderes gezeigt hatte als die Tatsache, dass die Leute mit der Zeit eine Präferenz für Fox News oder für die Huffington Post gegenüber anderen, in der Studie als „mainstream“ bezeichneten, Medien, entwickelten, wenn sie mit den entsprechenden online-Angeboten dieser Medien bekannt gemacht wurden?
Sollte das das Ergebnis sein, das reißerisch – und wertend und damit unwissenschaftlich – als „langfristiger zersetzender/zerstörerischer Effekt zunehmenden Konsums parteiischer online-Medien“ angekündigt wurde?
Nun hatte ich den starken Verdacht, dass entweder die Studie eine der zahllosen Junk-Studien sein musste, mit denen wir nahezu täglich konfrontiert werden, oder dass Frau Hubers Werbe-mail der Studie einigermaßen schwere Gewalt angetan haben musste.
Also habe ich mir die Studie samt der „Supplemental Materials“ zur Studie und des „pre-analysis plan“, der in mancher Hinsicht aufschlussreicher ist als die „Supplemental Materials“ selbst, im Internet besorgt und das Ganze gelesen. Ich habe auch versucht, die Datensätze, auf denen die Studie beruht, zwecks Replikation von der Adresse herunterzuladen, die die Autoren in ihrem Text angeben, aber leider erhält man beim Versuch, die Daten herunterzuladen, den Hinweis, dass derzeit Datensätze dieses Umfangs nicht von der GitHub-Seite, auf der die Daten abgelegt sind, herunterladbar seien. Die Replikation ist dem interessierten Forscher also tatsächlich nicht möglich.
Zunächst zu den Autoren der Studie: Der Erstautor ist Andrew M. Guess vom Department of Politics und der School of Public and International Affairs an der Princeton University. Seine drei Koautoren sind Pablo Barberá vom Department of Political Science and International Relations an der University of Southern California, Simon Munzert vom Data Science Lab der Herties School in Berlin, und JungHwang Yang vom Department of Communication der University of Illinois.
Die vier haben ihren Text mit dem Titel „The Consequences of Online Partisan Media“ versehen und in PNAS (Proceedings of the National Academy of Sciences), Band 118, Heft 14, untergebracht.
Wenn man der Überschrift zum Text vertraut, dann geht es in der Studie um die Untersuchung der Konsequenzen von parteiischen Online-Medien. Wenn man die Studie gelesen hat, weiß man allerdings, dass der Titel irreführend ist. Er hätte – weit angemessener – lauten können: Der Konsum der Online-Seiten von Fox-News und der Huffington Post trägt nicht zur politischen Polarisierung bei, beeinflusst nicht, welche Themen Befragte wichtig finden, und beeinflusst nicht die Wahlabsicht der Befragten“, denn dies alles haben die Autoren getestet – und die entsprechenden Zusammenhänge nicht gefunden.
Damit ist eigentlich alles gesagt, was es über diese Studie zu wissen gibt:
Sie eignet sich nicht dazu, Erzählungen vom Fluch der Online-Nachrichten-Seiten, denen die Zerstörung der öffentlichen Diskussionskultur angedichtet wird, weil sie zumindest teilweise von dem abweichen, was CNN oder MSNBC verlautbaren, mit der Aura der Wissenschaftlichkeit zu umgeben. Sie eignet sich in keiner Weise dazu, Erzählungen von der Verantwortung der Online-Nachrichten-Seiten für Echokammern und gesellschaftliche Polarisierung zu nähren oder den Glauben an ihre angeblich magische Kraft, Menschen von allen möglichen und unmöglichen Dingen zu überzeugen, diese Menschen, gewöhnlich ungebildete und einfältige Menschen (also fast alle, außer denen, die den „Fluch“ durchschauen,) zu radikalisieren und als willige Verteilungsorgane von Fake News zu instrumentalisieren, ihre Kraft, Menschen auf wundersame Weise dazu zu bringen, das Haus zu verlassen, um Anders-Meinende zu verprügeln oder Anders-Aussehende zu ermorden. Nichts davon konnte bislang auch nur annähernd als „wissenschaftlich“ belegt ausgewiesen werden, und die Studie von Guess et al. steht im Einklang mit den vorliegenden Forschungsbefunden, wie die Autoren an verschiedenen Stellen (auf den Seiten 4, 5 und 6) in ihrem Text selbst einräumen.
Zum Beispiel schreiben Guess et al. auf Seite 4:
„These findings are consistent with recent research evaluating the persuasive impact of advertising and campaign contact, which suggest negligible effects especially in settings that map onto the political divide“.
Und auf Seite 5 halten die Autoren fest:
„Encouraging people to alter their online information environments in this way seems to work on a basic level: it can increase awareness of recent political events. However, for most of the kinds of outcomes frequently studied by social scientists – such as voting beahvior, agenda-setting, and affective polarization – we do not find strong evidence [nicht nur das – tatsächlich finden die Autoren überhaupt keine diesbezüglich statistisch signifikanten Zusammenhänge] of direct influence. Despite the seismic technological, societal, and political shifts of the past 75 y[ears], this evidence is consistent with a tradition of research on media’s minimal effects arising out of the Second World War …“ (Guess et al. 2021: 5).
Natürlich ist „this evidence“, also das von Guess et al. erzielte Ergebnis, nicht konsistent mit einer Forschungstradition, genau: der Forschungstradition, die Lazarsfeld mit Bezug auf Wahlentscheidungen in den 1940er-Jahren begründet hat – daher der Verweis auf den Zweiten Weltkrieg im Text der Autoren –, sondern mit vorherigen Forschungsergebnissen, die die These von den “media’s minimal effects” bestätigt haben, und diese These wiederum besagt, dass Medien auf Einstellungen und Verhaltensdispositionen von Menschen kaum einen Einfluss haben und dass Medien bestenfalls bereits vorhandene Einstellungen und Verhaltensdispositionen verstärken können.
In normaler Sprache auf den Punkt gebracht:
Auch Guess et al. finden in ihrer Studie aus dem Jahr 2021 keinen nennenswerten Einfluss von Medien auf Einstellungen oder Verhaltensdispositionen der Menschen, ganz so, wie dies seit Jahrzehnten in anderen Studien anderer Autoren der Fall war. Also nichts Neues unter der Sonne und viel Aufregung um Nichts, oder: außer Spesen nichts gewesen – wieder nicht. Immer noch nicht. Es will einfach nichts werden mit dem „zerstörerischen“ Effekt parteiischer und/oder sozialer Medien.
Aber wenn das so ist, warum wurde die Überschrift dann nicht so gewählt, dass sie zumindest im Ansatz Aufschluss über die zahlreichen (Nicht-/)Ergebnisse gibt, die die Studie produziert hat? Es ist doch wichtig zu wissen, wenn sich die monströsen Erzähungen von den Online-Nachrichten-Seiten als öffentliche Gefahr – einmal mehr – als haltlos erweisen, oder!?
Ich kenne die Antwort auf diese Frage nicht. Aber ich vermute, dass eine solche faktisch zutreffende Überschrift ideologisch unerwünscht war bzw. all denjenigen nicht gefallen hätte, die ein Interesse daran haben, bestimmte Nachrichten-Sender oder –Seiten oder soziale Medien in Bausch und Bogen zur öffentlichen Gefahr zu stilisieren, vielleicht, weil sie an einer Einrichtung angestellt sind, die eine klar erkennbare ideologische Agenda (statt Wissenschaft) verfolgt.
Immerhin wurde die Studie vom Princeton University Committee on Research in the Humanities and Social Sciences und vom Center for International Studies at the University of Southern California finanziert – ergänzend zur Finanzierung durch die Volkswagen Foundation Computational Social Science Initiative (Guess et al. 2021: 7). Wie man dem “pre-analysis plan“ entnehmen kann, haben die Autoren „ … a grant from the Volkswagen Foundation [erhalten] to run this experiment as part of a broader study on how media exposure affects public opinion” (Barberá et al. 2018 : 3).
Wenn das zutreffen sollte, dann ist es bei der Titelwahl darum gegangen, eine Überschrift zu finden, die nicht von vornherein erkennen lässt, dass die Studie die ideologischen Interessen oder Vorurteile der Geldgeber nicht bedienen kann, die aber auch nicht direkt falsch ist:
Wenn man von „Konsequenzen von parteiischen Online-Medien“ schreibt, dann dürfte das suggerieren, dass es Konsequenzen – im Plural – zu vermelden gebe, und die nicht näher spezifizierte Etikettierung als „parteiisch“ überlässt es dem geneigten Leser, dabei an seine ideologischen Lieblingsfeinde zu denken. Gleichzeitig gilt aber, dass der Titel strenggenommen nur besagt, dass „die Konsequenzen“, die man für möglich gehalten hat, getestet wurde, aber nicht, dass sie auch gefunden wurden.
Sollten meinen Vermutungen nicht zutreffen, dann verweist die Wahl der Überschrift auf ein Ausmaß von Oberflächlichkeit, Inkompetenz oder Gleichgültigkeit gegenüber der eigenen Forschung und der Wahrnehmung durch Kollegen und die Öffentlichkeit, das in einem wissenschaftlichen Text schwerlich akzeptabel ist – und das würde die Sache m.E. nicht besser machen.
Wie dem auch sei – jedenfalls ist mir vor diesem Hintergrund klar geworden, was Frau Huber in ihrer email mit dem Satz gemeint hat:
„There are more findings, but this is the one I thought you’d find most interesting“.
Mit den “more findings” muss sie all diejenigen gemeint haben, die die Erwartungen der Autoren enttäuscht haben, all die oben genannten „Nicht“-Ergebnisse, wenn man so sagen will. Warum diese Ergebnisse aber weniger interssant sein sollten als der Befund, nach dem der verstärkte Konsum des online-Angebots von Fox News und der Huffington Post – nachdem man solange und über die eigentliche Studiendauer hinweg wiedergefragt hat, mit einem niedrigeren Vertrauen in die „mainstream news sources“ korreliert, ist mir nicht nachvollziehbar. Diese Vermutung macht nur dann Sinn, wenn Frau Huber meinte, sie schreibe an Personen, denen dieser eine Befund „interessanter“, weil ideologisch sachdienlich, erscheinen mag.
Was genau ist der Befund, und was ist von diesem Befund zu halten?
Um dies beurteilen zu können, muss man wissen, dass die Studie von Guess et al. als eine im Zeitraum von Juli 2018 bis Dezember 2018 fünf Erhebungswellen umfassende Panel-Studie geplant war, an die später drei weitere Erhebungswellen angehängt wurden, von denen die achte, also die letzte im Oktober 2019 durchgeführt wurde (Barberá et al. 2018: 3-4 und Guess et al. 2021: 2). Das Sample, auf dem die Studie beruht, umfasst 1.037 Personen, die an den Befragungswellen 3 und 4 teilgenommen haben (Guess et al. 2021: 7), die ihrerseits eine Untergruppe des Pulse Panels von YouGov darstellten – so schreiben Guess et al. in ihrem Text (auf Seite 2-3). Teilnehmer an diesem Panel haben ihr Einverständnis dazu erteilt, eine Software zu installieren bzw. installieren zu lassen, die ihre Tätigkeit im Internet beobachtet, also sozusagen ihre Verkehrsdaten im Internet sammelt.
Guess et al. setzten auf dieses Panel auf und erhoben von ihrem Sample zusätzliche Daten, u..a. zu den politischen Einstellungen der Befragten. In der dritten Welle ihres Panel unterteilten Guess et al. ihre Befragten in etwa drei Drittel: ein Drittel wurde gebeten, als Startseite im jeweils benutzten Browser foxnews.com einzustellen, ein weiteres Drittel wurde gebeten, als Startseite im Browser huffingtonpost.com einzustellen, und beim dritten Drittel erfolgte keine solche Bitte; es sollte als Kontrollgruppe dienen (Guess et al. 2021: 2).
Guess et al. bemerken selbst, dass ihr Sample, das aus der Gruppe derer, die hierein eingewilligt haben, eben aufgrund dieser Einwilligung, schwerlich repräsentativ für die U.S.-amerikanische Bevölkerung sein dürfte und sich deshalb die Frage nach der Verallgemeinerbarkeit ihrer Ergebnisse stelle (Guess et al. 2021: 6). Sie weisen darauf hin, dass ihr Sample dem „overall sample in many important respects …“ (Guess et al. 2021: 6) sehr ähnlich sei, diejenigen in ihrem Sample, die in die Umstellung ihrer Startseite im Browser zugestimmt hatten, aber stärker politisch interessiert seien.
Aber das ändert nichts an der Tatsache, dass bereits das „overall sample“, das dem Pulse Panel von YouGov entstammt, als solches eine stark verzerrte Auswahl aus der Gesamtbevölkerung der USA darstellen dürfte, eben weil das Pulse Panel aus Personen besteht, die der Installation der Software zugestimmt haben, die ihre Tätigkeit im Netz beobachtet. Und in den „Supplemental Materials“ halten die Autoren (auf Seite 18) selbst fest:
„Specifically, our Pulse sample is composed of participants from a larger survey pool who opted in to passive metering – an additional selection step that could alter the sample composition”
Aber nur aufgrund der Beobachtungssoftware von YouGov war es Guess et al. möglich, die Betätigung der Personen in ihrem Sample vor und nach der dritten Welle bzw. der Intervention mit Bezug auf die Einstellung der Startseite ihres jeweiligen Browsers zu beobachten. Diese Beobachtung ergab, dass die Intervention von Guess et al. einen statistisch signifikanten Effekt hatte:
„Focusing on the time spent on pages from each site reveals that the intensity of the corresponding treatments in the first week was significant: a mean increase of nearly 50 s[econds] per day on the HuffPost site …and more than 2 min[utes] per day on the Fox News site … The impact of treatments is still measurable in the eighth week, with an estimated average of 0.34 additional visits to HuffPost and 3.66 additional visits to Fox News per day due to the intervention …” (Guess 2021: 3).
Wie oben schon berichtet, konnten Guess et al. keine (statistisch signifikanten) Korrelationen zwischen der längeren auf den von ihnen als „parteiisch“ ettikettierten foxnews.com oder huffingtonpost.com verbrachten Zeit und der Vielzahl von Faktoren feststellen, die die Autoren als „Effekte“ vermutet hatten – außer einem, der von den Autoren in der Zusammenfassung, die dem Text vorangestellt ist, als „… lasting and meaningful …“ (Guess et al. 2021: 1) bezeichnet wird, aber tatsächlich ein sehr fragwürdiger Effekt ist, wie die Beschreibung der Autoren selbst (auf Seite 4) eindrucksvoll klar macht:
„… we produce evidence that Fox News online caused among our subjects a decrease in overall trust and confidence in the mainstream media within the first several weeks of boosted exposure …, although this does not survive any of our multiple comparisons adjustments. However, looking beyond our original panel data to waves that we subsequently collected [eine in einer wissenschaftlichen Studie völlig unübliche Praxis, die vermutlich in der Hoffnung, dass sich mit der Zeit doch noch irgendein nennenswerter Effekt einstellt, gewählt wurde], we find a lasting effect not only for Fox News … but for Huffington Post as well … approximately 5 mo[nths] after the intervention …. with little decay. Remarkably, these changes appear fairly durable even after a year …. with similar magnitudes, although the effect for Fox News … falls short of significance at the 95% level … in contrast to HuffPost … Although we did not specifically preregister analyses beyond wave 5 [der letzten Welle, die im Rahmen der Studie vorgesehen war, wie man Seite 5 des Appendix entnehmen kann], we interpret these additional results [d.h. Ergebnisse, die sich in der Analyse der Daten der „nachgeschobenen“ Untersuchungswellen eingestellt haben,] – along with a continuing lack of significant effects on our other survey measures on these later waves – as indicative of a subtle, long-term media effect that has eluded the attention of prior research“ (Guess et al. 2021: 5),
was wohl die Umschreibung sein soll für einen Effekt, „… den wir in den fünf Wellen, die für unsere Studie geplant waren, nicht gefunden werden konnte“.
Wir halten fest: „Der“ negative Zusammenhang zwischen der längeren auf foxnews.com oder huffingtonpost.com verbrachten Zeit und dem Ausmaß des Vertauens zu „mainstream“-Medien
hält statistischen Kontrollprozeduren nicht stand und muss daher als nicht-existent angesehen werden,
taucht erst in den dem eigentlichen Studiendesign nachgeschobenen Befragungswellen auf
und verfehlt in Welle 8, also etwa ein Jahr nach der experimentellen Intervention durch die Autoren, mit Bezug auf den Konsum von foxnews.com das statistische Signifikanzniveau von 95%.
Das ist alles andere als ein zuverlässiger Beleg für einen „Effekt“, der tatsächlich eine Korrelation ist – und rein statistisch besehen nichts anderes sein kann. Um eine Korrelation als einen Effekt, also eine Kausalität, zu interpretieren, müsste man eine Erwartung darüber haben, wie und warum ein Faktor einen anderen beeinflussen sollte. Man bräuchte also eine theoretische Argumentation, die den statistischen Test auf Korrleation überhaupt erst sinnvoll macht. In der Arbeit von Guess et al. gibt es aber keine solche theoretische Argumentation mit Bezug auf den „Effekt“ des Konsums von huffingtonpost.com (und mit viel gutem Willen von foxnews.com) auf das Vertrauen in „mainstream“-Medien.
Aber nicht nur das. Sie sprechen von einem „long-term“, also einem langfristigen, Effekt, obwohl ihr Beobachtungszeitraum gerade einmal ein Jahr umfasst. Und nach meinem logischen Verständnis setzt ein langfristiger Effekt eine kurz- und mittelfristige Wirkung voraus, d.h. es kann keinen langfristigen Effekt ohne kurz- und mittelfristige Wirkung geben. Taucht ein Effekt nach einer längeren Zeit erstmals auf, war also vorher nicht beobachtbar, dann handelt es sich entweder nicht um einen Effekt oder um einen sogenannten sleeper-Effekt, der jedoch seinerseits wieder eine theoretische Begründung haben müsste, die erklärt, warum etwas plötzlich eine Wirkung entfalten sollte, die vorher nicht existiert hat.
Selbst dann, wenn man meinen würde, dass es einen langfristigen Effekt geben könne, der nicht zuvor ein kurz- und ein mittelfristiger gewesen ist, entspricht das jedenfalls nicht der Vorstellung der Autoren selbst, die in der Zusammenfassung auf Seite 1 ihrers Textes schreiben:
„… direct consequences of online partisan media are limited [tatsächlich sind sie nicht “begrenzt”, sondern mit einer einzigen Ausnahme statistisch nicht belegbar], although our finding raise questions about the possibility of subtle, cumulative dynamics“ (Guess et al. 2021: 1; Hervorhebung d.d.A.).
Da sie hier mit Bezug auf ihren einzigen statistisch signifikanten Befund, dem negativen Zusammenhang zwischen mehr auf foxnews.com oder huffingtonpost.com verbrachter Zeit und dem Ausmaß des Vertauens zu „mainstream“-Medien, explizit den Begriff „cumulative“, also „kumulativ“ wählen und ein kumulativer Effekt notwendigerweise naja, eben kumuliert, also mit der Zeit immer stärker wird, muss sich der „langfristige“ Effekt, von dem sie später im Text sprechen, über die Zeit aufgebaut haben, und das müsste in den Daten für jeweils vorhergehende Befragungswellen erkennbar sein, oder anders gesagt: Der „langfristige“ Effekt, muss, wenn er explizit als kumulativer Effekt bezeichnet wird, notwendigerweise auch ein kurz- und mittelfristig beobachtbarer gewesen sein.
Gleichzeitig fehlen Informationen, die für die Einschätzung des Befundes wichtig gewesen wären. So fragt man sich, auf wievielen Befragten insgesamt die Feststellung des Befundes beruht, denn wenn die Autoren (auf Seite 7) den Sampleumfang mit 1.037 für die Wellen 3 und 4 angeben, dann fragt man sich, wieviele von diesen Personen in der Welle 8 noch vertreten waren.
Und dann sind wir noch nicht bei den tiefergehenden Schwierigkeiten, die mit diesem Befund verbunden sind. Die beiden wichtigsten von ihnen betreffen erstens die Frage, ob und ggf. warum foxnews.com und huffingtonpost.com als „parteiisch“ einzustufen sind, andere Nachrichten-Sender – online oder offline – anscheinend aber nicht, und inbesondere nicht die „mainstream“-Medien, die foxnews.com und huffingtonpost.com notwendigerweise gegenübergestellt werden müssen, wenn ein „Effekt“ der Letzteren auf das Vertauen in die Ersteren untersucht werden soll. Zweitens ist das die Frage danach, was genau die „mainstream“-Medien sind, die „langfristig“ unter Vertrauensschwund unter Konsumenten von foxnews.com und huffingtonpost leiden sollten.
Zunächst zur ersten Frage.
Für die Einstufung von foxnews.com und huffingtonpost.com als „parteiisch“ (andere Nachrichten-Plattformen aber nicht) geben Guess et al. überhaupt keine Begründung in ihrem Text. Im Text schreiben Guess et al. ausdrücklich, dass sie in ihrer Interventionsstudie sicherstellen wollten, dass „… subjects encountered news framed with a partisan slant …“ (Guess et al. 2021: 1), aber warum das gerade bei foxnews.com und huffingtonpost.com der Fall sein sollte und bei anderen Nachrichten-Plattformen oder –Sendern nicht, bleibt das Geheimnis der Autoren.
Das einzige, was man vielleicht mit einem Begründungsversuch hierfür in Verbindung bringen könnte, ist ein einziger Satz in einem mit „Survey Waves and Treatment“ überschriebenen Absatz, der seinerseits unter der Überschrift „Materials and Methods“ dem eigentlichen Text angehängt ist (s. Guess et al. 2021: 7). Er lautet:
„Selection of these news sites [foxnews.com und huffingtonpost.com] was not only based on the significance of Fox News and HuffPost in the current political environment but also based on empirical web-tracking data during the pretreatment period” (Guess et al. 2021: 7).
Während der zweite Teil des Satzes als solcher schlichtweg keinerlei Information enthält, die die Auswahl dieser beiden Plattformen begründen könnte, wird im ersten Teil des Satzes etwas als Fakt postuliert, das offensichtlich den Vorurteilen der Autoren entspricht und vielleicht dem Einen oder Anderen plausibel ist, aber eben doch erst noch als Fakt anhand irgendwelcher empirischer Daten zu erweisen wäre.
Die fast durchgängigen Nicht-Bestätigungen der Hypothesen, die die Autoren hatten, hätten sie zumindest im Nachhinein darüber nachdenken lassen können, ob der Konsum der von ihnen gewählten Plattformen vielleicht deshalb keine Effekte produziert, weil diese Plattformen entweder nicht parteiisch sind oder weil sie nicht als parteiischer wahrgenommen werden als andere Nachrichten-Plattformen oder –Sender. Aber solche Überlegungen stellen Guess et al. in ihrem Text nicht an.
Immerhin liefern die „Supplemental Materials“ eine zusätzliche Information. Und dort findet man auf Seite 3 den eben zitierten Satz, an den noch der folgende Satzteil angehängt ist:
„… and on the approximate equivalence of their ideological slant estimated in a previous study (Bakshy et al. 2015)”
Warum hat dies keine Aufnahme in den Text gefunden? Zwar werden „Bakshy et al.“ immerhin in einer Endnote im Text genannt, aber in einem gänzlich anderen Zusammenhang, einem Zusammenhang, in dem pauschal die Rede ist von Veränderungen, die Gesellschaften durch das Internet erfahren haben (Guess et al. 2021: 1).
Das ist einigermaßen seltsam. Also schaue ich mir Bakshy et al. 2015 an. Es handelt sich bei dieser Studie um eine Studie über Fachbook (was von den Autoren in den „Supplemental Materials“ auf Seite 18 auch gesagt wird). Sie trägt den Titel „Exposure to Ideologically Diverse News and Opinion on Facebook“. Für die Zwecke dieser Studie haben die Autoren, also Bakshy et al., ein Maß dafür gebildet, wie Medien „ideologically aligned“ sind. Dabei haben sie beobachtet, welche einzelnen Nachrichten von Facebook-Usern geteilt wurden, die ihre ideologische Neigung in ihrem Facebook-Profil mitgeteilt hatten, und
„[w]e obtained a measure of content alignment … for each hard [d.h. hier: news] story by averaging the ideological affiliation of each user who shared the article …. These scores, averaged over websites, capture key differences in well-known ideologically aligned media sources: FoxNews.com is aligned with conservatives …, whereas the HuffingtonPost.com is aligned with liberals …” (Bakshy et al. 2015: 1130).
Dieses Maß für die „Parteilichkeit“ von Medien basiert also auf der Selbstverortung von Facebook-Nutzern, und Bakshy et al. geben (zumindest im Text) keinen Aufschluss über die relative „Parteilichkeit“ von Medien im Vergleich miteinander. Aber sie bemerken ausdrücklich:
„Alignment is not a measure of media slant; rather, it captures differences in the kind of content shared among a set of partisans, which can include topic matter, framing, and slant” (Bakshy et al. 2015: 1130).
Vielleicht ist es vor allem dieser Satz, der Guess et al. davon abgehalten hat, sich in ihrem Text mit Bezug auf die Auswahl von foxnews.com und huffingtonpost.com auf Bakshy et al. zu berufen, denn Guess et al. wollten ja durch die Auswahl dieser beiden Nachrichten-Seiten sicherstellen, dass
„… subjects encountered news framed with a partisan slant …“ (Guess et al. 2021: 1),
während Bakshy et al. sich, wie das oben stehende Zitat aus ihrem Text, zeigt gegen eine solche Interpretation ihres Maßes verwahrt haben.
Jedenfalls bleiben Guess et al. eine überzeugende Begründung für die Auswahl von foxnews.com und huffingtonpost.com als Seiten, die Nachrichten „mit parteiischer Schlagseite rahmen“ – und zwar mehr als andere Nachrichten-Seiten oder –Sender, die von Guess et al. als „mainstream“-Medien bezeichnet werden, – schuldig.
Nun zur zweiten tiefergehenden Schwierigkeiten, die mit dem einzigen statistisch signifikanten Befund, den Guess et al. produziert haben, verbunden ist, nämlich der Frage danach, wer die „mainstream“-Medien sind, die unter „langfristigem“ Vertrauensschwund bei den Konsumenten von foxnews.com und huffingtonpost.com leiden sollen.
Guess et al. definieren in ihrem Text an keiner Stelle, was unter „mainstream“-Medien zu verstehen sei. Semantisch verweist der Begriff „mainstream“ auf Mehrheitsverhältnisse. Also würde man meinen, dass „mainstream“-Medien diejenigen sind, die die größte Verbreitung bzw. die meisten Zuschauer bzw. Zuhörer bzw. Leser haben. Wenn das zutreffen würde, müssten Fox News zu ihnen gezählt werden, wie ich oben schon festgestellt habe. Aber dann wäre es nicht sinnvoll, den Internet-Auftritt von Fox News als parteiisches Medium in Gegensatz zum Fernseh-Sender Fox News als mainstream-Medium stellen zu wollen. Also kann „mainstream“ von Guess et al. nicht als auf Mehrheitsverhältnisse bezogen benutzt werden. Aber wie dann?
Wie gesagt: Der Text selbst gibt keinerlei Aufschluss hierüber. Schauen wir also wieder in die „Supplemental Materials“. Und tatsächlich: Dort findet man im Kapitel 1.4. das die Spezifikation der verwendeten Variablen beschreibt, den Abschnitt 1.4.4, in dem es um „Media Trust“, also das Vertrauen in Medien geht. In diesem Abschnitt erläutern die Autoren auf Seite 12:
„We operationalize trust in mainstream sources using the survey item in Wave 4, ‘How much trust and confidence do you have in the press when it comes to reporting the news about government and politics fully, accurately, and fairly?’ The outcome variable was recorded from the categorical responses (‘A great deal’, ‘a fair amount’, ‘not very much’, and ‘not at all’) to numeric scores (4 to 1).”
Man sollte meinen, dass sich inzwischen – nach acht Dekaden quantitativer empirischer Sozialforschung und der systematischen Entwicklung einer entsprechenden Methodologie! – herumgesprochen haben sollte, dass eine solche Frage schon deshalb nichts taugt, weil sie im Vordersatz zwei Stimuli enthält, nämlich “trust and confidence“, wobei „trust“ Vertrauen im eigentlichen Sinn bedeutet und „confidence“ wohl besser mit „Zutrauen“ übersetzt wird, also einem Begriff, der die Konnotation von „Zuversicht“ bzw. „Hoffnung“ hat. Und im zweiten Teil des Satzes sogar drei Stimuli, nämlich „fully, accurately, and fairly“. Diese drei Begriffe sprechen sehr Unterschiedliches an; so könnte man Fakten vollständig und akkurat, sagen wir: zutreffend, also der (empirisch beobachtbaren) Wahrheit entsprechend, beschreiben, sie aber dann in unfairer Weise mit etwas in Zusammenhang bringen, das eine bestimmte Wertung nahelegt, was manche vielleicht „fair“ finden würden, andere aber nicht. Oder man beschreibt „fair“, aber dennoch nicht vollständig („fully“). Insgesamt enthält diese Frage also fünf (!) Stimuli, die keineswegs Synonyme darstellen, und kein Forscher kann wissen, auf welche/n Stimulus/Stimuli die Befragten tatsächlich reagiert haben. Wenn man das nicht weiß, weiß man auch nicht, was die Antworten auf die Frage bedeuten. Damit sind die entsprechenden Antworten vollständig unbrauchbar für die Zwecke empirischer Sozialforschung.
Und das ist nicht alles. Zum einen ist nicht ersichtlich, warum man meinen sollte, dass bei der Frage nach – sagen wir der Einfachheit halber – Vertrauen in „die Presse“ Vertrauen in die mainstream-Presse abgebildet wird und nicht z.B. im deutschen Kontext in die Titanic. Aber die Autoren behaupten dennoch, dass diese Frage das Vertrauen (und übrigens nur das, obwohl die Frage weitere Stimuli enthält) in die mainstream-Medien abbilden würde.
Zum anderen kann man nicht wissen, was man eigentlich misst, wenn man pauschal nach Vertrauen „in the press“, also „in die Presse“ fragt. Woran haben die Befragten in diesem Zusammenhang gedacht? Was zählt für sie zur „Presse“? Zeitungen? Fernsehsender? Radiosender? Die Internet-Auftritte von Zeitungen, Fernseh- oder Radiosendern? Blogs von Bürgerjournalisten? Im einfachen Fall denken Befragte bei „der Presse“ vielleicht nur an Zeitungen oder Zeitschriften. Jemand liest beispielsweise den Spiegel und die taz und glaubt, dass das, was dort gedruckt wird, im Allgemeinen verlässlich sei (- und vollständig oder fair?!?). Die Bildzeitung liest er nie, weil er meint, dass das, was dort gedruckt wird, häufig nicht (ganz) der Wahrheit entspricht. Wenn er nun nach seinem Vertrauen in „die Pesse“ gefragt wird, wird er vielleicht an sein Vertrauen in „seine“ Presse, also die Zeitungen/Zeitschriften, die er liest, denken. Dasselbe tun vielleicht Leser der Bildzeitung, die den Spiegel und die taz nicht lesen, weil sie meinen, dass das, was dort gedruckt wird, ideologische Propaganda ist. Beide haben vollstes, sagen wir: Vertrauen in „ihre“ Medien und werden entsprechend antworten. Aber was bedeutet das? Und was bedeutet es gerade in nach Meinung der Autoren polarisierten Gesellschaften (Guess et al. 2021: 1)? Möglicherweise denken die Befragten gerade nicht an „ihre“ Medien, sondern halten „ihre“ Medien für den einsamen Fels in der Brandung, der der überwältigenden Attacke durch „die“ (anderen) Medien zu trotzen versucht. Wie werden sie dann auf die Frage nach ihrem Vertrauen „in die Presse“ antworten? Das kleine Beispiel sollte genügen, um zu verdeutlichen, dass und warum diese Frage völlig ungeeignet ist, das Vertrauen von Befragten in mainstream-Medien – welche auch immer die Autoren mit diesem Begriff assoziieren mögen – zu messen.
Vielleicht hätte man das weite Feld der möglichen Bedeutungen der Antworten auf diese Frage etwas eingrenzen können, wenn man sie mit einer anderen Frage in Verbindung gebracht hätte (und sie entsprechend umformuliert und in eine entsprechende Filterführung eingebettet hätte), nämlich mit der Frage „How often do you get political information from the following sources: TV, Newspaper, Radio, Internet, Personal discussions“ (auf Seite 89 in den „Supplemental Materials“;), die die Autoren anscheinend ebenfalls gestellt haben. Aber die Autoren geben keinen Hinweis darauf, dass sie das getan haben.
Und auf dieses vollständig ungeeignete Maß für „Vertrauen in die mainstream-Medien“ wollen die Autoren ihre Behauptung vom „langfristigen“ vertrauensschädigenden Effekt der längeren Betrachtung von foxnews.com und huffingtonpost.com gründen – und haben außerdem die Chuzpe, diesen Ausdruck empirischer Sozialforschung der kläglichen Art als wissenschaftliche Erkenntnis über „the consequences of online partisan media“ (wie der Titel des Textes wie erwähnt lautet) unter die Leute zu bringen.
Aber schlimmer als das ist vielleicht die Tatsache, dass PNAS einen Text dieser – sagen wir es freundlich – niedrigen Qualität zur Veröffentlichung akzeptiert. Zur Erinnerung: PNAS steht für „Proceedings of the National Academy of Sciences”. Mir fällt abschließend nur noch ein zu sagen: „Goodbye, Princeton“ und „Goodbye, National Academy of Sciences“. Wissenschaft findet offensichtlich woanders statt.
Literatur:
Bakshy, Eytan, Messing, Solomon, & Adamic, Lada A., 2015: Exposure to Ideologically Diverse News and Opinion on Facebook. Science 348(6239): 1130-1132.
Barberá, Pablo, Guess, Andrew, Munzert, Simon, & Yang, JungHwan, 2018: How Does Exposure to Online Partisan Media Affect Political Attitudes and Behavior? Pre-Analysis Plan. https://osf.io/gfutq
Guess, Andrew M., Barberá,Pablo, Munzert, Simon, & Yang, JungHwan. 2021: The consequences of online partisan media. PNAS (Proceedings of the National Academy of Sciences) April 2021, 118 (14), e2013464118; doi: 10.1073/pnas.2013464118.
Wissenschaftliche Texte aufbereitet zum argumentativen Gebrauch finden Sie bei ScienceFiles. Unterstützen Sie bitte unseren Fortbestand als Freies Medium.Vielen Dank! [wpedon id=66988]
Bleiben Sie mit uns in Kontakt. Wenn Sie ScienceFiles abonnieren, erhalten Sie bei jeder Veröffentlichung eine Benachrichtigung in die Mailbox.
Folgen Sie uns auf Telegram.
Anregungen, Hinweise, Kontakt? -> Redaktion @ Sciencefiles.org
Wenn Ihnen gefällt, was Sie bei uns lesen, dann bitten wir Sie, uns zu unterstützen.
ScienceFiles lebt weitgehend von Spenden.
Helfen Sie uns, ScienceFiles auf eine solide finanzielle Basis zu stellen.Wir haben drei sichere Spendenmöglichkeiten:
Das mit der Decarbonisierung bezieht sich auf der Umstellung der Kohlenstoff-Chemie des irdischen Lebens auf eine Silizium-Chemie. Seltsam, da Kohlenstoff in seinen meisten Vorkommen schwarz oder dunkelfarben ist…
Da haben die Forscher … äh Forschenden Ursache und Wirkung vewechselt: Die “long-term corrosive effect” der Propaganda-Durchseuchung der Mainstream-Medien führt dazu, dass man diese nicht mehr ertragen kann und sie nicht mehr anschaltet.
In der nächsten Konsquenz assoziiere ich Mainstream, Öff.-Rechtliche und sog. Seröse Medien automatisch mit Lug und Trug. Wichtige und werthaltige Informationen finde ich also nur noch unter den sog. Alternativen Medien, wobei ich – durch die Mainstream-Erfahrung vorgewarnt – nichts einfach glaube.
Man muss sich schon des eigenen Verstandes bedienen.
Wir sehen, dass du dich in Vereinigtes Königreich befindest. Wir haben unsere Preise entsprechend auf Pfund Sterling aktualisiert, um dir ein besseres Einkaufserlebnis zu bieten. Stattdessen Euro verwenden.Ausblenden
Zunächst zu den Autoren der Studie: Der Erstautor ist Andrew M. Guess vom Department of Politics und der School of Public and International Affairs an der Princeton University. Seine drei Koautoren sind Pablo Barberá vom Department of Political Science and International Relations an der University of Southern California, Simon Munzert vom Data Science Lab der Herties School in Berlin, und JungHwang Yang vom Department of Communication der University of Illinois.
Guess et al. setzten auf dieses Panel auf und erhoben von ihrem Sample zusätzliche Daten, u..a. zu den politischen Einstellungen der Befragten. In der dritten Welle ihres Panel unterteilten Guess et al. ihre Befragten in etwa drei Drittel: ein Drittel wurde gebeten, als Startseite im jeweils benutzten Browser foxnews.com einzustellen, ein weiteres Drittel wurde gebeten, als Startseite im Browser huffingtonpost.com einzustellen, und beim dritten Drittel erfolgte keine solche Bitte; es sollte als Kontrollgruppe dienen (Guess et al. 2021: 2).
Wir halten fest: „Der“ negative Zusammenhang zwischen der längeren auf foxnews.com oder huffingtonpost.com verbrachten Zeit und dem Ausmaß des Vertauens zu „mainstream“-Medien
Warum hat dies keine Aufnahme in den Text gefunden? Zwar werden „Bakshy et al.“ immerhin in einer Endnote im Text genannt, aber in einem gänzlich anderen Zusammenhang, einem Zusammenhang, in dem pauschal die Rede ist von Veränderungen, die Gesellschaften durch das Internet erfahren haben (Guess et al. 2021: 1).
Man sollte meinen, dass sich inzwischen – nach acht Dekaden quantitativer empirischer Sozialforschung und der systematischen Entwicklung einer entsprechenden Methodologie! – herumgesprochen haben sollte, dass eine solche Frage schon deshalb nichts taugt, weil sie im Vordersatz zwei Stimuli enthält, nämlich “trust and confidence“, wobei „trust“ Vertrauen im eigentlichen Sinn bedeutet und „confidence“ wohl besser mit „Zutrauen“ übersetzt wird, also einem Begriff, der die Konnotation von „Zuversicht“ bzw. „Hoffnung“ hat. Und im zweiten Teil des Satzes sogar drei Stimuli, nämlich „fully, accurately, and fairly“. Diese drei Begriffe sprechen sehr Unterschiedliches an; so könnte man Fakten vollständig und akkurat, sagen wir: zutreffend, also der (empirisch beobachtbaren) Wahrheit entsprechend, beschreiben, sie aber dann in unfairer Weise mit etwas in Zusammenhang bringen, das eine bestimmte Wertung nahelegt, was manche vielleicht „fair“ finden würden, andere aber nicht. Oder man beschreibt „fair“, aber dennoch nicht vollständig („fully“). Insgesamt enthält diese Frage also fünf (!) Stimuli, die keineswegs Synonyme darstellen, und kein Forscher kann wissen, auf welche/n Stimulus/Stimuli die Befragten tatsächlich reagiert haben. Wenn man das nicht weiß, weiß man auch nicht, was die Antworten auf die Frage bedeuten. Damit sind die entsprechenden Antworten vollständig unbrauchbar für die Zwecke empirischer Sozialforschung.
ScienceFiles Spendenkonto:
HALIFAX (Konto-Inhaber: Michael Klein):
ScienceFiles Spendenkonto:
HALIFAX (Konto-Inhaber: Michael Klein):
Das mit der Decarbonisierung bezieht sich auf der Umstellung der Kohlenstoff-Chemie des irdischen Lebens auf eine Silizium-Chemie. Seltsam, da Kohlenstoff in seinen meisten Vorkommen schwarz oder dunkelfarben ist…
Da haben die Forscher … äh Forschenden Ursache und Wirkung vewechselt: Die “long-term corrosive effect” der Propaganda-Durchseuchung der Mainstream-Medien führt dazu, dass man diese nicht mehr ertragen kann und sie nicht mehr anschaltet.
In der nächsten Konsquenz assoziiere ich Mainstream, Öff.-Rechtliche und sog. Seröse Medien automatisch mit Lug und Trug. Wichtige und werthaltige Informationen finde ich also nur noch unter den sog. Alternativen Medien, wobei ich – durch die Mainstream-Erfahrung vorgewarnt – nichts einfach glaube.
Man muss sich schon des eigenen Verstandes bedienen.
long-term corrosive effect klingt irgendwie beunruhigend ähnlich wie “wehrkraftzersetzend”
Ich musste spontan an Long-Covid im Rust-Belt denken