Wissenschaftsgaukelei: Woran man Wissenschaftsimitationen erkennen kann – ein Leitfaden

Schon seit Jahren beobachten wir, dass sich sozialwissenschaftliche Fachdisziplinen wie die Politikwissenschaft und leider auch die Soziologie insgesamt gesehen zunehmend vom Anspruch auf Wissenschaftlichkeit entfernen. Das bedeutet nicht, dass es in diesen Fachdisziplinen nicht Leute gäbe, die nach wie vor versuchen, ihre Sozialwissenschaft als Wissenschaft zu betreiben.

Was bedeutet das?

Dass sich in den Sozialwissenschaften zunehmend häufig Leute betätigen, die eine Sozialwissenschaft nicht als eben das: Wissenschaft betreiben (können oder wollen), sondern sich als soziale Aktivisten betätigen, erkennt man dementsprechend daran, dass sie wissenschaftliche Forschung lediglich imitieren, indem sie in ihre Arbeit einige Elemente wissenschafticher Forschung integrieren, aber andere ignorieren.

Oft erkennt man als Sozialwissenschaftler verkleidete Aktivisten bereits an der Fragestellung, z.B. dann, wenn ein angeblicher Sozialwissenschaftler sich lediglich dafür interessiert, wie viele Menschen – ggf. mit welchen sozio-demographischen Merkmalen – Überzeugungen haben oder Meinungen vertreten, die aus einer bestimmten ideologischen Perspektive heraus als „falsch“ oder „gefährlich“ oder sonstwie negativ bewertet werden. Solche Forschung kann nur die Frage beantworten, wie viele Menschen (ggf. mit welchen soziodemographischen Merkmalen) ideologisch oder politisch unerwünschte oder erwünschte Meinungen/Überzeugungen haben – sonst nichts.

Solche Forschung hat mit Wissenschaft deshalb nichts zu tun, weil ihre Fragestellung nicht darauf abzielt und nicht dazu geeignet ist, eine Theorie zu überprüfen, also das zu tun, um dessen Willen man Wissenschaft betreibt:

Das ist, was es bedeutet, wenn man sagt, dass Wissenschaft Wissen schafft: sie will die Phänomene der Welt erklären, indem sie aus Theorien abgeleitete allgemeine Zusammenhänge – und die Bedingungen der Ausnahmen von diesen allgemeinen Zusammenhängen durch andere Zusammenhänge – identifiziert.

Und damit sind wir bei einem zweiten Indikator dafür, dass wir es bei einem Forschungsbericht oder einer Studie mit dem Anspruch, wissenschaftlich zu sein, nur mit Wissenschaftsgaukelei zu tun haben: Begriffe und Konzepte werden falsch benutzt, um die Ergebnisse an sie anpassen zu können oder zu suggerieren, die Ergebnisse bedeuteten etwas anderes als sie tatsächlich bedeuten.

Ein Beispiel hierfür die die beliebte Darstellung einer Befragung oder Beobachtung zu verschiedenen Zeitpunkten als eine Entwicklung. Was solche Daten tatsächlich liefern, ist lediglich eine Beschreibung der Anzahl von Menschen mit bestimmten Meinungen oder Überzeugungen zu verschiedenen Zeitpunkten, aber keine zeitliche Entwicklung. Wenn es sich nicht um dieselben Menschen handelt, die zu den verschiedenen Zeitpunkten befragt wurden, dann kann man nicht von einer zeitlichen Entwicklung sprechen, weil man nicht weiß, was, sagen wir, die zum zweiten Zeitpunkt Befragten geantwortet hätten, wenn sie zum ersten Zeitpunkt befragt worden wären, und die zum ersten Zeitpunkt Befragten geantwortet hätten, wenn sie zum zweiten Zeitpunkt befragt worden wären. Selbst dann, wenn zu den verschiedenen Zeitpunkten dieselben Menschen befragt worden sind, lässt sich nicht von einer zeitlichen Entwicklung sprechen, sondern lediglich von einem Unterschied (bzw. der Abwesenheit eines Unterschiedes) hinsichtlich der Meinungen/Überzeugungen der Befragten, die sie zu verschiedenen Zeitpunkten geäußert haben, und zwar deshalb, weil die Beobachtung eine punktuelle und keine stetige ist.

Wenn darauf verzichtet wird, das Adjektiv „zeitlich“ dem Substantiv „Entwicklung“ voranzustellen, sind Mißverständnisse insofern vorprogrammiert als der Begriff „Entwicklung“ eine Reihe verschiedener Konnotationen für verschiedene Personen haben kann; so schwingt bei dem Begriff „Entwicklung“ häufig eine teleologische Vorstellung mit, also eine Veränderung über die Zeit, die eine bestimmte Zielrichtung aufweist (wie z.B. in der Evolutionstheorie von Charles Darwin). Der lapidare Umgang mit Begriffen und Konzepten wie z.B. die Bezeichnung von Unterschieden zwischen Daten zu verschiedenen Zeitpunkten als Entwicklungen, kann ein Hinweis auf mangelnde Ernsthaftigkeit der Forscher sein, aber auch auf schlichte Unkenntnis auf seiten der Forscher oder gar auf den Willen zur absichtlich falschen oder mißverständlichen Darstellung. In jedem Fall ist Vorsicht geboten, wenn Begriffe und Konzepte lapidar, inflationär oder falsch gebraucht werden, oder wenn Begriffe unklar oder aus rein stilistischen Gründen synonym gebraucht werden, obwohl sie keine sind (wie z.B. „Entwicklung“, „Veränderung“, „Unterschied“, „Wandel“ o.ä.m.).

Wenn eine Forschung tatsächlich eine Entwicklung beschreiben kann, macht sie das dennoch nicht zu einer wissenschaftliche Forschung, und zwar eben deshalb: weil sie etwas beschreibt (und sei es noch so detailliert), aber nicht zu erklären versucht. Eine wissenschaftliche Arbeit zeichnet sich dadurch aus, dass sie Zusammenhangshypothesen formuliert, entweder direkt in Form von z.B. „je-desto“-Sätzen oder indirekt, indem beschrieben wird, dass und warum[!] bestimmte Zusammenhänge erwartet werden. Das kann sich in Formulierungen niederschlagen wie z.B. „aus diesen Gründen erwarten wir, dass…“ oder „vor diesem Hintergrund vermuten wir, dass…“.

Wenn keine klaren Erwartungen formuliert werden oder Erwartungen willkürlich formuliert werden, d.h., ohne dass eine theoretische Begründung dafür geliefert wird, dann handelt es sich um einen wissenschaftsimitierenden Text, dem eine andere Motivation zugrunde liegt als eine wissenschaftliche – also nochmals: als die, aus einer Theorie abgeleitete Zusammenhangshypothesen zu testen. Das bedeutet nicht, dass die willkürlich gewählte Erwartung (falls vorhanden) als solche nicht interessant, witzig, originell sein könnte, aber wenn sie theoretisch unbegründet bleibt, was lernen wir dann daraus, wenn die Erwatung bestätigt wird oder nicht bestätigt wird? Nichts. Und deshalb mag das Ergebnis in einem solchen Fall interessant, erstaunlich oder sonst etwas sein, aber es ist von keiner Relevanz für die Wissenschaft.

Wissenschaftsimitierenden Texte haben oft gar keinen theoretischen Teil, in dem sie die Grundlagen beschreiben, auf die sie ihre Hypothesen stützen. Aber manchmal bemühen sich Wissenschaftsimitateure darum, zu verdecken, dass es ihnen nicht um die Erklärung eines Phänomenes – und zur Erinnerung: das bedeutet um die Prüfung von aus einer Theorie abgeleiteten Zusammenhangshypothesen – geht, indem sie eine theoretische Anbindung durch „name dropping“ zu suggerieren versuchen. In diesem Fall werden die Namen von Theorien oder die Namen von Vertretern einschlägiger Theorien erwähnt, ohne dass ein klarer Zusammenhang zu diesen Theorien (oder Vertretern von Theorien) und dem, was die Wissenschaftsimitateure behaupten, hergestellt würde, so dass der Bezug bestenfalls vage bleibt, oft willkürlich wirkt und sich bei näherer Betrachtung als nicht vorhanden erweist.

Zugegebenermaßen kann es für Fachfremde schwierig sein, zu beurteilen, wo die Grenze zwischen schlichtem „name dropping“ aus Täuschungsgründen und Kürze aufgrund vorausgesetzten Wissens von Fachkollegen verläuft, eben weil Fachfremde gewöhnlich nicht beurteilen können, was Grundlagenwissen ist, das vorausgesetzt werden kann, und was nicht, so dass es eine etwas ausführlichere Behandlung erfordert. In diesem Fall lässt sich ein anderer Indikator dazu benutzen, zu prüfen, ob ein Text ein wissenschaftlicher ist oder nicht: ein wissenschaftlicher Text wird die durch die Forschung erzielten Ergebnisse immer auf die vorher formulierten Erwartungen bzw. die Theorie zurückbeziehen, gewöhnlich in einem speziellen Kapitel oder Abschnitt des Textes. Wissenschaftsimitierende Texte tun dies nicht. Statt dessen beschränken sich wisssenschaftsimitierende Texte darauf, Ergebnisse zusammenzufassen, spontan oder vor dem Hintergrund unausgesprochener (und dementsprechend unbegründet gebliebener) Annahmen zu interpretieren und vor dem Hintergrund ebenfalls in der Regel unausgesprochen und unbegründet gebliebener Werturteile zu bewerten.

So würde man in einem wissenschaftsimitierenden Text z.B. lesen können:

„Unsere Ergebnisse zeigen, dass es in den letzten zehn Jahren eine Entwicklung hin zu extremen politischen Positionen gegeben hat, während der Anteil derer mit extremen politischen Einstellungen noch vor zwanzig Jahren niedrig war.“

Diesen Satz habe ich erfunden, aber Sätze mit Eigenschaften wie diesem sind in wissenschaftsimitierenden Texten weit verbreitet: Begriffe werden falsch verwendet („Entwicklung“) oder vage („niedrig“), und es werden Worte benutzt, die (ggf. neben einer statistischen Bedeutung) einen bewertenden Charakter haben und mit sehr hoher Wahrscheinlichkeit nirgendwo im Text definiert wurden („extrem“). Manchmal geben auch leicht übersehbare Wendungen (wie im Beispiel der Einschub von „noch“ vor dem „vor zwanzig Jahren“) Auffschluss darauf, wie Autoren bestimmte Dinge einschätzen oder bewerten, ohne dass sie dies offen aussprechen würden. Im Beispielsatz suggeriert das „noch“, dass die angebliche Entwicklung rasch verlaufen sei und vermutlich auch, dass sie bedauerlich sei. Gewöhnlich folgt keinerlei Erläuterung darüber, warum das interessant oder wichtig ist oder warum es so bewertet wird, wie die Autoren es bewerten.

In wissenschaftsimitierenden Texten wird gewöhnlich auch kein Versuch unternommen, wenn schon nicht zu erklären, dann auf die Möglichkeit zu verweisen, dass die Daten mehr als die eine Interpretation zulassen als diejenige, die die Autoren vornehmen. Weil interpretierende Texte sozusagen umgekehrt vorgehen wie erklärende Texte es tun, also Ergebnisse produzieren und sie dann vor dem Hintergrund vorgefasster Meinungen zu interpretieren – statt zu Anfang Erwartungen aus Theorien abzuleiten und dann zu beobachten, ob die Ergebnisse im Einklang mit den Erwartungen stehen oder nicht, wie das erklärende Texte tun –, kann ein „Tunnelblick“ bei interpretierenden Texten nur vermieden werden, wenn man sich im Nachhinein bemüht, bewusst nach alternativen Interpretationen zu suchen. Dagegen wird man bei erklärenden Texten durch die Nicht-Übereinstimmung der Ergebnisse mit den Erwartungen unmißverständlich auf die Falschheit seiner Annahmen „festgenagelt“; man kann sie nicht ignorieren oder irgendwie „wegreden“. Für den Fall, dass die Ergebnisse mit den Erwartungen übereinstimmen sollten, wird in wissenschaftlichen Texten festgehalten, dass das für die Theorie spricht, aus der die Erwartung abgeleitet wurde, aber nicht, dass etwas so und nicht anders sein müsse, etwas „bewiesen“ worden sei, und in der Regel geben die Autoren an, wenn sie im Nachhinein eine Möglichkeit sehen, das Zustandekommen der Ergebnisse anders als durch die vorab formulierten Erwartungen zu erklären.

Halten wir also fest: Wissenschaftsimitierende Texte nehmen gewöhnlich eine einzige Interpretation der Ergebnisse vor und suggerieren, es sei die einzig mögliche oder angemessene. Sie nehmen dann – explizit oder implizit, aber aufgrund der sprachlichen Darstellung nicht weniger deutlich erkennbar – eine Bewertung auf der Grundlage genau dieser einen Interpretation vor.

Einschlägige Beispiele für solche wissenschaftsimitierende Forschung sind die sogenannten Mitte-Studien und die sogenannten „Gender Studies“, die bloß eine Übung darin darstellen, soziale Phänomene auf eine bestimmte, im Vorhinein festgelegte Weise zu interpretieren, ähnlich wie bei einem Mittelstufen-Schulaufsatz über „Die Bedeutung des Zweiten Weltkrieges für die Parabel ‚Das Fliegenpapier‘ von Robert Musil“, wobei in der Aufgabenstellung vorweggenommen wird, dass es einen solchen Zusammenhang gebe (oder sinnvoll hergestellt werden könne) und den Schülern aufgetragen wird, ihn herzustellen bzw. zu rekonstruieren (und wer den Zusammenhang nicht sieht, nicht herstellen kann oder Zusammenhänge mit anderen Motiven herstellt, bekommt eine schlechte Note) (s. mit Bezug auf „Gender Studies“ Diefenbach 2019). Die Interpretation wird nicht von einer Theorie angeleitet, sondern von einem einzigen Postulat, sagen wir z.B.: „Rechtsextremismus ist in Deutschland weit verbreitet und eine Gefahr für die Demokratie“ oder „Frauen sind gegenüber Männern benachteiligt“, und die Daten werden in jedem Fall so interpretiert, dass sie irgendwie zum Postulat passen oder zu passen scheinen. Von einer Überprüfung grundsätzlicher Annahmen durch logisches Denken oder empirische Fakten ist dabei nichts zu finden.

Oft gibt wissenschaftsimitierende Forschung den Daten kaum eine Chance oder gar keine Chance, nicht zum Postulat zu passen, z.B. dann, wenn in einer qualitativen Forschung bei weißen Studenten das Bewußtsein über ein „weißes Privileg“ untersucht wird. Was kann bei einer solchen Studie herauskommen? Entweder die untersuchten Studenten sagen Dinge, die von den Wissenschaftsimitateuren als vorhandenes Bewusstsein von einem „weißen Privileg“ gewertet werden, oder die Studenten sagen Dinge, die nicht zur vorgefassten Meinung der Wissenschaftsimitateure passen, was von denselben unweigerlich als Beleg für ein mangelndes Bewußtsein dieser Studenten über ein „weißes Privileg“ interpretiert wird. In jedem Fall wird ein „weißes Privileg“ vorausgesetzt; es kann sich nicht anhand der Daten als nicht existent oder irrelevant erweisen, eben weil dann, wenn es von befragten Studenten als nicht existent angesehen wird, diese Studenten in den Rahmen der vorgefassten Meinung hineingezwungen werden, indem ihnen mangelndes Bewußtsein über das als vorhanden einfach Vorausgesetzte unterstellt wird. Eine solche Arbeit kann nur bestätigen, was vorausgesetzt wurde – so oder so. Weil man aus einer solchen Arbeit dementsprechend nichts lernen kann, ist sie irrelevant, insbesondere für die Wissenschaft.

Wenn eine wissenschaftsimitierende Forschung Methoden quantitativer empirischer Sozialforschung benutzt oder angemessener: mißbraucht, dann kann man den Mißbrauch daran erkennen, dass die gesamte Anlage der Studie, z.B. die Auswahl der Befragten, nicht auf die Überprüfung einer Zusammenhangshypothese ausgerichtet ist. Wenn in einer Forschung z.B. auf Repräsentativität Wert gelegt wird, dann ist das ein Hinweis darauf, dass es sich um Meinungsforschung handelt, die Anspruch darauf erhebt, das „wahre“ Meinungsbild in einer Bevölkerung abzubilden oder die „wahre“ Verbreitung einer erwünschten oder unerwünschten Überzeugung in einer Bevölkerung. Das interessiert einen Politiker, einen Ideologen oder jemanden, der „nudgen“ bzw. Andere manipulieren möchte, aber keinen Wissenschaftler, denn in der Wissenschaft geht es um die Prüfung von Zusammenhangshypothesen, und für die Prüfung von Zusammenhangshypothesen ist Repräsentativität irrelevant.

Die Frage nach Repräsentativität bezieht sich auf die Frage nach der Verallgemeinerbarkeit der in der Forschung erzielten Beobachtungen auf Unbeobachtetes (und kann deshalb per definitionem nicht exisitieren). Wissenschaft interessiert sich für das Bestehen oder Nicht-Bestehen eines Zusammenhangs und vor allem für sein Bestehen oder Nicht-Bestehen unter bestimmten Bedingungen. Und wenn man sich hierfür interessiert, dann erfordert dies einen Vergleich zwischen Gruppen, die sich hinsichtlich bestimmter, theoretisch relevanter Größen statt hinsichtlich einer Ansammlung von willkürlich oder gewohnheitsmäßig verwendeten sozio-kulturellen Variablen zweifelhafter Bedeutung (für die jeweilige Untersuchung) voneinander unterscheiden. Wissenschaft schreitet voran, wenn es ihr gelingt, die Zusammenhänge zwischen diesen Größen in weitere Hypothesen zu überführen bzw. diese Zusammenhänge mit weiteren Größen in Verbindung zu bringen. Dafür ist die Zuverlässigkeit der in der Forschung vorgenommenen Messung bzw. der Messinstrumente in Form von Validität und Reliabiltät von grundlegender Wichtigkeit, aber nicht „Repräsentativität“.

Da es in der Wissenschaft nicht um die Sammlung von Einzelfällen als solche geht, sondern Wissenschaft auf die Feststellung von allgemein geltenden Gesetzen oder Sätzen abzielt, ist Verallgemeinerbarkeit für die Wissenschaft zwar zentral, aber in der Wissenschaf sind es die Ergebnisse einzelner Forschungsarbeiten, die mit Bezug auf die zugrundeliegende Theorie verallgemeinert werden können (oder eben nicht), aber nicht die Daten einer Auswahl von befragten Personen auf nicht befragte Personen bzw. die „Allgemeinheit“ (zur Konfusion mit Bezug auf Verallgemeinerbarkeit, ihre Relevanz oder Nicht-Relevanz und ihre vielfältigen möglichen Bedeutungen mit besonderem Bezug zur klinischen Neurologie s. Kukull & Ganguli 2012).

Aber nicht immer sind Wissenschaftsimitationen so offensichtlich wie z.B. im Fall der „Gender Studies“ oder der Art von Forschungen, die lediglich betrachten, ob das Vorausgesetzte auch von den Befragten vorausgesetzt wird oder ob sie (falls sie das nicht tun) zu den „Unwissenden“, den „Aufklärungsbedürftigen“ oder schlicht „Bösen“ gehören. Deshalb genügt es oft nicht, nur einen der genannten Indikatoren zu betrachten.

Nehmen wir an, ein Forscher stellt nicht (nur) die Frage, wie weit der Glaube an Verschwörungstheorien verbreitet ist, sondern stellt (auch) die Frage, ob Menschen, die Verschwörungstheorien Glauben schenken, häufiger Elemente einer narzisstischen Persönlichkeit aufweisen als Menschen, die Verschwörungstheorien keinen Glauben schenken.

An dieser Fragestellung allein kann man nicht erkennen, ob es sich um wissenschaftliche oder um wissenschaftsimitierende Forschung handelt. Immerhin bezieht sich die Fragestellung auf eine Zusammenhangshypothese. Das allein ist aber seinerseits kein hinreichender Indikator dafür, dass es sich um wissenschaftliche Forschung handelt. Es kann sich um wissenschaftliche Forschung handeln, die das Interesse verfolgt, eine Theorie über die menschliche Kognition oder allgemein die menschliche Psychologie zu prüfen. Ob sie das tut, können wir feststellen, indem wir prüfen, ob diese Forschung eine zu prüfende Theorie benennt, ob die Autoren die erzielten Ergebnisse mit Bezug auf diese Theorie bewerten und diskutieren und ob die Autoren mögliche Alternativerklärungen für das Zustandekommen ihrer Ergebnisse oder Beschränkungen ihrer Forschung nennen. Wenn sie das – vor allem die beiden erstgenannten Dinge – nicht tun, dann handelt es sich entweder um nicht durchdachte und insofern (bis auf Weiteres) uninformative Forschung bzw. einen gescheiterten Versuch, wissenschaftlich zu arbeiten, oder es handelt sich eben nicht um wissenschaftliche Forschung, sondern um Wissenschaft bloß imitierenden sozialen Aktivismus. In beiden Fällen ist man gut beraten, seine wertvolle Zeit in die Lektüre (wenn man so will: besserer) wissenschaftlicher Texte zu investieren.

Meistens geben sich Aktivisten bzw. Wissenschaftsimitateure jedoch gar nicht ernsthaft Mühe, vorzugeben, dass ihre Forschung wissenschaftliche Forschung sei, denn das wäre mit Arbeit verbunden, vor allem der Arbeit, die es erfordert, sich die theoretischen Grundlagen zu erarbeiten, die erforderlich wären, um überzeugend vortäuschen zu können, dass es sich hier um wissenschaftliche Forschung handle. Theoretische und methodische Grundlagen lassen sich rundum abweisen, wenn man den Wert von Theorien und Methoden, zumindest der verbreiteten und in der empirischen Sozialforschung bewährten, bestreitet, und deshalb kann es ein Hinweis auf eine Wissenschaftsimitation sein, wenn ein Text seine „theoretische“ Fundierung durch Verweise auf Konstruktivismus oder Floskeln, die mit ihm verbunden werden, oder postmoderne (Pseudo-/)Epistemologie ersetzt. Nach meiner Erfahrung ist dies ein zuverlässiger Indikator dafür, dass es sich bei einer Forschung, die dies tut, nicht um einen wissenschaftlichen, sondern um einen wissenschaftsimitierenden Text handelt. (Bei Texten, die keine empirische Forschung beinhalten, mag das anders sein.)

Zusammengenommen können die genannten Indikatoren m.E. eine weitgehend verlässliche Grundlage für ein Urteil darüber bieten, ob eine empirische Forschung in den Sozialwissenschaften eine wissenschaftliche ist oder Wissenschaft bloß imitiert, um ideologische Inhalte zu befördern oder Unerwünschtes zu diskreditieren. Damit soll nicht behauptet werden, dass es sich dabei um eine erschöpfende Zusammenstellung aller Indikatoren, die in dieser Frage hilfreich sind, handelt.

Abschließend seien die im Text genannten Indikatoren zur besseren Übersicht zusammengestellt.

Texte mit diesen Eigenschaften können eine anregende Lektüre abgeben, sie können Fragen aufwerfen, sie können einen zum Selbst-Überlegen oder Spekulieren bringen, und all dies hat seinen Platz in einer Diskussionskultur. Ein Problem besteht aber grundsätzlich dann, wenn Texte mit solchen Eigenschaften vorgeben, wissenschaftliche Erkenntnisse produziert zu haben und damit zu dem Kanon der bestehenden wissenschaftlichen Forschung in einem bestimmten Zusammenhang beigetragen zu haben – und ggf. in Fachzeitschriften neben tatsächlich wissenschaftlichen Texten – gedruckt werden. Oder anders gesagt: Ein Problem besteht, wenn solche Texte bewusst Anerkennung als wissenschaftliche Texte suchen, um dem Leser die in Frage stehenden Inhalte durch die „Autorität“ der Wissenschaft unterzuschieben. Die Abfertigung solcher Texte ist ein rein manipulatives Unterfangen und hat mit Wissenschaft nichts zu tun.

Der Text ist eine leicht überarbeitete Version eines am 4. April 2022 auf ScienceFiles erschienenen Textes.

---

Literatur:

Cooper, Neil, 1964: The Aims of Science. The Philosophical Quarterly 14(57): 328-333.

Diefenbach, Heike, 2019: „Gender Studies“: Politische Ideologie statt Sozialwissenschaft, S. 84-124 in: Schulze-Eisentraut, Harald, & Ulfig, Alexander (Hrsg.): Gender Studies: Wissenschaft oder Ideologie? Baden-Baden: Deutscher Wissenschafts-Verlag (DWV).

Kukull, Walter A., & Ganguli, Mary, 2012: Generalizability: The Trees, the Forest, and the Low-hanging Fruit. Neurology 78(23): 1886-1891.