Die Verlässlichkeit wissenschaftlicher Ergebnisse

Wissenschaft ist eine Methode des Erkenntnisgewinns. Die Methode hat zur Konsequenz, dass wissenschaftliche Ergebnisse nachvollziehbar, prüfbar und falsifizierbar sind. Um Ergebnisse, die ein Wissenschaftler publiziert hat, nachprüfen zu können, ist es notwendig, dass der Weg, auf dem die Ergebnisse gewonnen wurden, nachvollziehbar ist, dass z.B. Experimente, die durchgeführt wurden, replizierbar sind.

Diese Prinzipien der Wissenschaftlichkeit, die man als Rubikon beschreiben kann, der Wissenschaft von Nicht-Wissenschaft unterscheidet und der dazu führt, dass alle vermeintlich wissenschaftlichen Ergebnisse, die nicht nachvollziehbar, prüfbar, falsifizierbar und replizierbar sind, keine Wissenschaft, sondern Gaukelei, Mutmaßung oder was auch immer, eben keine Wissenschaft sind, haben sich u.a. in methodischen Standards der Validität und Reliabität niedergeschlagen.

Tests auf Validität und Reliabilität gehören zur Standardausrüstung quantitativer und eigentlich auch qualitativer Sozialforschung, wenngleich sich die qualitative Sozialforschung zunehmend großer Beliebigkeit erfreut und die Standards von Validität und Reliabilität, um die sich Mayring in seinen Publikationen noch bemüht hat, regelmäßig in Vergessenheit geraten.

Wenn Wissenschaft ein kumulatives auf Erkenntnisfortschritt gerichtetes Unterfangen sein soll, dann ist die Verlässlichkeit veröffentlichter Ergebnisse, deren Reliabilität und Validität, die in einer Reproduzierbarkeit kumulieren, unerlässlich. Um so schlimmer ist es, dass ganze Bereiche der Sozialwissenschaften zu einer ungeordneten Schwatzbude verkommen sind, in der qualitative Interviews ein Feigenblatt für die fehlende methodische Ausbildung darstellen.

In der Psychologie ist dies anders. Es gibt, vor allem im englischsprachigen Bereich, eine experimentelle Tradition, d.h. Forschungsergebnisse basieren häufig auf experimentellen Designs, die in kontrollierten Bedingungen umgesetzt werden und somit eigentlich die besten Voraussetzungen dafür bieten sollten, dass die Ergebnisse gültig und wiederholbar sind.

Und genau das sind sie nicht, wie im Rahmen eines Open Science Projektes deutlich wurde, an dem eine Vielzahl von Psychologen beteiligt war. Insgesamt 100 experimentelle Studien, die in vier psychologischen Zeitschriften veröffentlicht wurden, haben jeweils Teams von Psychologen zu replizieren versucht.

Das Ergebnis ist ernüchternd.

Selbst unter kontrollierten experimentellen Bedingungen erzielte Forschungsergebnisse konnten nur in 36% der Fälle repliziert werden, wenn die Signifikanz der Ergebnisse die Grundlage der Beurteilung des Replikationserfolgs war. Nach der subjektiven Einschätzung der jeweiligen mit der Replikation befassten Psychologen konnten 39% der Ergebnisse repliziert werden. Nimmt man die Effektstärke der Ergebnisse als Maß, dann konnte eine Übereinstimmung in rund 92% der Replikationsversuche hergestellt werden.

Die Ergebnisse sind ernüchternd und zeigen, dass Primärforscher selbst dann, wenn sie ein experimentelles Design einsetzen, die notwendige Sorgfalt oft vermissen lassen. Insgesamt schnitten Beiträge, die im Journal of Experimental and Social Psychology veröffentlicht wurden, am schlechtesten ab, was zudem den Schluss nahelegt, dass manche Herausgeber von Zeitschriften in der Auswahl der Beiträge, die sie veröffentlichen, kritischer und rigider sein sollten.

Bewertet man diese Ergebnisse vor dem Hintergrund, dass experimentelle Studien diejenigen Studien sind, bei denen man die höchste Wahrscheinlichkeit einer Reproduzierbarkeit erwarten kann, dann kann man sich ungefähr vorstellen, was herauskäme, wenn quantitative Sozialforscher oder gar qualitative Sozialforscher dem Beispiel der Psychologen folgen und die Reproduzierbarkeit von Ergebnissen prüfen würden, die z.B. im Bereich der Politikwissenschaft oder der Soziologie veröffentlicht wurden.

Dabei wäre eine entsprechende Prüfung gerade in diesen Fächer so dringend notwendig, da sich die qualitative Willkür und die quantitative Datenhuberei gerade in der Politikwissenschaft und der Soziologie breit gemacht haben, von den Beiträgen, die einzig aus sprachlicher Nabelschau bestehen, ganz zu schweigen.

Entsprechend würde man sich wünschen, es gäbe in beiden Fächern Wissenschaftler, die einen ähnlichen Ethos haben, wie diejenigen, die die Verlässlichkeit von Ergebnissen in der Psychologie geprüft haben und diesen Ethos wie folgt beschreiben:

“We conducted this project because we care deeply about the health of our discipline and believe in its promise for accumulating knowledge about human behavior that can advance the quality of the human condition. Reproducibility is central to that aim. Accumulating evidence is the scientific community’s method of self-correction and is the best available option for achieving that ultimate goal: truth.”

Alle Ergebnisse, die im Rahmen der Reproduzierbarkeitsstudie erzielt wurden, sind öffentlich und hier einsehbar.
Ein zusammenfassender Bericht ist hier zu finden.

---

Anregungen, Hinweise, Kontakt? -> Redaktion @ Sciencefiles.org

---

Wenn Ihnen gefällt, was Sie bei uns lesen, dann bitten wir Sie, uns zu unterstützen.
ScienceFiles lebt weitgehend von Spenden.
Helfen Sie uns, ScienceFiles auf eine solide finanzielle Basis zu stellen:

Entweder direkt über die ScienceFiles-Spendenfunktion spenden [das ist sicher und Sie haben die volle Kontrolle über ihre Daten]:

---

Oder über unser Spendenkonto bei Halifax: ScienceFiles Spendenkonto:
HALIFAX (Konto-Inhaber: Michael Klein):

• IBAN: GB15 HLFX 1100 3311 0902 67
• BIC: HLFXG1B21B24

---

Wenn Sie ScienceFiles weiterhin lesen wollen, dann sind Sie jetzt gefordert.

---