Kompetent, unparteiisch, fair: Drei Irrtümer im Zusammenhang mit Peer Reviews
Sie schreiben einen wissenschaftlichen Text, nach bestem Wissen und Gewissen. Sie reichen den Text bei einer wissenschaftlichen Zeitschrift ein – peer reviewed. Sie erwarten, dass der Peer, der ihren Text begutachtet, kompetent, fair, unabhängig, nach bestem Wissen und Gewissen beurteilt, was Sie geschrieben haben.
So kann man sich täuschen! In Teil 3 unseres Siebenteilers zur Peer Review, stellt Dr. habil. Heike Diefenbach zusammen, was Peer Reviewer alles daran hindert, der Idealtypus, den wir oben beschrieben haben, zu sein: eigene Interessen, Neid, Missgunst … Der Wissenschaftskrimi geht weiter.
3.2 Verzerrungseffekte („biases“) bei Gutachtern oder Herausgebern
Mit der Tendenz bestimmter Gutachter, Manuskripte insgesamt eher positiv oder negativ zu bewerten, die Rothwell und Martyn beobachtet haben, ist schon ein Beleg dafür erbracht, dass die Beurteilung von Manuskripten keineswegs (nur) aufgrund objektivierbarer und replizierbarer sachlicher Kriterien erfolgt, sondern (auch) von den Vorlieben oder Abneigungen von Gutachtern geprägt ist. Sie resultieren in Verzerrungseffekten oder „biases“ bei der Begutachtung von Manuskripten, weil sie „… results [produzieren] that depart systematically from the true values” (Murphy 1976: 239), wobei „true values“ von Manuskripten hier als die Bewertung aufzufassen ist, die Manuskripte erhalten würden, wenn sie allein aufgrund objektivierbarer und replizierbarer sachlicher Kriterien beurteilt würden.
Owen (1982) hat eine ganze Reihe von solchen Verzerrungseffekten (nicht nur bei Gutachtern, sondern Lesern von Fachaufsätzen allgemein,) aufgelistet, die man in verschiedene Bereiche unterteilen bzw. entsprechend zusammenfassen kann (vgl. hierzu die kurze Zusammenfassung bei Weller 2002: 208), u.a. in methodische Verzerrungseffekte, die z.B. dann vorliegen, wenn ein Gutachter/Leser bestimmte Auswertungsverfahren bevorzugt oder ablehnt, in statusbezogene Verzerrungseffekte wie den sogenannten Matthäus-Effekt, der vorliegt, wenn ein Gutachter/Leser sich z.B. in seiner Einschätzung davon leiten lässt, ob ein Text von einem bekannten oder von einem unbekannten Wissenschaftler stammt oder aus einer Projektgruppe an einer anerkannten Forschungseinrichtung oder an einer eher randständigen Einrichtung, und in persönliche Verzerrungseffekte, die in der Person des Gutachters oder Herausgebers liegen, zu denen auch Verzerrungseffekte aufgrund der ideologischen Orientierung eines Gutachters oder Herausgebers gehören, der z.B. bestimmte Positionen aus weltanschaulichen Gründen ablehnt und Manuskripte, die für diese Position sprechen, negativ bewertet, oder Manuskripte positiv bewertet, wenn sie zu Schlussfolgerungen kommen, die dem Gutachter oder Herausgeber weltanschaulich sympathisch sind.
Was ideologisch begründete Verzerrungseffekte betrifft, so berichten Hojat, Gonnella und Caelleigh (2003: 82) von dem Streit um Jay Belskys Untersuchungen über die möglichen negativen Wirkungen, die die Betreuung von Kindern in Tagesbetreuungseinrichtungen auf die Kinder haben kann, wie folgt:
„Another example of the issue [d.h. Verzerrung aufgrund ideologischer Überzeugungen] is Jay Belsky’s study of possible negative effects of day care experiences on children that was rejected for publication on the ground that reporting such findings can generate anxiety among working mothers … When the study was finally published in a less broadly read journal … it generated outrage among proponents of day care centers that continued for a long while …”.
Einer anderen Klasse von persönlichen Verzerrungseffekten widmet sich die Studie von Siegelman (1991), der fünf Gruppen von Gutachtern identifiziert hat, die im Zeitraum von November 1985 bis Mai 1990 als Gutachter für die Zeitschrift Radiology tätig waren, und zwar nach dem Kriterium, wie weit und in welche Richtung ihre Bewertungen von Manuskripten vom arithmetischen Mittel der Bewertungen aller Gutachter insgesamt gesehen abweichen; in der Beschreibung von Siegelman selbst:
„The mean ratings for referees who had been sent 10 or more manuscripts (n = 660) during the period of investigation were computed. The standard deviation of the mean ratings was calculated. On the basis of the deviation from the mean score, reviewers were classified into five categories: zealots, pushovers, mainstream, demoters, and assassins” (Seligman 1991: 637).
Die Untersuchung von Seligman hat gezeigt, dass sich die Existenz der fünf Gruppen von Gutachtern – unter Kontrolle von Zufallseffekten, die dafür gesorgt haben könnten, dass bestimmte Gutachter tatsächlich nur oder überwiegend besonders qualitätvolle oder besonders mangelhafte Manuskripte zu begutachten hatten – nachweisen lässt, d.h. dass es Gutachter gibt, die bei der Begutachtung von Manuskripten Standards haben, die deutlich höher oder deutlich niedriger sind als die Standards der Mehrheit der Gutachter. Dies verweist wieder auf den Lotterie-Charakter des „peer reviewing“:
„Those whose papers are sent by chance to assassins/demoters are at an unfair disadvantage, while zealots/pushovers give authors an unfair advantage” (Seligman 1991: 642).
Darüber hinaus hat Seligman beobachtet, dass „assassins“ und „zealots“, also besonders kritische oder besonders wohlwollende Gutachter, in allen thematischen Bereichen vorkommen, die in der Zeitschrift abgedeckt werden, aber dass sie sich nicht gleichmäßig über alle thematische Bereiche verteilen. So waren im Bereich der Nuklearmedizin und der Computeranwendungen in der Radiologie keine besonders wohlwollenden Gutachter vertreten, während in den Bereichen Ultraschall, Cardiovaskulare Interventionsmedizin und Neuroradiologie am häufigsten wohlwollende oder besonders wohlwollende Gutachter („zealots“ oder „pushovers“) vertreten waren (Seligman 1991: 640, Table 4). Das weist darauf hin, dass bestimmte Subdisziplinen oder Themenbereiche innerhalb einer Disziplin ihre eigene Anspruchs“kultur“ haben, in der Ansprüche durchschnittlich höher oder niedriger sind als in anderen Subdisziplinen oder Themenbereichen. Seligman (1991: 642) hält fest:
„Editors should be aware of reviewer variation. Editors of journals with a small corps of referees undoubtedly will recognize their assassins and zealots and will manage to deal with the disparities. For large journals with numerous reviewers, there is a danger that authors will be treated unfairly if no effort is made to record and to recognize differences in reviewer standards”.
Eine frühe Studie von Mahoney (1977) hat gezeigt, dass es Gutachter gibt, die einem Verzerrungseffekt unterliegen, den man als Bestätigungseffekt bezeichnen kann: Sie haben die Tendenz, Manuskripte positiv zu bewerten bzw. Forschungsergebnisse als zuverlässig zu bewerten, wenn sie mit den derzeit weithin akzeptierten Überzeugungen über den in Frage stehenden Sachverhalt im Einklang stehen, und Manuskripte negativ zu bewerten bzw. Forschungsergebnisse als wenig verlässlich zu bewerten, wenn sie dem angeblichen oder tatsächlichen „Konsens“ widersprechen. Dieser Befunde mag alt sein, aber keineswegs veraltet, sondern – im Gegenteil – von großer Aktualität vor dem Hintergrund der Beschwörung eines angeblich existierenden „Konsenses“ unter sogenannten Klimawissenschaftlern.
Die Ergebnisse der Studie von Peters und Ceci (1982), über die oben schon berichtet wurde, wurden von den Autoren als Beleg für den Matthäus-Effekt interpretiert, weil sie bei ihrer Wiedereinreichung der bereits in der Zeitschrift veröffentlichten Texte erfundene Autorennamen verwendeten, die angeblich an Einrichtungen beschäftigt waren, die ebenfalls erfundene Bezeichnungen trugen und von denen deshalb die Gutachter und Herausgeber der Zeitschrift noch niemals etwas gehört haben konnten.
Eine weitere wichtige Klasse von Verzerrungseffekten hängt mit der gesamten Wissenschaftskultur zusammen, in der Arbeiten weithin als uninteressant angesehen werden, wenn es sich bei ihnen um Replikationsstudien handelt oder um Arbeiten, die die Hypothese, die in der Arbeit geprüft wird, nicht bestätigen.
Dass Letzere eine niedrigere Chance haben, veröffentlicht zu werden, als Arbeiten, die die untersuchte Hypothese bestätigen, belegen u.a. die Arbeiten von Sterling (1959), von Greenwald (1975) und von Dickersin (1990). Der Effekt tritt vermutlich besonders häufig in Fällen auf, in denen der im Manuskript berichtete Nicht-Zusammenhang mit ideologischen Überzeugungen oder sozialpolitischen Positionen konfligiert, wie dies der Fall gewesen ist bei Untersuchungen, die keinen Zusammenhang zwischen dem Kokainkonsum schwangerer Frauen und der Entwicklung des Fötus im Mutterleib feststellen konnten:
„To examine whether studies showing no adverse effects of cocaine in pregnancy have a different likelihood of being accepted for presentation by a large scientific meeting, all abstracts submitted to the Society of Pediatric Research between 1980 and 1989 were analysed. There were 58 abstracts on fetal outcome after gestational exposure to cocaine. Of the 9 negative abstracts (showing no adverse effect) only 1 (11%) was accepted, whereas 28 of the 49 positive abstracts were accepted (57%). This difference was significant. Negative studies tended to verify cocaine use more often and to have more cocaine and control cases. Of the 8 rejected negative studies and the 21 rejected positive studies, significantly more negative studies verified cocaine use, and predominantly reported cocaine use rather than use of other drugs. This bias against the null hypothesis may lead to distorted estimation of the teratogenic risk of cocaine and thus cause women to terminate their pregnancy unjustifiably” (Koren et al. 1989: 1440).
Was den Verzerrungseffekt betrifft, der auf die Ablehnung von Replkationsstudie zurückgeht, so berichten Martin und Clarke (2017: 3), dass psychologische Fachzeitschriften die Einreichung von Manuskripten, die über Replikationsstudien berichten, normalerweise nicht ermutigen. Von 1.151 psychologischen Fachzeitschriften tun dies nur 33; das sind gerade einmal 2,9 Prozent. Tatsächlich gibt es Zeitschriften, die unmissverständlich klar machen, dass Replikationsstudien in ihnen nicht veröffentlicht werden, wie Martin und Clarke 2017: 3) berichten:
„A typical statement is that provided by the International Journal of Behavioral Development, for example: “Studies whose sole purpose is to replicate well-established developmental phenomena in different countries or (sub) cultures are not typically published in the International Journal of Behavioral Development.” This prescription is not unique to this journal”.
Makel, Plucker und Hegarty (2012) haben untersucht, wie häufig Replikationsstudien in den 100 Psychologie-Fachzeitschriften mit den höchsten „impact factors“ seit dem Jahr 1900 tatsächlich vertreten sind. Sie fassen ihre Ergebnisse wie folgt zusammen:
„This investigation revealed that roughly 1.6% of all psychology publications used the term replication in text. A more thorough analysis of 500 randomly selected articles revealed that only 68% of articles using the term replication were actual replications, resulting in an overall replication rate of 1.07%. Contrary to previous findings in other fields, this study found that the majority of replications in psychology journals reported similar findings to their original studies (i.e., they were successful replications). However, replications were significantly less likely to be successful when there was no overlap in authorship between the original and replicating articles. Moreover, despite numerous systemic biases, the rate at which replications are being published has increased in recent decades” (Makel. Plucker & Hegarty 2012: 537).
Replikationsstudien werden also sehr selten gedruckt, und der “bias” gegen Replikationsstudien tritt häufig in Kombination mit dem “bias” gegen Manuskripte auf, die die Hypothese, die in der Arbeit geprüft wird, nicht bestätigen.
Für den Bereich der Sozialwissenschaften und speziell der Management Studies haben Kerr, Tolliver und Petree bereits im Jahr 1977 eine Studie durchgeführt, in deren Rahmen 50 Items umfassende Fragebögen an 19 bekannte sozialwissenschaftliche Fachzeitschriften und Fachzeitschriften aus dem Bereich der Management Studies verschickt wurden, um die wichtigsten Gründe für die Akzeptanz oder Ablehnung von Manuskripten zur Veröffentlichung in diesen Zeitschriften zu identifizieren. Die Autoren berichteten mit Bezug auf Replikationsstudien:
„Item 17 investigated the reaction of reviewers to replicative studies. Generally, it appears that such studies are not considered favourably by the majority of those responding” (Kerr, Tolliver & Petree 1977: 138).
Nur eine einzige der 19 untersuchten Fachzeitschriften war “… not particularly negative toward replication“ (Kerr, Tolliver & Petree 1977: 140).
Aus einer Studie von Neuliep und Crandall (1993), deren Ergebnisse in einer Fachzeitschrift gedruckt wurde, obwohl man sie als Replikationsstudie auf diejenige von Kerr, Tolliver und Petree betrachten kann, berichten die Autoren:
„80 social science journal reviewers responded to questionnaires regarding their reviewing history and attitudes toward replication studies. Results indicate that reviewers were biased against replication studies. Many reviewers regarded studies demonstrating some new effect as more worthwhile and publishable than those studies either replicating an effect or failing to replicate an effect” (Neuliep & Kandall 1993: 21).
Wenn ausgerechnet Replikationsstudien besonders häufig von einer Publikation in einer Fachzeitschrift ausgeschlossen werden, ist das ein großes Problem, denn Replikation ist
„… at the heart of any science. In all science, replication serves at least two purposes: First, to establish the reliability of previous findings and, second, to determine the generality of these findings under differing conditions. These goals, of course, are intrinsically interrelated. Each time that certain results are replicated under different conditions, this not only established generality of findings, but also increases confidence in the reliability of these findings” (Hersen & Barlow 1976: 317).
Durch Replikationsstudien können also die Zuverlässigkeit und die Generalisierbarkeit von Zusammenhängen (oder Nicht-Zusammenhängen), die in „one shot“-Studien beobachtet wurden, geprüft werden, oder anders ausgedrückt: Irrtümer oder unzulässige Verallgemeinerungen können durch Replikationsstudien als solche festgestellt und ggf. korrigiert werden.
Was die Generalisierbarkeit von Beobachtungen in „one shot“-Studien angeht, so hat Lamal diesbezüglich festgehalten:
„We would doubtless all agree that the person who concluded that all dogs are black after seeing only one dog that happened to be black, was foolish” (Lamal 1990: 34).
Seltsamerweise haben ausgerechnet Leute, die Wissenschaftler sein wollen, anscheinend kein Problem damit, nach Beobachtung eines einzigen Hundes, der zufällig ein schwarzer Hund gewesen ist, zu akzeptieren, dass alle Hunde schwarz seien bzw. sein müssten. Für den Bereich der Marketing-Fachzeitschriften stellen Evanschitzky et al. (2007) dementsprechend und entmutigenderweise fest:
„Researchers express concern over a paucity of replications. In line with this, editorial policies of some leading marketing journals now encourage more replications. This article reports on an extension of a 1994 study to see whether these efforts have had an effect on the number of replication studies published in leading marketing journals. Results show that the replication rate has fallen to 1.2%, a decrease in the rate by half. As things now stand, practitioners should be skeptical about using the results published in marketing journals as hardly any of them have been successfully replicated, teachers should ignore the findings until they receive support via replications and researchers should put little stock in the outcomes of one-shot studies” (Evanschitzky et al. 2007: 411; Hervorhebung d.d.A.).
Würden Replikationsstudien als höchst wünschenswert gewertschätzt, regelmäßig durchgeführt und deren Ergebnisse veröffentlicht, unabhängig davon, ob sie den in Frage stehenden Zusammenhang bestätigen oder nicht bestätigen können, wäre dies ein deutliches Signal an alle Forscher, ihre Daten und ihre Verfahrensweisen so transparent wie möglich zu machen und so gründlich wie möglich zu arbeiten – eben weil sie mit einer Replikationsstudie mit Bezug auf die eigene Arbeit rechnen müssen. So betrachtet ist die mangelnde Wertschätzung von Replikationsstudien in der Wissenschaft ein Indikator für mangelnden Willen zur Transparenz und zur Überprüfung der eigenen Arbeit durch Fachkollegen. Wer mag warum Angst vor Replikationsversuchen der eigenen Arbeit haben?!
Derartige Beiträge finden Sie nur bei uns!
ScienceFiles ist ein privates Blog, das u.a. auf Grundlage der Spenden unserer Leser betrieben wird. Unterstützen Sie unseren Fortbestand als freies Medium.
Vielen Dank!
[wpedon id=66988]
Folgen Sie uns auf Telegram.
Anregungen, Hinweise, Kontakt? -> Redaktion @ Sciencefiles.org
Wenn Ihnen gefällt, was Sie bei uns lesen, dann bitten wir Sie, uns zu unterstützen.
ScienceFiles lebt weitgehend von Spenden.
Helfen Sie uns, ScienceFiles auf eine solide finanzielle Basis zu stellen.Wir haben drei sichere Spendenmöglichkeiten:
Mit einer Ausnahme habe ich nie Artikel fuer wissenschaftliche Journale geschrieben, sondern nur fuer technische Fachjournale(STEM). Aber auch dort wurden so gut wie nie die Rohdaten und der exakte Messaufbau detailliert veroeffentlicht, sondern nur Beispiele, geglaettete Daten, und Prinzipschaubilder. Und als anonymer Reviewer kann man die Daten vom Originalautor auch gar nicht anfordern. Damit beschraenkt sich das Review auf Kohaerenz mit etablierten (z.B. pysikalischen) Modellen, Logik, grobe Statistik. Desweiteren konnte man die Annahme des Manuskripts sehr befoerdern, wenn die Pressestelle der eigenen Firma im Journal mal wieder eine neue Anzeige schaltete 😉
Zu meiner Zeit war “traue keinem ueber 30” in aller Munde, ich sagte immer “traue keinem unter 3”. Die 3 waren die Anzahl der Replikationen der Ergebnisse, auch in der Form, dass ein anderer auf die Ergebnisse aufbaute und wieder etwas neues entdeckte.
Gibt es Fachjournale die NUR Replikationsstudien veröffentlichen?
Mir erscheint das absurd, dass die Bedeutung der Wiederholbarkeit von Experimenten für die wiss. Erkenntnisgewinn nach hinten gestellt wird und anstelle dessen, so scheint es, Fachjournale die Logik der Presseverleger folgen und einer vermeintlich neuen “Erkenntnis” den Vorang gegenüber gesichertere Erkenntnis geben…
Wenn es solch spezialisierte Fachjournale gäbe, ließe sich dieser Zug einigermaßen nachvollziehen. Oder tut sich da eine Marktlücke auf? 😀
Fachjournale, die NUR Replikationsstudien veröffentlichen?!
Tolle Idee und eine eigentlich naheliegende und sinnvolle Ergänzung zum bisherigen Zeitschriftenangebot! Aber bislang ist das tatsächlich eine Marktlücke.
Dabei könnte ich mir vorstellen, dass solche Fachjournale sehr schnell einige Wichtigkeit haben würden angesichts der Tatsache, dass nur replizierbare Ergebnisse als relativ zuverlässige Ergebnisse gelten können. Immerhin gibt es immer wieder ‘mal jemanden, der solche Überlegungen anstellt, wie Sie z.B. HIER
sehen können,M.W. ist solchen Überlegungen/Vorstellungen aber bislang noch nicht entsprochen worden, schon gar nicht auf systematische Weise bzw. “im großen Stil”.
Und was den letzten, wichtigen Absatz im Kommentar von “luisman” betrifft:
Lange Zeit war die Ansicht die, dass man so etwas wie eine Replikation leistet, wenn man auf den Vorarbeiten Anderer aufbaut, also denselben Zusammenhang testet wie diese Anderen, vielleicht in Ergänzung des in Frage stehenden Modells, und dabei diese Anderen, ihre Argumentationen, ihre Modelle und ihre Ergebnisse beschreibt, dann beschreibt, inwiefern man ggf. von diesen Vorarbeiten abweicht, was man warum wie hinzufügt, und, je nachdem. welche Ergebnisse man produziert, diskutiert, ob die “alten” Befunde dadurch bestätigt werden oder nicht, und wenn nicht, warum nicht.
Das ist auch in Ordnung, SO LANGE das in einem Fachbereich die übliche Vorgehensweise ist, also die Argumente, Modelle und Ergebnisse der Vorgänger-Forscher rezipiert und systematisch darauf aufgebaut wird. Auch wirklich innovative Arbeiten nahmen normalerweise Bezug auf Vorgänger-Arbeiten und begründeten, warum diese defizitär sind, theoretisch einseitig, was auch immer.
Leider ist diese Tradition aber längst nicht mehr Tradition, wenn auch in einigen Fachbereichen, bei einigen Zeitschriften immer noch mehr als bei anderen.
Der Vorschlag zu einem “British Journal of Replication Psychology”, der im oben genannten Link gemacht wird, spricht diesbezüglich Bände, denn in psychologischen Fachzeitschriften wird dieser Tradition immer noch deutlich häufiger entsprochen als in den Sozialwissenschaften, in denen die Tradition inzwischen die – wie mir scheint leider sogar ziemlich seltene – Ausnahme ist. (Für andere Wissenschaften kann ich das nicht so gut beurteilen.)
Derzeit ist die “Fachzeitschriftensituation”, in weiten Teilen eher die, dass jeder seinem Hobby frönt, oft ohne klare theoretische Argumentation, so dass das Ganze für die meisten Kollegen nicht interessant oder hilfreich ist, wenn die Arbeiten nicht sowieso halbseidene Murkstexte sind, die im “politischen Meinungskampf” instrumentalisiert werden können – das scheint mir der typische Fall in den Sozialwissenschaften zu sein.
Oder “Beiträge” werden zu einem Thema geliefert, sagen wir: die Erforschung des neuen Corono-Virus, die einen deskriptiven Wert haben, z.B. zu den Fällen, die in Singapur aufgetreten sind, aber nicht ins Verhältnis gesetzt werden zu all den anderen Daten, die zu diesem Thema gesammelt wurden, so dass das Ganze, zu dem all die Einzelarbeiten BEItragen, niemand beschreibt; die BEIträge bleiben weitgehend unintegriert, und jeder arbeitet halt an “seinem Stiefel”.
Beim Klimahoax kann man das auch gut erkennen: Jeder redet ÜBER die widersprechenden Ergebnisse von Personen, die sie produziert haben oder vorbringen, oder ÜBER diese Personen, aber nicht MIT diesen Personen VON den Ergebnissen. Eine sachliche Diskussion findet nicht statt.
Oder bestimmte Themen sind so hoch spezialisiert, dass sie nicht einmal für die Kollegen im ohnhin schon spezialisierten Gebiet zugänglich oder verwertbar sind, was vielleicht in der Natur der Sache liegt. Aber vermutlich könnte man sich sogar in solchen Fällen um größere, wie soll ich sagen, Anbindungfähigkeit bemühen.
In den bei weitem meisten Fällen dürfte es eine allzu billige Pauschal-Ausrede sein, wenn der Verzicht auf eine Integration von Forschungsergebnissen (oder auch nur auf einen entsprechenden Versuch) dadurch gerechtfertigt werden soll, dass die Forschung so zahlreich und die Forschungslage ach, so komplex sei und keine Replikation/Integration erlauben würde.
Sie ist eben mit teilweise erheblicher systematischer Recherche- und Lektüre-Arbeit verbunden, die derzeit anscheinend für unzumutbar gehalten wird (besonders von denjenigen, die keinen entsprechenden Berufsethos mitbringen und eher an “work-.life-balance” interessiert sind, für die “work” also nicht zum “life” gehört!).
Wir sehen, dass du dich in Vereinigtes Königreich befindest. Wir haben unsere Preise entsprechend auf Pfund Sterling aktualisiert, um dir ein besseres Einkaufserlebnis zu bieten. Stattdessen Euro verwenden.Ausblenden
Owen (1982) hat eine ganze Reihe von solchen Verzerrungseffekten (nicht nur bei Gutachtern, sondern Lesern von Fachaufsätzen allgemein,) aufgelistet, die man in verschiedene Bereiche unterteilen bzw. entsprechend zusammenfassen kann (vgl. hierzu die kurze Zusammenfassung bei Weller 2002: 208), u.a. in methodische Verzerrungseffekte, die z.B. dann vorliegen, wenn ein Gutachter/Leser bestimmte Auswertungsverfahren bevorzugt oder ablehnt, in statusbezogene Verzerrungseffekte wie den sogenannten Matthäus-Effekt, der vorliegt, wenn ein Gutachter/Leser sich z.B. in seiner Einschätzung davon leiten lässt, ob ein Text von einem bekannten oder von einem unbekannten Wissenschaftler stammt oder aus einer Projektgruppe an einer anerkannten Forschungseinrichtung oder an einer eher randständigen Einrichtung, und in persönliche Verzerrungseffekte, die in der Person des Gutachters oder Herausgebers liegen, zu denen auch Verzerrungseffekte aufgrund der ideologischen Orientierung eines Gutachters oder Herausgebers gehören, der z.B. bestimmte Positionen aus weltanschaulichen Gründen ablehnt und Manuskripte, die für diese Position sprechen, negativ bewertet, oder Manuskripte positiv bewertet, wenn sie zu Schlussfolgerungen kommen, die dem Gutachter oder Herausgeber weltanschaulich sympathisch sind.
Die Untersuchung von Seligman hat gezeigt, dass sich die Existenz der fünf Gruppen von Gutachtern – unter Kontrolle von Zufallseffekten, die dafür gesorgt haben könnten, dass bestimmte Gutachter tatsächlich nur oder überwiegend besonders qualitätvolle oder besonders mangelhafte Manuskripte zu begutachten hatten – nachweisen lässt, d.h. dass es Gutachter gibt, die bei der Begutachtung von Manuskripten Standards haben, die deutlich höher oder deutlich niedriger sind als die Standards der Mehrheit der Gutachter. Dies verweist wieder auf den Lotterie-Charakter des „peer reviewing“:
Die Ergebnisse der Studie von Peters und Ceci (1982), über die oben schon berichtet wurde, wurden von den Autoren als Beleg für den Matthäus-Effekt interpretiert, weil sie bei ihrer Wiedereinreichung der bereits in der Zeitschrift veröffentlichten Texte erfundene Autorennamen verwendeten, die angeblich an Einrichtungen beschäftigt waren, die ebenfalls erfundene Bezeichnungen trugen und von denen deshalb die Gutachter und Herausgeber der Zeitschrift noch niemals etwas gehört haben konnten.
Replikationsstudien werden also sehr selten gedruckt, und der “bias” gegen Replikationsstudien tritt häufig in Kombination mit dem “bias” gegen Manuskripte auf, die die Hypothese, die in der Arbeit geprüft wird, nicht bestätigen.
Seltsamerweise haben ausgerechnet Leute, die Wissenschaftler sein wollen, anscheinend kein Problem damit, nach Beobachtung eines einzigen Hundes, der zufällig ein schwarzer Hund gewesen ist, zu akzeptieren, dass alle Hunde schwarz seien bzw. sein müssten. Für den Bereich der Marketing-Fachzeitschriften stellen Evanschitzky et al. (2007) dementsprechend und entmutigenderweise fest:
ScienceFiles Spendenkonto:
HALIFAX (Konto-Inhaber: Michael Klein):
ScienceFiles Spendenkonto:
HALIFAX (Konto-Inhaber: Michael Klein):
Mit einer Ausnahme habe ich nie Artikel fuer wissenschaftliche Journale geschrieben, sondern nur fuer technische Fachjournale(STEM). Aber auch dort wurden so gut wie nie die Rohdaten und der exakte Messaufbau detailliert veroeffentlicht, sondern nur Beispiele, geglaettete Daten, und Prinzipschaubilder. Und als anonymer Reviewer kann man die Daten vom Originalautor auch gar nicht anfordern. Damit beschraenkt sich das Review auf Kohaerenz mit etablierten (z.B. pysikalischen) Modellen, Logik, grobe Statistik. Desweiteren konnte man die Annahme des Manuskripts sehr befoerdern, wenn die Pressestelle der eigenen Firma im Journal mal wieder eine neue Anzeige schaltete 😉
Zu meiner Zeit war “traue keinem ueber 30” in aller Munde, ich sagte immer “traue keinem unter 3”. Die 3 waren die Anzahl der Replikationen der Ergebnisse, auch in der Form, dass ein anderer auf die Ergebnisse aufbaute und wieder etwas neues entdeckte.
Gibt es Fachjournale die NUR Replikationsstudien veröffentlichen?
Mir erscheint das absurd, dass die Bedeutung der Wiederholbarkeit von Experimenten für die wiss. Erkenntnisgewinn nach hinten gestellt wird und anstelle dessen, so scheint es, Fachjournale die Logik der Presseverleger folgen und einer vermeintlich neuen “Erkenntnis” den Vorang gegenüber gesichertere Erkenntnis geben…
Wenn es solch spezialisierte Fachjournale gäbe, ließe sich dieser Zug einigermaßen nachvollziehen. Oder tut sich da eine Marktlücke auf? 😀
@rolandvongilead
@luisman
Fachjournale, die NUR Replikationsstudien veröffentlichen?!
Tolle Idee und eine eigentlich naheliegende und sinnvolle Ergänzung zum bisherigen Zeitschriftenangebot! Aber bislang ist das tatsächlich eine Marktlücke.
Dabei könnte ich mir vorstellen, dass solche Fachjournale sehr schnell einige Wichtigkeit haben würden angesichts der Tatsache, dass nur replizierbare Ergebnisse als relativ zuverlässige Ergebnisse gelten können. Immerhin gibt es immer wieder ‘mal jemanden, der solche Überlegungen anstellt, wie Sie z.B. HIER
https://thepsychologist.bps.org.uk/volume-31/november-2018/british-journal-replication-psychology
sehen können,M.W. ist solchen Überlegungen/Vorstellungen aber bislang noch nicht entsprochen worden, schon gar nicht auf systematische Weise bzw. “im großen Stil”.
Und was den letzten, wichtigen Absatz im Kommentar von “luisman” betrifft:
Lange Zeit war die Ansicht die, dass man so etwas wie eine Replikation leistet, wenn man auf den Vorarbeiten Anderer aufbaut, also denselben Zusammenhang testet wie diese Anderen, vielleicht in Ergänzung des in Frage stehenden Modells, und dabei diese Anderen, ihre Argumentationen, ihre Modelle und ihre Ergebnisse beschreibt, dann beschreibt, inwiefern man ggf. von diesen Vorarbeiten abweicht, was man warum wie hinzufügt, und, je nachdem. welche Ergebnisse man produziert, diskutiert, ob die “alten” Befunde dadurch bestätigt werden oder nicht, und wenn nicht, warum nicht.
Das ist auch in Ordnung, SO LANGE das in einem Fachbereich die übliche Vorgehensweise ist, also die Argumente, Modelle und Ergebnisse der Vorgänger-Forscher rezipiert und systematisch darauf aufgebaut wird. Auch wirklich innovative Arbeiten nahmen normalerweise Bezug auf Vorgänger-Arbeiten und begründeten, warum diese defizitär sind, theoretisch einseitig, was auch immer.
Leider ist diese Tradition aber längst nicht mehr Tradition, wenn auch in einigen Fachbereichen, bei einigen Zeitschriften immer noch mehr als bei anderen.
Der Vorschlag zu einem “British Journal of Replication Psychology”, der im oben genannten Link gemacht wird, spricht diesbezüglich Bände, denn in psychologischen Fachzeitschriften wird dieser Tradition immer noch deutlich häufiger entsprochen als in den Sozialwissenschaften, in denen die Tradition inzwischen die – wie mir scheint leider sogar ziemlich seltene – Ausnahme ist. (Für andere Wissenschaften kann ich das nicht so gut beurteilen.)
Derzeit ist die “Fachzeitschriftensituation”, in weiten Teilen eher die, dass jeder seinem Hobby frönt, oft ohne klare theoretische Argumentation, so dass das Ganze für die meisten Kollegen nicht interessant oder hilfreich ist, wenn die Arbeiten nicht sowieso halbseidene Murkstexte sind, die im “politischen Meinungskampf” instrumentalisiert werden können – das scheint mir der typische Fall in den Sozialwissenschaften zu sein.
Oder “Beiträge” werden zu einem Thema geliefert, sagen wir: die Erforschung des neuen Corono-Virus, die einen deskriptiven Wert haben, z.B. zu den Fällen, die in Singapur aufgetreten sind, aber nicht ins Verhältnis gesetzt werden zu all den anderen Daten, die zu diesem Thema gesammelt wurden, so dass das Ganze, zu dem all die Einzelarbeiten BEItragen, niemand beschreibt; die BEIträge bleiben weitgehend unintegriert, und jeder arbeitet halt an “seinem Stiefel”.
Beim Klimahoax kann man das auch gut erkennen: Jeder redet ÜBER die widersprechenden Ergebnisse von Personen, die sie produziert haben oder vorbringen, oder ÜBER diese Personen, aber nicht MIT diesen Personen VON den Ergebnissen. Eine sachliche Diskussion findet nicht statt.
Oder bestimmte Themen sind so hoch spezialisiert, dass sie nicht einmal für die Kollegen im ohnhin schon spezialisierten Gebiet zugänglich oder verwertbar sind, was vielleicht in der Natur der Sache liegt. Aber vermutlich könnte man sich sogar in solchen Fällen um größere, wie soll ich sagen, Anbindungfähigkeit bemühen.
In den bei weitem meisten Fällen dürfte es eine allzu billige Pauschal-Ausrede sein, wenn der Verzicht auf eine Integration von Forschungsergebnissen (oder auch nur auf einen entsprechenden Versuch) dadurch gerechtfertigt werden soll, dass die Forschung so zahlreich und die Forschungslage ach, so komplex sei und keine Replikation/Integration erlauben würde.
Sie ist eben mit teilweise erheblicher systematischer Recherche- und Lektüre-Arbeit verbunden, die derzeit anscheinend für unzumutbar gehalten wird (besonders von denjenigen, die keinen entsprechenden Berufsethos mitbringen und eher an “work-.life-balance” interessiert sind, für die “work” also nicht zum “life” gehört!).