Peer Review: Verfahren für die Tonne oder ist noch etwas zu retten?
Die Bestandsaufnahme die Dr. habil. Heike Diefenbach zur Qualität, Verlässlichkeit und Aussagekraft des Peer Review-Verfahrens gemacht hat, kann man nicht anders als im Ergebnis katastrophal für das Verfahren bezeichnen. Alles, was ein Verfahren, das aussagekräftige Ergebnisse zur Folge haben soll, auf die man sich verlassen kann, auszeichnet, ist bei Peer Review-Verfahren in Frage gestellt. Die Probleme sind umfassend und betreffen alle am Verfahren Beteiligten. Sie betreffen die Herausgeber, die manipulativ in den Prozess eingreifen, die Reviewer, die es an Fairness fehlen lassen, die Methode des Verfahrens, mit der nicht einmal Unsinn aussortiert werden kann, die Ergebnisse, des Verfahrens, die willkürlich sind, und sie betreffen die Autoren, die das Verfahren manipulieren wollen und dabei nicht vor Betrug zurückschrecken.
Wie begegnet man also Leuten, die “Peer Review” als Qualitätskriterium um Mund führen?
Dr. habil. Heike Diefenbach gibt in ihrem Fazit eine Antwort auf diese wichtige Frage, denn man darf nicht vergessen, dass das Peer Review-Verfahren im Zentrum des wissenschaftlichen Pulikations-Wesens und somit des damit verbundenen Erkenntnisprozesses steht.
4. Schlussfolgerung: „Peer reviewed“ ist kein Qualitätssiegel
Die empirischen Befunde, die in Abschnitt 3 berichtet wurden (und viele andere, die in den vorliegenden Text nicht aufgenommen wurden, aber bei entsprechender Recherche leicht gefunden werden können), sollten hinreichend belegt haben, dass es keinen Grund dafür gibt, die schlichte Tatsache, dass über einen Text gesagt wird, er sei „peer reviewed“ als Qualitätssiegel aufzufassen bzw. aus dieser schlichten Tatsache zu schließen, dass der Text ein Text von hoher Qualität sei, sei es im Hinblick auf faktische Richtigkeit, auf wissenschaftliche Relevanz oder was auch immer.
Das Label „peer reviewed“ wird auf einen Text manchmal nur deshalb übertragen, weil die Zeitschrift, in der er veröffentlicht wurde, angibt, dass sie Manuskripte zur Veröffentlichung aufgrund eines „peer reviewings“ auswähle. Das mag in bestimmten Fällen oder regelmäßig, bei bestimmten Zeitschriften vielleicht sogar immer, der Fall sein, vielleicht aber auch nicht. Wenn es der Fall ist, bleibt in aller Regel unbekannt, wer das Manuskript begutachtet hat – ein Herausgeber, mehrere Herausgeber, mindestens ein Herausgeber und ein, zwei, drei oder mehr Gutachter –, wie genau Gutachter ggf. ausgewählt wurden, wie genau das „peer reviewing“ verlaufen ist, ob z.B. bestimmte Begutachtungskriterien vorgegeben wurden oder nicht, wie Herausgeber über die Veröffentlichung von Manuskripten entscheiden, besonders in dem Fall, in dem Gutachter oder Gutachter und Herausgeber zu unterschiedlichen Einschätzungen des Manuskriptes kommen.
Was wir aus empirischen Studien wissen, ist, dass „peer reviewing“ aufgrund sehr starker Variation in der Einschätzung ein und derselben Manuskripte durch verschiedene Gutachter einer Lotterie gleicht, dass „peer reviewing“ nicht verhindern kann, dass fehlerhafte Manuskripte veröffentlicht werden oder vor allem solche, die das bereits Bekannte rekapitulieren oder bestätigen, und dass „peer reviewing“ Innovationen eher im Weg steht als befördert. Wir wissen darüber hinaus, dass es „peer reviewing“ nicht gelingt, Unsinn als solchen zu identifizieren und auszusondern, bevor er publiziert wird, und dass „peer reviewing“ direkt oder indirekt, d.h. in Zusammenhängen, die dem eigentlichen Gutachterprozess vor- oder nachgelagert sind, manipuliert werden kann und wird.
Auf der Basis der vorliegenden empirischen Studien muss man deshalb zu dem Urteil kommen, zu dem bereits Cowley (2015) gekommen ist:
“Peer-review is neither reliable, fair, nor a valid basis for predicting ‘impact’: as quality control, peer-review is not fit for purpose” (Cowley 2015: 1).
Es sei hier nur am Rande ergänzend bemerkt, dass es selbst dann, wenn „peer reviewed“ tatsächlich anzeigen würde, dass ein Text von hoher Qualität sein müsse, der Text deshalb keine Überlegenheit per se gegenüber Texten, die nicht „peer reviewed“ sind, für sich beanspruchen könnte. Warum nicht? Weil es ein Fehlschluss der Verneinung des antecedens wäre, wenn man meinen würde:
Wenn ein Text „peer reviewed“ ist, muss er von hoher Qualität sein.
Dieser Text ist nicht „peer reviewed“.
DAHER: Dieser Text ist nicht von hoher Qualität
(vgl. hierzu z.B. Salmon 1983: 58-59).
Es gibt durchaus Texte von hoher Qualität (und von höherer Qualität als Texte, die „peer reviewed“ sind), die nicht „peer reviewed“ sind (und ich hoffe, dass der vorliegende Text zu diesen Texten zu zählen sein wird). Es mag auch Texte geben, die von hoher Qualität sind, aber nach erfolgter Publikation zurückgezogen wurden, weil für sie vielleicht unnötigerweise ein gefälschtes positives Gutachten vorgelegt wurde. Nichts spricht dagegen, dass es in der Realität nicht alle möglichen Konstellationen von Textqualität, Gutachterleistung, und Manipulationsstrategien gibt, die zur Veröffentlichung qualitätvoller Texte führen, zur Veröffentlichung von Texten niedriger Qualität, zur Nicht-Veröffentlichung qualitätvoller Texte oder zur Nicht-Veröffentlichung von Texten niedriger Qualität. Wenn ein Text, der „peer reviewed“ ist, inhaltlich einem Text widerspricht, der nicht „peer reviewed“ ist (oder umgekehrt), was bedeutet das dann also für die Inhalte in den beiden Texten? Nichts.
In jedem Fall ist der Leser bei seiner Lektüre eines Textes, sei er in einer Fachzeitschrift oder sonstwo veröffentlicht oder nicht, auf den Text selbst zurückgeworfen. Er muss also sozusagen selbst Gutachter sein. In vielen Fällen ist man mit der Prüfung von Texten insofern überfordert als man nicht beurteilen kann, was z.B. die für die Daten angemessenen Verfahrensweisen sind, ob im Text die für das Thema relevanten Vorarbeiten berücksichtigt wurden u.v.m. Das bedeutet aber nicht, dass man den Text nicht in den Teilen beurteilen kann oder darf, die einem zugänglich sind, also z.B. mit Bezug auf die Stringenz seiner Argumentation, die Abwesenheit von Fehlschlüssen oder unangemessenen Generalisierungen. D.h. die guten alten Mittel der Logik und des kritischen Denkens tun heute und hier wie früher und überall ihren Dienst, wenn man sie nur einzusetzen bereit ist und sie kompetent einsetzen kann.
Die komplette Arbeit steht ab Samstag zum Download bereit.
Wie die in Abschnitt 3 genannten empirische Studien gezeigt haben, erreichen Gutachter oft keine größere Übereinstimmung untereinander mit Bezug auf ein und dasselbe Manuskript als man es per Zufall erwarten würde. Es gibt daher keinen guten Grund, sich bei der Beurteilung von Arbeiten von Gutachtern oder Herausgebern mittels des Labels „peer reviewed“ leiten zu lassen. Und angesichts der Lotterie, die „peer reviewing“ ist, ist es auch nicht notwendig, mit der eigenen Beurteilung von Texten aufgrund dessen, was man mit den Mitteln der Logik und des kritischen Denkens und, sofern vorhanden, mit dem, was man an statistischem oder methodischem Wissen hat, allzu zurückhaltend zu sein. Selbst dann, wenn die eigene Beurteilung eines Textes am Ende dieselbe Qualität haben sollte wie eine zufällige Beurteilung, so befindet man sich damit doch in der Gesellschaft von Gutachtern, die immerhin in der Regel Fachvertreter sind.
Wer heute als Wissenschaftler tätig ist, wer selbst hinreichend Erfahrung mit „peer reviewing“, entweder als Autor oder als Herausgeber oder Gutachter, hat, wer es mit Wissenschaft halbwegs ernst meint, dem können die Mängel des „peer reviewing“ schwerlich entgangen sein, und dies wirft die Frage auf, wer es ist, der als Wissenschaftler auftritt und gleichzeitig – bzw. dennoch – so tut, als könne der Hinweis darauf, dass ein Text „peer reviewed“ sei, als ein Qualitätssiegel für den entsprechenden Text aufgefasst werden. M.E. handelt es sich bei diesen Menschen vor allem um solche, die tatsächlich keine Wissenschaftler sind, sondern „professionals“ anderer Art, die ein Interesse an bestimmten Ergebnissen haben, weil sie (auch weiterhin) ein Auskommen in der Nische, in der sie tätig sind, ermöglichen. Ein Anstellungsverhältnis an einer eigentlich wissenschaftlichen Einrichtung oder in einem eigens geschaffenen Projekt an irgendeinem An-Institut einer eigentlich wissenschaftlichen Einrichtung kann dazu genutzt werden, eine bestimmte Nische einzurichten, zu legitimieren oder ihre Bedeutung zu erhöhen; man denke nur an die politisch gewollte und gesteuerte Etablierung von „Gender Studies“ an Hochschulen oder die Inszenierung des Klima-Schwindels durch die Fälschung oder Unterschlagung von empirischen Daten (wie im berühmt gewordenen „climategate“) durch angeblich wissenschaftliches Personal, das viel Wert darauf legt, als Wissenschaftler gelten zu können, Texte zu veröffentlichen, die „peer reviewed“ sind oder z.B. – wie Michael E. Mann – einen Nobelpreis erhalten zu haben, wenn dies in der Realität eine zumindest sehr fragwürdige Angelegenheit ist.
De Vries hat das schon vor rund 20 Jahren ähnlich gesehen und formuliert:
“Peer reviewed articles are the outer shell of the learned world. They apotheosize the power elites and are instrumental in the distribution of funds. To advance the insider’s knowledge they are less essential. Science as the expression of human curiosity and industrial impetus will not be doomed if peer review dissipates” (De Vries 2001: 239).
Auflösungserscheinungen zeigt das “peer reviewing” in seiner traditionellen Form, aber in einer modernisierten und demokratisierten Form hat es in der vergangenen Jahren geradezu eine Blüte erlebt, nämlich in Form von blogs oder Organisationen, die als „watchdogs“ fungieren wie z.B. Retraction Watch, oder die es – wie z.B. PubPeer – Wissenschaftlern ermöglichen, ihre Manuskripte vor oder nach Veröffentlichung zu verteilen oder sie von „peers“ kommentieren zu lassen oder selbst die Manuskripte von „peers“ zu kommentieren, wobei sich die „peers“ selbst rekrutieren: wer meint, sich kompetent zu einem Manuskript oder einem Inhalt im Manuskript äußern zu können und etwas hinreichend Nennenswertes dazu zu sagen zu haben, tut es.
„This new generation of watchdogs is successfully making up for their lack of resources by mobilizing hundreds of scientists – some named, but mostly anonymous – who are willing to read texts, evaluate images, run through statistical analyses for a publication’s data, and share their findings and views on websites, blogs, wikis, and social media … And though they lack legal authority, these new watchdogs can be very effective through their ability to maximize the visibility of these issues, which may force the authorities to intervene … Their modus operandi is that of traditional peer review but, through the adoption of a crowd-sourcing model, it operates on a scale and is able to draw expertise from a population that is an order of magnitude larger than that of traditional peer review as practiced by journals” (Biagioli & Lippman 2020: 17).
Aufgrund der großen Anzahl von selbstrekrutierten „Gutachtern” ist es schwierig, in diesen Medien persönliche Vorlieben oder Abneigungen auszuleben, muss man doch mit Antworten auf die eigenen Kommentare rechnen, mit der Aufforderung, seine Einschätzungen zu begründen, und mit Entgegnungen und Einwänden gegen die eigenen Begründungen nicht nur durch einen oder wenige Gesprächspartner, sondern möglicherweise durch eine Vielzahl von Gesprächspartnern sehr unterschiedlicher Ausrichtung und Expertise. In einem solchen Diskussionsforum tut man gut daran, selbst sein kritischster und aufmerksamster „Gutachter“ zu sein!
Diese neuen Formen des “peer reviewing” markieren deshalb nach Biagioli und Lippman (2020: 17) eine Transformation “… from top-down to bottom-up knowledge production“ und reihen sich damit ein in die Demokratisierungsprozesse, die wir derzeit – trotz teilweise heftigen Widerstands auf Seiten derer, die sich nicht zutrauen, in einer solchem Diskussionsumgebung bestehen zu können, – in verschiedenen gesellschaftlichen Bereichen, aber insbesondere in der Medienlandschaft, erleben.
Derartige Beiträge finden Sie nur bei uns!
ScienceFiles ist ein privates Blog, das u.a. auf Grundlage der Spenden unserer Leser betrieben wird. Unterstützen Sie unseren Fortbestand als freies Medium.
Vielen Dank!
[wpedon id=66988]
Folgen Sie uns auf Telegram.
Anregungen, Hinweise, Kontakt? -> Redaktion @ Sciencefiles.org
Wenn Ihnen gefällt, was Sie bei uns lesen, dann bitten wir Sie, uns zu unterstützen.
ScienceFiles lebt weitgehend von Spenden.
Helfen Sie uns, ScienceFiles auf eine solide finanzielle Basis zu stellen.Wir haben drei sichere Spendenmöglichkeiten:
Sagen wir es mal so, sehr geehrter Herr Klein: Wenn Sie selbst Ihre Texte mit “peer reviewed” kennzeichnen würden, dann würde ich Ihnen einen langen Brief schreiben mit Substantiven wie “Enttäuschung”, “Trauerspiel” und Ähnlichem. Die Adjektive ersparen wir uns mal.
Ich krieg Pickel, wenn ich diesen peer review- Mist nur höre!
Oder anders: Ich brauche kein Gremium von irgendwelchen Gipsköpfen, die mir vorkauen wollen, ob ein Text welchen Anforderungen auch immer genügt.
Das sehe ich selbst, indem ich LESE, mir die AUFGEFÜHRTEN QUELLEN anschaue und, falls vorhanden, die LITERATURLISTE betrachte. Wenn dann noch unter Beachtung der gültigen ZITIERREGELN ausgewogen analysiert wurde, bin ich schon unfaßbar glücklich.
Wir sehen, dass du dich in Vereinigtes Königreich befindest. Wir haben unsere Preise entsprechend auf Pfund Sterling aktualisiert, um dir ein besseres Einkaufserlebnis zu bieten. Stattdessen Euro verwenden.Ausblenden
Was wir aus empirischen Studien wissen, ist, dass „peer reviewing“ aufgrund sehr starker Variation in der Einschätzung ein und derselben Manuskripte durch verschiedene Gutachter einer Lotterie gleicht, dass „peer reviewing“ nicht verhindern kann, dass fehlerhafte Manuskripte veröffentlicht werden oder vor allem solche, die das bereits Bekannte rekapitulieren oder bestätigen, und dass „peer reviewing“ Innovationen eher im Weg steht als befördert. Wir wissen darüber hinaus, dass es „peer reviewing“ nicht gelingt, Unsinn als solchen zu identifizieren und auszusondern, bevor er publiziert wird, und dass „peer reviewing“ direkt oder indirekt, d.h. in Zusammenhängen, die dem eigentlichen Gutachterprozess vor- oder nachgelagert sind, manipuliert werden kann und wird.
Aufgrund der großen Anzahl von selbstrekrutierten „Gutachtern” ist es schwierig, in diesen Medien persönliche Vorlieben oder Abneigungen auszuleben, muss man doch mit Antworten auf die eigenen Kommentare rechnen, mit der Aufforderung, seine Einschätzungen zu begründen, und mit Entgegnungen und Einwänden gegen die eigenen Begründungen nicht nur durch einen oder wenige Gesprächspartner, sondern möglicherweise durch eine Vielzahl von Gesprächspartnern sehr unterschiedlicher Ausrichtung und Expertise. In einem solchen Diskussionsforum tut man gut daran, selbst sein kritischster und aufmerksamster „Gutachter“ zu sein!
ScienceFiles Spendenkonto:
HALIFAX (Konto-Inhaber: Michael Klein):
ScienceFiles Spendenkonto:
HALIFAX (Konto-Inhaber: Michael Klein):
Sagen wir es mal so, sehr geehrter Herr Klein: Wenn Sie selbst Ihre Texte mit “peer reviewed” kennzeichnen würden, dann würde ich Ihnen einen langen Brief schreiben mit Substantiven wie “Enttäuschung”, “Trauerspiel” und Ähnlichem. Die Adjektive ersparen wir uns mal.
Ich krieg Pickel, wenn ich diesen peer review- Mist nur höre!
Oder anders: Ich brauche kein Gremium von irgendwelchen Gipsköpfen, die mir vorkauen wollen, ob ein Text welchen Anforderungen auch immer genügt.
Das sehe ich selbst, indem ich LESE, mir die AUFGEFÜHRTEN QUELLEN anschaue und, falls vorhanden, die LITERATURLISTE betrachte. Wenn dann noch unter Beachtung der gültigen ZITIERREGELN ausgewogen analysiert wurde, bin ich schon unfaßbar glücklich.
Diese Reihe gefällt sehr.
Vielen Dank Frau Dr. Diefenbach.
Liebe geht raus. Grüße