Februar 24, 2020

Rückschritt statt Fortschritt: Die Rückseite des Peer Review Verfahrens

Die Bilanz bislang ist nicht gerade rosig für das Peer Review Verfahren. Es gleicht einer Lotterie, die Gutachter sind weder überwiegend kompetent noch unabhängig noch um Fairness bemüht.

Kann es noch schlimmer werden?
Es kann.

Heute zeigt Dr. habil. Heike Diefenbach, dass Peer Reviews Innovationen hemmen, d.h. Peer Reviewer verhindern, dass neue Ideen publiziert werden. Peer Review, eigentlich dazu gedacht, den Erkenntnisprozess zu befördern, behindert den Erkenntnisprozess.

“Peer reviewed” – kein Qualitätssiegel!

von Dr. habil. Heike Diefenbach

TEIL 4
hier geht es zu TEIL 1, hier zu TEIL 2 und hier zu TEIL 3.

3.3 Ignoranz gegenüber Innovationen

Wie oben schon im Zusammenhang mit der Studie von Mahoney (1977) zum Bestätigungseffekt bemerkt wurde, gibt es bei Gutachtern die Tendenz, Manuskripte positiv zu bewerten bzw. Forschungsergebnisse als zuverlässig zu bewerten, wenn sie mit dem, was gerade als „Konsens“ gilt, übereinstimmen. Auch, wenn wir nicht wissen, wie stark diese Tendenz ausgeprägt ist und ob sie z.B. in verschiedenen Fachdisziplinen unterschiedlich stark ausgeprägt ist, so lässt sich doch festhalten, dass es sie gibt und sie, wo es sie gibt, als Innovationshemmer wirkt.

Als Innovationshemmer wirkt aber nicht nur der Bestätigungseffekt als solcher, d.h. der Bestätigungseffekt als Zustimmungs- oder Plausibilitäts-bias. Manche oder vielleicht auch viele Gutachter scheinen darüber hinaus außer Stande zu sein, das Potential oder die mögliche hohe Relevanz erkennen zu können, die ein „abweichendes“ Manuskript für das Fach haben kann. Wenn das Interesse, das ein Text bei Fachkollegen findet, bzw. die Häufigkeit, mit der ein Text von Fachkollegen zitiert wird, als Merkmale dafür akzeptiert werden, dass ein Text insofern qualitätvoll ist, dass er für das Fach wichtig oder zumindest anregend ist, dann muss man festhalten, dass „peer reviewing“ auch diesbezüglich versagen kann:

Campanario (1996) hat auf der Basis einer Auswertung von 205 Kommentaren von Autoren einiger der meistzitierten Texte aller Zeiten festgestellt, dass immerhin in 22 Kommentaren bzw. knapp 11 Prozent der Fälle die Autoren davon berichten, auf Schwierigkeiten oder Widerstand mit Bezug auf die Durchführung ihrer Forschung oder die Veröffentlichung ihrer Forschungsergebnisse im entsprechenden Manuskript gestoßen zu sein. Drei der Artikel, mit denen es solche Probleme gab, haben sich nach ihrer Veröffentlichung als die meistzitierten in der Fachzeitschrift, in der sie schließlich gedruckt wurden, erwiesen.

Bei Gans und Shepherd (1994: 167, Tabelle 1), die 140 Ökonomen – inklusive aller damals lebenden Gewinner des Nobel-Preises für Ökonomie – darum gebeten haben, von ihren Erfahrungen mit der Ablehnung ihrer Manuskripte durch Fachzeitschriften zu berichten, findet man eine Aufstellung von sehr bekannten und viel zitierten Texten berühmter Ökonomen, für die allesamt eine Veröffentlichung in Fachzeitschriften zunächst abgelehnt wurde, die aber später veröffentlicht wurden. Ein großer Teil davon darf heute als ein Klassiker der Ökonomie bezeichnet werden, wie z.B. „The Market for Lemons: Quality, Uncertainty and the Market Mechanism“ von George Akerlof, „A Theory of the Allocation of Time“ von Gary S. Becker und „Increasing Returns, Monopolistic Competition, and International Trade” von Paul Krugman.

Dies alles bedeutet nicht notwendigerweise, dass Arbeiten, die besonders innovativ sind, regelmäßig auf Ablehnung bei Förderern, Herausgebern oder Gutachtern stoßen, weil sie innovativ sind, aber dass dies der Grund oder ein Grund für die Ablehnung eines Manuskriptes sein kann, zeigt der Befund aus Campanarios Studie, nach dem einige dieser später veröffentlichten, meistzitierten Manuskripte abgelehnt wurden, weil Gutachter fanden, dass sie nicht von hinreichender Wichtigkeit seien oder gängigen Vorstellungen widersprächen oder ungewöhnliche Methoden benutzten.

Auch Morton berichtet davon, dass Manuskripte auf Ablehnung stoßen, weil die relativ neuen statistischen Methoden, die die Autoren verwendet hatten, den Gutachtern unbekannt waren oder sie sie nicht vollständig verstanden haben. Morton kommt zu dem Ergebnis, dass

„… for authors to comply with these guidelines [i.e., ,guidelines for reporting statistics in American Physiological Society journals], the initial challenge is to have a team of reviewers who are also willing to accept the unfamiliar. Indeed, the opinions of reviewers who are ill informed about relatively novel statistical methods and recommended reporting practices may have implications for the final editorial decision on the suitability of submitted manuscripts for publication” (Morton 2009: 7).

Dies verweist auf das notwendigerweise vorhandene Problem, dass gerade mit Bezug auf innovative oder methodisch vergleichsweise anspruchsvolle Studien nicht viele Fachkollegen die Offenheit und das Vorstellungsvermögen oder die Kompetenz haben, die sie als „peers“ für diesen Bereich qualifizieren würden. Fachkollegen ohne entsprechende Kompetenz können die Unverständlichkeit eines Manuskriptes für sie vielleicht fälschlich als Ergebnis mangelnder Qualität des Manuskriptes auffassen statt als ein Ergebnis mangelnder eigener Kompetenz.

Darüber, wie Vieles der Wissenschaft dadurch verloren gegangen ist, dass Förderer, Herausgeber oder Gutachter die Originalität und Relevanz für sie ungewöhnlicher Arbeiten nicht erkannten oder diesen Arbeiten wegen ihrer Abweichung vom Gewöhnlichen verständnislos gegenüberstanden, läßt sich – wie Campanario bemerkt – nur spekulieren.

Bis hierhin sollte klar geworden sein, dass der Hinweis darauf, dass eine Veröffentlichung „peer reviewed“ ist, keinesfalls ohne Weiteres als ein Qualitätsmerkmal oder mehr: als Unbedenklichkeitsbescheinigung gelten kann. Wenn

• „peer reviewing“ einer Lotterie gleicht, wenn
• „peer reviewing“ nicht verhindern kann, dass fehlerhafte Manuskripte veröffentlicht werden,
• oder vor allem solche, die das bereits Bekannte rekapitulieren oder bestätigen, und wenn
• „peer reviewing“ Innovationen eher im Weg stehen als befördern,

sind sie dann wenigstens dazu geeignet, den größten Unsinn zu identifizieren und auszusondern, bevor er publiziert wird? Leider nein, wie der nächst Abschnitt zeigen wird.

Derartige Beiträge finden Sie nur bei uns!
ScienceFiles ist ein privates Blog, das u.a. auf Grundlage der Spenden unserer Leser betrieben wird.
Unterstützen Sie unseren Fortbestand als freies Medium.
Vielen Dank!
[wpedon id=66988]

Folgen Sie uns auf TELEGRAM

Bleiben Sie mit uns in Kontakt.
Wenn Sie ScienceFiles abonnieren, erhalten Sie bei jeder Veröffentlichung eine Benachrichtigung in die Mailbox.

ScienceFiles-Shop

Folgen Sie uns auf Telegram.

Anregungen, Hinweise, Kontakt? -> Redaktion @ Sciencefiles.org

Wenn Ihnen gefällt, was Sie bei uns lesen, dann bitten wir Sie, uns zu unterstützen. ScienceFiles lebt weitgehend von Spenden. Helfen Sie uns, ScienceFiles auf eine solide finanzielle Basis zu stellen.

Wir haben drei sichere Spendenmöglichkeiten: