Peer Review: Ein Qualitätssiegel? Mitnichten!

Unter den Kompetenzlosen, die in ihrer Not, Fehlschlüsse aller Art, vor allem aber den Fehlschluss ad auctoritatem einsetzen, um Gefolge für ihre wirren Ideen zu rekrutieren, ist der Ruf “peer reviewed” weit verbreitet. Mit der Kraft von “peer reviewed” sollen Zweifel an Texten zerstreut, Kritik vorgebeugt und eigene Ahnungslosigkeit überdeckt werden. Was Forscher X oder Wissenschaftler Y behauptet, sei richtig, denn der Text, in dem er es behauptet, sei “peer reviewed”. 

Die Kenntnis darüber, was sich hinter “peer reviewed”, dem Mythos der “peer review” – wie es besser heißen würde, verbirgt, steht in einem umkehrt reziproken Verhältnis zur Häufigkeit seiner Verwendung. Je ahnungsloser ein Verwender des Begriffs über dessen Bedeutung ist, desto häufiger und williger verwendet er ihn.

Wir freuen uns vor diesem Hintergrund unseren Lesern einen siebentätigen Lesegenuss ankündigen zu können. 

Dr. habil. Heike Diefenbach hat umfassend aufgearbeitet, was es zu Peer Review zu sagen gibt, herausgekommen ist dabei ein hervorragender Text, bei dessen Lektüre man zwischen Staunen, Heiterkeit und Betroffenheit über das, was der Welt als Gütesiegel der Wissenschaft verkauft werden soll, schwankt. Wir freuen uns, den Text ab dem heutigen Tag als wissenschaftliche Fortsetzungsgeschichte präsentieren zu können, an deren Ende von Peer Review nichts mehr übrig sein wird.

Freuen Sie sich mit uns auf die sieben Teile dieser wissenschaftlichen Bestandsaufnahme:

  • Im ersten Teil, den wir heute präsentieren, legt Dr. Diefenbach die Grundlagen: Was ist die Idee hinter dem Peer Review Verfahren und wie sieht die Praxis aus?
  • Mit dem zweiten Teil beginnt eine Bestandsaufnahme der Forschung zum “Peer Review Verfahren”, in deren Verlauf vom Verfahren “Peer Review” nichts mehr übrig bleiben wird:
  • Die Zusammenfassung (im siebten Teil), die der Bestandsaufnahme folgt, ist – den Ergebnissen geschuldet – der Coup de Grace für die Peer Review.

Und nun wollen wir Sie nicht länger auf die Folter spannen. Es folgt TEIL 1 der De-Mystifizierung eines Humbugs, den Kompetenzlose benötigen, um darüber hinwegzutäuschen, dass sie nicht in der Lage sind, ihr eigenes Urteil zu begründen und mit Argumenten zu verteidigen. Wir werden diesen Post regelmäßig mit Links updaten, so dass Sie ihn als Inhaltsverzeichnis nutzen können.

Und nun viel Spaß und viel Erkenntnis!


“Peer reviewed” – kein Qualitätssiegel!

von Dr. habil. Heike Diefenbach

Im Zusammenhang mit der These vom menschengemachten Klimawandel und neuerdings im Zusammenhang mit Untersuchungen zu Herkunft und Verlauf von Erkrankungen durch den neuen Corona-Virus, der nunmehr von der WHO die Bezeichung SARS-CoV-2 erhalten hat, wird wieder verstärkt bemerkt, dass es sich bei einem Text um einen „peer reviewed“ Text handle oder ein Text nicht „peer-reviewed“ sei. Suggeriert werden soll damit, dass „peer reviewed“ ein Qualitätssiegel sei, d.h. dasjenige, was in Texten steht, die „peer reviewed“ sind, wäre zuverlässig oder zumindest glaubhaft oder zuverlässigerer oder glaubhafter als dasjenige, was in Texten steht, die nicht „peer reviewed“ sind. Tatsächlich hat sich die Formel „peer reviewed“ zu einer „heiligen Kuh“ der Wissenschaftlichkeit entwickelt, wie de Vries (2001: 231) es (in englischer Sprache) ausdrückt, zeigt das Merkmal „peer reviewed“ doch an, dass der Text, der das Merkmal trägt, einem „peer-reviewing“ oder einem Prozess der Begutachtung durch Fachkollegen unterzogen worden ist.

Was genau dieser Prozess, sofern er tatsächlich stattfindet, für einen bestimmten Text beinhaltet hat, ist aber nicht nur den Fachvertretern normalerweise unbekannt, sondern auch und vor allem all denen, die nicht Fachvertreter sind und die im Text dargestellten Erkenntnisse als „Normal“bürger ohne besondere fachliche Kenntnis als wahr und relevant akzeptieren sollen, d.h. glauben sollen, was im Text steht. Insofern ist das Label „peer reviewed“ ein Prototyp des Fehlschlusses ad auctoritatem, bei dem etwas nur deshalb für richtig, zuverlässig oder zumindest glaubhaft gehalten wird, weil es von einer Institution, hier: den Herausgebern von Fachzeitschriften, für „gut“ befunden wurde, die ihrerseits Anspruch auf Zuverlässigkeit oder Glaubhaftigkeit erhebt – und Zuverlässigkeit oder Glaubhaftigkeit von vielen Menschen gewohnheitsmäßig zugesprochen bekommt.

1. „Peer reviewing“: die Idee

Bei einem Text, der „peer reviewed“ ist, ist die Quelle, der der Text seine Zuverlässigkeit oder Glaubwürdigkeit verdanken soll, der Herausgeber bzw. der Herausgeberkreis, der den Text publiziert hat. Dabei wird angenommen, dass der/die Herausgeber ein „peer reviewing“ durchgeführt haben.

„Peer reviewing“ bezeichnet im Kern die Prüfung eines Manuskriptes vor seiner Veröffentlichung durch sogenannte „peers“, d.h. gewöhnlich Fachkollegen, und besonders durch solche Fachkollegen, die über dasselbe Thema oder ein ähnliches Thema gearbeitet haben oder arbeiten wie das, das im Manuskript behandelt wird. Die Annahme dahinter ist, dass solche „peers“ auf der Höhe der Diskussion über das Thema sind, die relevanten Theorien und Daten kennen, die Methoden im Umgang mit Forschung über dieses Thema und speziell mit den Daten, die für das Thema relevant sind, beherrschen und daher die Güte eines Textes beurteilen können, der dieses Thema bearbeitet. „Güte“ soll dabei nicht nur Freiheit von offensichtlichen Fehlern in den Daten oder in der Logik der vorgebrachten Argumentation bedeuten, sondern auch Verständlichkeit, Vollständigkeit der Darstellung vorhergehender Theoriebildung und Datenauswertungen zum Thema u.a.m.

Manuskripte von nicht ausreichender Güte sollen durch die Prüfung durch Fachkollegen als solche identifiziert und von einer Veröffentlichung – zumindest einer Veröffentlichung in der vorliegenden Form – ausgeschlossen werden. Die Idee ist also, dass Manuskripte, die es bis zum Druck oder zur digitalen Veröffentlichung geschafft haben, solche von hoher Güte oder wissenschaflicher Qualität sind, eben weil sie den kritischen Begutachtungsprozess durch Personen mit entsprechender Kompetenz „überlebt“ haben.

Ein „peer reviewing“ wird normalerweise von Herausgebern von wissenschaftlichen Fachzeitschriften (bzw. solchen, die es sein wollen,) verwendet, aber nicht nur von ihnen. Es kann z.B. verwendet werden, wenn es darum geht, zu entscheiden, welche Papiere aus einer Menge bei einem Tagungsveranstalter eingereichter Papiere auf der Tagung vorgetragen werden sollen und welche nicht, oder wenn Herausgeber eines Sammelbandes unter einer Menge eingereichter Beiträge eine bestimmte Anzahl von Beiträgen auswählen müssen, die im Sammelband untergebracht werden kann. In jedem Fall soll das „peer reviewing“ sicherstellen, dass Texte, die ein Herausgeber(-/kreis) in der von ihm herausgegebenen Fachzeitschrift druckt bzw. digital veröffentlicht, oder Vortragspapiere, die auf einer Fachtagung vorgetragen werden, qualitätvolle Arbeiten sind, d.h. bestimmten Ansprüchen gerecht werden.

Die Veröffentlichung möglichst vieler „peer reviewed“ Arbeiten galt früher als das „sine qua non“ wissenschaftlicher Leistung, in einer wissenschaftlichen Welt des „publish or perish“, wie Hojat, Gonnella und Caelleigh (2003: 75) sagen, aber seit etwa der zweiten Hälfte der 1980er-Jahre (s. z.B. Bailar & Patterson 1985; Hargens 1988; Horrobin 1982) und insbesondere seit dem Ende der 1990er-Jahre ist das „peer reviewing“ verstärkt selbst zum Untersuchungsgegenstand gemacht worden, und das vermeintliche Qualitätsmerkmal „peer reviewed“ hat aufgrund der Ergebnisse dieser Untersuchungen stark gelitten. Für das Verständnis der Probleme, die diese Untersuchungen mit Bezug auf das „peer reviewing“ identifiziert haben, ist es wichtig, dass man eine Vorstellung davon hat, wie die Praxis oder korrekt: die Praktiken des „peer reviewing“ aussehen.

2. „Peer reviewing“: die Praxis

Wenn ein Manuskript bei einem Herausgeber(-/kreis) einer Fachzeitschrift mit einem „peer review“-Verfahren zur Veröffentlichung eingereicht wird, dann teilt er den Autoren des Manuskriptes mit, dass das Manuskript eingegangen ist und nunmehr zur Prüfung an „peers“ weitergegeben wird – normalerweise, denn es ist auch möglich, dass Herausgeber aufgrund ihrer ersten Durchsicht eingereichter Manuskripte einige verwerfen, ohne sie überhaupt nach außen, an „peers“, zur Begutachtung weiterzugeben.

Wieviele „peers“ das Manuskript prüfen, bleibt normalerweise unbestimmt. Manche Herausgeber(-/kreise) von Fachzeitschriften geben an, Manuskripte zur Prüfung an mindestens zwei, möglichst drei oder mehr, Fachkollegen zu übergeben, andere schweigen sich diesbezüglich aus. Der/die Herausgeber verschicken dann das zu prüfende Manuskript an „peers“ mit der Bitte um Begutachtung, oder sie schreiben einen Fachkollegen zunächst an, um seine Bereitschaft zu erfragen, als Gutachter allgemein oder für ein spezielles Manuskript tätig zu werden; wenn der Fachkollege seine Bereitschaft erklärt, bekommt er das Manuskript geschickt.

Wenn der Fachkollege das Manuskript erhält, trägt es keine/n Autorennamen mehr, und gewöhnlich erhält er auch einen Hinweis von dem/den Herausgeber/n darauf, dass diejenigen Publikationen aus der Literaturliste im Manuskript entfernt wurden, die von dem Autor bzw. den Autoren des Manuskriptes stammen. Umgekehrt wird dem/den Autoren des Manuskriptes nicht mitgeteilt, welche Fachkollegen es sind, die sein/ihr Manuskript zur Prüfung zugeschickt bekommen haben. Gegenseitige Anonymität oder „double masking“ oder „blinding“ soll sicherstellen, dass die prüfenden Fachkollegen, Gutachter genannt, bei der Prüfung nur das Manuskript prüfen und nichts anderes, d.h. sich nicht von Sympathien oder Antipathien gegenüber den Autoren leiten lassen. Die gegenseitige Anonymität soll auch ausschließen, dass berufsstrategische Erwägungen zum Tragen kommen, z.B. dann, wenn ein Gutachter einen Autor als direkten Konkurrenten um Positionen oder Fördergelder wahrnimmt und er verhindern möchte, dass dieser Autor etwas Neues oder Wichtiges veröffentlicht oder überhaupt einen weiteren Eintrag in seine Veröffentlichungsliste bekommt, oder wenn ein Nachwuchswissenschaftler ein Manuskript zur Prüfung erhält, das von einem „gestandenen“ Fachkollegen verfasst wurde, der für die weitere berufliche Karriere des Nachwuchswissenschaftlers noch wichtig sein könnte, so dass der Nachwuchswissenschaftler sich scheuen könnte, das Manuskript des „gestandenen“ Kollegen so zu kritisieren, wie er das eigentlich für angemessen halten würde.

Es sei hier vorweggenommen, dass Justice et al. eine Studie vorgelegt haben, die gezeigt hat, dass „[m]asking reviewers to author identity as commonly practiced does not improve quality of reviews“ (Justice et al. 1998: 240). Auch van Rooyen et al. (1998: 234) haben in ihrer Untersuchung festgestellt, dass

“[b]linding and unmasking made no editorially significant difference to review quality, reviewers’ recommendations, or time taken to review. Other considerations should guide decisions as to the form of peer review adopted by a journal, and improvements in the quality of peer review should be sought via other means”.

Dies stimmt mit den Befunden von Godlee, Gale und Martyn (1998: 237) überein:

“Neither blinding reviewers to the authors and origin of the paper nor requiring them to sign their reports had any effect on rate of detection of errors. Such measures are unlikely to improve the quality of peer review reports”, während Isenberg, Sanchez und Zafran (2009: 881) aus ihrer Studie berichten, dass immerhin „[d]ouble-masking may [!] improve the quality of biomedical publishing or at least reduce reviewer bias for effectively masked manuscripts”.

Ich habe es in meiner Funktion als Gutachterin für verschiedene deutsch- oder englischsprachige Fachzeitschriften sowie die Deutsche Forschungsgemeinschaft und andere Forschungsförderer immer so gehalten, dass ich dem/den Herausgeber/n gegenüber erklärt habe, dass ich keinen Wert auf meine Anonymität lege, weil ich glaube, dass ein direkter, offener Austausch deutlich nutzenbringender ist als ein anonymisiertes feedback in „Einbahnstraßen“-Manier, aber ich weiß von keinem Fall, in dem man meinem Angebot entsprochen hätte, weder in deutsch- noch in englischsprachigen Fachzeitschriften.

Gewöhnlich haben „peers“ einige Wochen Zeit, um das Manuskript zu prüfen. Bei manchen Fachzeitschriften kann die Prüfung bis heute mehr oder weniger formlos erfolgen, und tatsächlich war das in vergangenen Jahrzehnten die Regel. In den letzten Jahren haben aber immer mehr Fachzeitschriften die Notwendigkeit erkannt, „peers“ für die Prüfung der Manuskripte Kriterien vorzugeben, auf die die „peers“ zumindest kurz schriftlich eingehen sollen. Solche Kriterien können u.a. sein: „Relevanz der Forschung“, „Neuheitswert der Forschung“, „Hinreichende Aufarbeitung von Vorgängerforschung“, „Stringenz der Argumentation“. Immer werden „peers“ um eine Empfehlung darüber gebeten, ob das Manuskript in dieser Form bzw. mit kleineren Änderungen in der Fachzeitschrift veröffentlicht werden soll, ob es im Prinzip in der Fachzeitschrift veröffentlicht werden soll, aber größere Überarbeitungen erfordert, oder ob es nicht in der Fachzeitschrift veröffentlicht werden soll bzw. vom „peer“ als nicht zur Veröffentlichung in der Fachzeitschrift geeignet eingestuft wird.

„Peers“ verfassen ihr Gutachten und schicken es an den/die Herausgeber, die die Gutachten idealerweise lesen und die Empfehlungen der Gutachter zur Grundlage ihrer Entscheidung darüber machen, ob sie das in Frage stehende Manuskript veröffentlichen wollen oder nicht, und falls ja, ob sie sich Änderungen vom Autor/von den Autoren wünschen oder sie gar zur Bedingung für die Veröffentlichung machen wollen oder nicht. Herausgeber sind nicht an die Empfehlungen der Gutachter gebunden. Es liegt in ihrem eigenen Ermessen, ob sie den Empfehlungen in welcher Weise folgen wollen. Wenn sich Herausgeber über die Empfehlungen von Gutachtern hinwegsetzen, dann häufig in dem Fall, dass mehrere Gutachter am Prozess beteiligt waren und widersprüchliche Empfehlungen gegeben haben, aber sie können sich auch in anderen Fällen über Empfehlungen von Gutachtern hinwegsetzen und machen von dieser Möglichkeit auch Gebrauch.

Wenn in einem Herausgeberkreis über die Veröffentlichung eines Manuskriptes entschieden werden muss, dann kann das im Rahmen sogenannter Herausgebersitzungen oder sonstwie als gemeinsame Entscheidung der Herausgeber passieren, oder einem Herausgeber wird die (Haupt-/)Zuständigkeit für bestimmte Manuskripte zugeteilt.

Wie genau Herausgeber sich über die Veröffentlichung oder Nicht-Veröffentlichung eines Manuskriptes verständigen, welchen Stellenwert Gutachten von Fachkollegen tatsächlich haben, ob der Stellenwert der Gutachten bestimmter Fachkollegen bei bestimmten Herausgebern höher ist als der anderer, wie ggf. der Diskussionsprozess zwischen Herausgebern aussieht, dies alles ist sehr weitgehend unbekannt.

Unbekannt bleibt in aller Regel auch, wie Herausgeber „peers“ auswählen. Die Vermutung, dass die Auswahl von „peers“ in Entsprechung zum genauen Thema des Manuskriptes erfolgt, also als tatsächliche „peers“ im engen Sinn, und sonst nichts, ist plausibel, mag aber ein rationalistisches Vorurteil sein. Man kann sich viele Gründe, vor allem „netzwerk“strategische, dafür vorstellen, warum Herausgeber bestimmten Fachkollegen Manuskripte bestimmter Autoren zur Begutachtung vorlegen oder sie bestimmten Gutachten ggf. mehr Gewicht beimessen als anderen.

„Peers“ wird gewöhnlich nicht offiziell mitgeteilt, zu welcher Entscheidung der/die Herausgeber gekommen sind, aber natürlich kann ein „peer“ diesbezüglich später seine eigenen Schlüsse ziehen, wenn er beobachtet, ob das Manuskript, das er geprüft hat, in der Fachzeitschrift veröffentlicht wurde oder nicht (oder woanders veröffentlicht wurde). Ich weiß auch von „peer reviewing“-Verfahren, bei denen die „peers“ der/die Herausgeber selbst war/waren, also keine Weitergabe des Manuskriptes an Fachkollegen außerhalb des Herausgeberkreises stattgefunden hat.

Schon diese kurze Beschreibung der Praxis sollte deutlich gemacht haben, dass es sehr einfältig ist, von „dem“ „peer reviewing“-Verfahren zu sprechen. In der Realität gibt es viele verschiedene „peer reviewing“-Verfahren, die sich von Zeitschrift zu Zeitschrift und von Fall zu Fall voneinander unterscheiden können. Wenn man weiß, dass ein Text „peer reviewed“ ist, dann weiß man daher ziemlich wenig darüber, wie und von wem und woraufhin der Text tatsächlich wie gut geprüft wurde.

Selbst dann, wenn ein mit bester Absicht und optimal durchgeführtes „peer reviewing“-Verfahren durchgefüht wurde, hängt die Güte des Ergebnisses des Verfahrens davon ab, wie kompetent, aufmerksam und aufrichtig die „peers“ und die Herausgeber selbst sind. Aber „Who Reviews the Reviewers?“ (Baxt et al. 1998).




Derartige Beiträge finden Sie nur bei uns!
ScienceFiles ist ein privates Blog, das u.a. auf Grundlage der Spenden unserer Leser betrieben wird.
Unterstützen Sie unseren Fortbestand als freies Medium.
Vielen Dank!




Folgen Sie uns auf TELEGRAM


Bleiben Sie mit uns in Kontakt.
Wenn Sie ScienceFiles abonnieren, erhalten Sie bei jeder Veröffentlichung eine Benachrichtigung in die Mailbox.

ScienceFiles-Abo



ScienceFiles-Shop


Print Friendly, PDF & Email
Advertisements
6 Comments

Bitte keine Beleidigungen, keine wilden Behauptungen und keine strafbaren Inhalte ... Wir glauben noch an die Vernunft!

This site uses Akismet to reduce spam. Learn how your comment data is processed.

Translate »

Wir benötigen Sie!

ScienceFiles, das sind:


  • neueste wissenschaftliche Forschungsergebnisse;
  • aktuelle Informationen;
  • entblößte Junk Science ;
  • entlarvte öffentlich-rechtliche Fake News;
  • Widerstand gegen die Politisierung des Privaten und vieles mehr;

Seit 7 Jahren sind wir unserer kritisch-rationalen Agenda verpflichtet. Seit 7 Jahren wachsen wir: Mehr Leser, mehr Beiträge, mehr Aufwand.
Ohne Ihre Unterstützung wäre dieses Wachstum nicht möglich, denn: Ein Tag ScienceFiles-Betrieb kostet uns zwischen 250 Euro und 350 Euro. Ihre Spende trägt dazu bei, dass wir ScienceFiles weiter betreiben können.


ScienceFiles-Spendenkonto

Vielen Dank!

Holler Box