Wie viel (In-)Transparenz ist notwendig? Peer Review Revisited - Begutachtungspraktiken in international vergleichender Perspektive

Wie viel (In-)Transparenz ist notwendig? Peer Review Revisited - Begutachtungspraktiken in international vergleichender Perspektive

Organisatoren
Institut für Forschungsinformation und Qualitätssicherung (IFQ)
Ort
Berlin
Land
Deutschland
Vom - Bis
16.05.2006 -
Von
Meike Siekermann, Institut für Forschungsinformation und Qualitätssicherung, Bonn

Wissenschaft lebt von Öffentlichkeit, Transparenz und Kritik. In den internen Begutachtungsprozessen gilt dies jedoch nur eingeschränkt. Anonyme Gutachter urteilen und ihre Begründungen sind den Beurteilten gar nicht oder nur in Ansätzen zugänglich.

Ist Intransparenz im Begutachtungssystem sinnvoll? Ist mehr Transparenz notwendig oder eventuell schädlich? Mit diesen Fragen beschäftigte sich eine Tagung des Instituts für Forschungsinformation und Qualitätssicherung (IFQ) am 16. Mai im Wissenschaftszentrum Berlin für Sozialforschung. Im Mittelpunkt der Veranstaltung stand die Bedeutung von transparenten Verfahren in der Begutachtung von Forschungsanträgen und von Manuskripten für wissenschaftliche Zeitschriften.

Das Peer Review-Verfahren hat über den Leistungsindikator „eingeworbene Drittmittel“ in den letzten Jahren an Gewicht gewonnen. Bei - diskutierten oder existierenden -leistungsorientierten Mittelverteilungsmodellen erhalten diejenigen Hochschulen höhere Zuweisungen, die höhere Drittmittel eingeworben haben. Einen weiteren zentralen Stellenwert gewinnt das Einwerben von Drittmitteln und damit auch das Peer Review-Verfahren durch das "ranken" von Drittmitteleinwerbungen. Rankings, wie das DFG-Förderranking oder das CHE-Ranking, führen hierfür einen eigenständigen Indikator auf.

Friedhelm Neidhardt verwies in seinem Eröffnungsvortrag darauf, dass sich das Peer-Review-Verfahren deshalb stärker als bisher an seiner Fairness, Reliabilität und Validität messen lassen müsste. Er wies auf drei weitere Fehlerquellen hin, die, seiner Meinung nach, bisher in der Diskussion zu wenig Berücksichtigung gefunden haben: Gutachterkompetenz, Sorgfalt und Unbefangenheit. Diese drei Faktoren seien notwendige, jedoch keine hinreichenden Voraussetzungen für Gutachter. Bei dem Faktor Kompetenz gelte: Je höher dieser ist, desto größer ist die Gefahr der Befangenheit aufgrund inhaltlicher Nähe. Bei zu großer Distanz wiederum entstehe das Problem, dass die Anträge für die Gutachter inhaltlich „uninteressant“ werden und die intrinsische Motivation abnimmt. Das wiederum habe Auswirkungen auf den zweiten Faktor: die Sorgfalt. Neidhardt wies an diesem Punkt darauf hin, dass die Begutachtung nach wie vor eine ehrenamtliche Tätigkeit sei. Er stellte zur Diskussion, inwiefern Gutachter für diese Tätigkeit entlohnt werden sollten: sei es zum Beispiel durch Bezahlung oder durch Deputatsreduktion. Der dritte Faktor „Unbefangenheit“ wurde bisher vor allem aus Sicht der Antragsteller unter dem Stichwort „Ideenklau“ thematisiert. Neidhardt stellte die These auf, dass Befangenheit sich meist nicht zu Ungunsten, sondern zu Gunsten der Antragsteller auswirke (Stichwort: Kollegenrabatt). Das wiederum führe zu einem Qualitätsverlust in der Forschung, weil zu viel Mittelmaß gefördert werde.

Hinsichtlich der Frage nach einem für das Wissenschaftssystem verträglichen Maß an Transparenz bzw. Intransparenz vertrat er die These, dass mit einem Mehr an Transparenz auch die Gefahr steige, dass die Gutachter ihre Urteile abwägen und im Sinne einer guten, eigenen PR urteilten. Neidhardt hielt es demgegenüber für entscheidend, dass die Binnenkontrolle funktioniere. Peers seien unbedingt notwendig, allerdings sollte es eine klare Rollendifferenzierung geben: Gutachter sollten nicht die Entscheider sein, sondern sie sollten die Kriterien für eine Entscheidung liefern. Für die Förderentscheidung wiederum sollten Experten zuständig sein, die keine Peers sind, wie z.B. Anwender oder Wissenschaftler, die nicht aus dem betreffenden Fach stammen.

Die Deutsche Forschungsgemeinschaft (DFG) hat vor zwei Jahren eine Doppelstruktur mit der Einrichtung der Fachkollegiaten eingeführt. Wie der Begutachtungsprozess in der DFG im Einzelnen funktioniert, erläuterte Robert-Paul Königs (DFG): Im so genannten Einzelverfahren wurden im Jahr 2005 624 Mio. Euro vergeben. Der größere Teil (754 Mio. Euro) floss dagegen in Koordinierte Verfahren, wie zum Beispiel in Stipendien von Graduiertenkollegs oder Sonderforschungsbereiche. Im Einzelverfahren werden in der Regel zu jedem Antrag zwei Gutachter um eine Stellungnahme gebeten. Die insgesamt 48 Fachkollegien bestehend aus 577 von ihren Communities gewählten Vertretern haben Einblick in den Antrag und die angeforderten Gutachten. Sie prüfen die gesamten Unterlagen und formulieren einen Entscheidungsvorschlag für den DFG-Hauptausschuss. Dieser fällt im Anschluss die endgültige Förderentscheidung. Das heißt, intern besteht ein hohes Maß an Transparenz. Für den Antragsteller ist der Prozess der Begutachtung und Entscheidung nur insofern einsehbar wie ihm anonymisierte Teile der Gutachten mitgeteilt werden. Ein höheres Maß an Transparenz weist die Begutachtung in Koordinierten Verfahren auf. Die Auswahl der Gutachtergruppe erfolgt über eine öffentlich geführte Diskussion. Der Begutachtungsprozess und die Entscheidung erfolgt wiederum vertraulich. Dem Antragsteller werden mit dem Entscheidungsschreiben, wie auch schon im Einzelverfahren, anonymisierte Gutachterhinweise mitgeteilt.

Martin Reinhardt und Daniel Sirtes von der Universität Basel versuchten eine Antwort auf die Frage „Wie viel Intransparenz ist für Entscheidungen über exzellente Wissenschaft notwendig?“ zu geben und stellten positive und negative Transparenzszenarien vor. Sie formulierten die These, dass die Abschaffung von Intransparenzen die Entscheidungsfähigkeit reduziere. Verfahren seien anhand ihrer Validität zu beurteilen, welche sich am Erfolg der bewilligten Forschung zeige. Sie betonten, dass transparente Verfahren nicht zwingend valide sein müssten, sowie intransparente Verfahren nicht zwingend invalide seien.

Auf die Frage, wie viel Transparenz europäischen Förderorganisationen zulassen, gingen Markus Röthlisberger vom Schweizerischen Nationalfons (SNF), Jacob Kristoffer Hansen von der Danish Research Agency und Hans-Eckhardt Hagen von der Royal Society ein. Eine Besonderheit am Verfahren des Schweizerischen Nationalfonds stellt das so genannte Rekursverfahren dar. Röthlisberger erläuterte, dass ein Förderantrag je nach Fach einem Referenten im SNF zugeteilt wird und dieser zwei Wissenschaftler zur Begutachtung auswählt. Zwei Drittel der Expertisen kommen aus dem Ausland. Die Gewichtung der externen Expertisen für den Förderentscheid ist Sache des Referenten bzw. des Präsidiums des Nationalen Forschungsrats. Antragsteller haben die Möglichkeit dem SNF Experten vorzuschlagen oder solche auszuschließen. Ist die Entscheidung über eine Förderung gefallen, bekommen die Antragsteller anonymisierte Auszüge aus den Gutachten zugesandt. Gegen Förderentscheide des SNF kann bei der Eidgenossischen Rekurskommission für Forschungsförderung Beschwerde eingereicht werden. Im Rekursfall enthält der Rekurrierende Einsicht in das anonymisierte Evaluationsdossier. Zu 3167 eingereichten Anträgen im Jahr 2004 sind 14 Rekurse eingereicht worden, davon wurde lediglich einer von der Rekursstelle positiv beurteilt und an den SNF zwecks erneuter Prüfung zurückgewiesen.

Das höchste Maß an Transparenz weist das Dänische System auf. Hier sind dem Antragsteller sowohl die Gutachternamen, als auch die Gutachten bekannt. Im Gegensatz zum Umfang des Antragsaufkommens der DFG von ca. 15.000 Anträgen jährlich ist der Umfang der eingehenden Anträge in Dänemark mit einem jährlichen Aufkommen von 3000 deutlich geringer. Allerdings werden lediglich 17 Prozent der Anträge positiv beschieden. Bei der DFG sind es im Gegensatz dazu rund 46 Prozent. In Dänemark werden für jeden Antrag zwei Gutachter ausgewählt, über deren Identität die Antragsteller in Kenntnis gesetzt werden. Der Antragsteller hat die Möglichkeit auf die Bewertung der Peers zu reagieren bevor der Council eine Entscheidung trifft. Bei negativ beschiedenen Anträgen, muss der Gutachter konkrete Gründe angeben, die er bei Nachfrage ausführlich zu erläutern hat. Dieser hohe Aufwand für die Gutachter bringt einen großen Vorteil auf Seiten der Antragsteller mit sich: sie können ihre Anträge überarbeiten und neu einreichen. Überarbeitete Anträge haben hohe Erfolgschancen bei der nächsten Begutachtung positiv beurteilt zu werden. Jacob Kristoffer Hansen sah den klaren Vorteil des Systems in der hohen Transparenz. Nachteile seien unter anderem, dass rund 60 Prozent der angefragten Experten eine Gutachtertätigkeit ablehnten, was gegebenenfalls auch auf die Bekanntgaben der Identität zurückzuführen sei.

Hans-Eckhardt Hagen stellte das Peer Review-System an der Royal Society vor. Vor rund 300 Jahren entstand aus informellen Treffen hochrangiger Männer der britischen Gesellschaft zwischen 1660 und 1663 die Londoner „Royal Society“. „Peer“ hieß in seiner ursprünglichen Bedeutung „Ehrenbürger“ oder „hoher Adeliger“. Die Herausbildung des Peer Review geht auf die Gründung der Royal Society und ihres Journals, der Philosophical Transactions zurück. Hagen stellte die Tradition, die allgemeinen Strukturen und die Aufgaben der Royal Society vor und berichtete über die dortige Forschungsförderung.

Bei der Einreichung von Manuskripten für Zeitschriften muss über bereits vorhandene Forschungsergebnisse und deren Richtigkeit und Relevanz geurteilt werden. Peter Stern gab Einblicke in das Peer-Review-Verfahren der Zeitschrift „Science“. Hier werden generell zwei Gutachter kontaktiert und Kollegen zur Entscheidungsfindung hinzugezogen, die Experten auf dem betreffenden Wissenschaftsfeld sind. Allerdings bleibt auch hier der Begutachtungsprozess für Außenstehende intransparent.

Dass auch Peer-Review-Verfahren mit einem hohen Grad an Transparenz erfolgreich funktionieren, verdeutlichte Ulrich Pöschl vom Max-Planck-Institut für Chemie in Mainz, der seit fünf Jahren das Open Access Journal „Atmospheric Chemistry and Physics“ mitherausgibt. Dort findet ein zweistufiger Peer-Review-Prozess statt. Zum einen wird der Review-Prozess in einem Diskussionsforum im Internet durchgeführt. Die Kommentare werden öffentlich zugänglich, interaktiv publiziert, wobei die betreffenden Gutachter selbst entscheiden können, ob sie ihren Namen nennen möchten. Die Autoren haben wiederum die Möglichkeit ebenfalls öffentlich darauf zu reagieren. Zum anderen wird das Manuskript an ausgewählte Gutachter versendet und genauso wie im traditionellen Verfahren von diesen in einem anonymen Prozess begutachtet. Dies garantiert den klassischen Peer Review-Prozess zuzüglich einer öffentlichen Diskussion mit einem hohen Maß an Transparenz. Das Konzept ist erfolgreich: die Artikel werden genauso oft zitiert wie die vergleichbarer Zeitschriften mit konventionellem Begutachtungsprozess. Im Jahr 2005 betrug der Journal Impact Faktor 3,5. Das ist der höchste Wert von allen Journalen in der Kategorie „Meteorology & Atmospheric Sciences“.

In den Diskussionen um die Frage der Transparenz wurde darauf hingewiesen, dass die Anonymität die Unabhängigkeit der Urteilsbildung von Gutachtern stabilisiere. Im Schutz der Anonymität könnten Schwächen des Antrags ohne die Furcht vor Konsequenzen ausgesprochen werden. Das heißt, der Schutz der Gutachter durch die Anonymität macht es möglich, frei von etwaigen Rücksichten beurteilen zu können. Auf der anderen Seite erhöhe die Aufhebung der Anonymität die Professionalisierung und mache einen öffentlichen, wissenschaftlichen Meinungsstreit möglich. Durch die öffentliche Einsicht in Gutachten sei auch damit zu rechnen, dass sich die Qualität von Gutachten verbessere. In jedem Fall könnten Lernprozesse einsetzen, die es dem Antragsteller möglich machen aus der Erfahrung abgelehnter Anträge zu lernen.

Die Diskussion der Frage, wie viel Intransparenz notwendig ist, machte deutlich, dass in unterschiedlichen Bewertungskontexten auch unterschiedliche Antworten erfolgen. Die Tagung hat, nicht zuletzt durch die große Anzahl an Teilnehmern gezeigt, dass ein großer Diskussions- und Informationsbedarf besteht. Die Veranstaltung konnte wichtige Impulse und Anregungen für weitere Diskussionen in diesem Bereich geben. Das IFQ wird sich dem Thema des Gutachterwesens zukünftig intensiver widmen.
Weitere Informationen zur Tagung, den Teilnehmern, sowie die PDF-Präsentationen finden Sie zum Download unter:
http://www.forschungsinfo.de/Archiv/Peer_Review_05_2006/tagung_peerreview.html

http://www.forschungsinfo.de/Archiv/Peer_Review_05_2006/tagung_peerreview.html
Redaktion
Veröffentlicht am
Klassifikation
Weitere Informationen
Land Veranstaltung
Sprache(n) der Konferenz
Deutsch
Sprache des Berichts