Seit der Erstveröffentlichung des CHE Hochschulrankings im Jahr 1998 sind Forschungsindikatoren wesentlicher Bestandteil dieses Informationssystems. Ein Jahr vor dem ersten Erscheinen des CHE ForschungsRankings im Jahr 2002 wurden zum ersten Mal Forschungsindikatoren für die Geisteswissenschaften im Rahmen des Hochschulrankings veröffentlicht. Hier wurde den Daten seitens der Hochschulen wenig Aufmerksamkeit entgegengebracht, wohingegen die gleichen Daten bei der detaillierten Aufbereitung und Veröffentlichung im CHE ForschungsRanking vielfältige Diskussion auslösten.
Das CHE ForschungsRanking
Das CHE-ForschungsRanking umfasst bislang 16 Fächer aus den Natur-, Geistes- und Sozialwissenschaften.1 Es weist keine einzelnen Rangplätze aus. Stattdessen werden für einzelne Indikatoren Spitzengruppen ermittelt. Es basiert auf dem umfangreichen Datenmaterial, das durch die jährlichen Untersuchungen zum CHE-HochschulRanking zur Verfügung steht.2 Das Forschungsranking konzentriert sich dabei ausschließlich auf die universitäre Forschung. Die Aktivitäten der Universitäten auf diesem Gebiet sollen bundesweit transparent gemacht werden.
Zur Ermittlung der wissenschaftlichen Aktivität dienen jeweils fachspezifisch die verausgabten Drittmittel sowie die Anzahl der Promotionen, Publikationen, Zitationen und Patentanmeldungen bzw. Erfindungen. Als zusätzliche Information wird die durch eine Professorenbefragung ermittelte Reputation der Universitäten in den untersuchten Fachgebieten dargestellt. Diese Information wird allerdings nicht für die Ermittlung der Gruppen forschungsstarker Einrichtungen je Fach herangezogen.
Neben den "Pro-Kopf"-Forschungsindikatoren (zum Beispiel Drittmittel pro Wissenschaftler), die auch im Hochschulranking ausgewiesen werden, werden im Forschungsranking auch die Absolutwerte (zum Beispiel Drittmittelsumme) mit berücksichtigt. Durch dieses Vorgehen werden sowohl die reine Menge an Forschungsoutput als auch die Effizienz erfasst.
Die Ergebnisse werden sowohl detailliert als auch in aggregierter Form dargestellt: Neben den Ranglisten zu den einzelnen Indikatoren werden fachbezogene Rankings erstellt. Das letzte Forschungsranking zum Fach Geschichte wurde im Dezember 2008 bezogen auf das Untersuchungsjahr 2007 veröffentlicht.3
Dabei verfolgt das Forschungsranking konsequent die CHE-Ranking-Grundsätze, keine Aggregation einzelner Indikatoren bzw. eines Gesamtwertes über eine Universität insgesamt, sondern fachbezogene Darstellung der Ergebnisse, kein gewichteter Gesamtwert für die Forschungsleistung einer Fakultät, sondern Betrachtung einzelner Indikatoren, keine einzelnen Rangplätze, sondern Profile forschungsstarker Universitäten.
Qualitätssicherung in CHE ForschungsRanking
Um die Aussagekraft des Rankings sicherzustellen, bedarf es Maßnahmen zur Qualitätssicherung der eingesetzten Methoden und der erhobenen Daten. Zur Sicherung der Qualität werden vier Schlüsselfaktoren umgesetzt:
- Fachliche Impulse. Das Einholen fachlichen Rats aus der wissenschaftlichen Community. Ein fachbezogenes Ranking benötigt Impulse und Rückmeldungen zu Daten und Methoden aus den jeweiligen fachlichen Kontexten.
- Datenprüfung. Notwendig ist eine Prüfung der Plausibilität und Qualität von Daten, auch im Hinblick auf Datenmanipulationen.
- Klare Spielregeln. Bei den Befragungen wird darauf geachtet, dass qualitätssichernde Verfahren eingehalten werden.
- Verfahrenstransparenz. Erst eine Offenlegung der Methoden ermöglicht eine kritische Auseinandersetzung mit den Verfahren.
Publikationsanalysen im CHE ForschungsRanking
Die quantitative Bewertung von Forschungsleistungen über Publikationen beruht auf einem grundlegenden Prinzip des wissenschaftlichen Kommunikationssystems: Forschungsergebnisse werden für die wissenschaftliche Fachgemeinschaft erst dann relevant und formal zurechenbar, wenn sie nach außen dokumentiert werden. Erst dann können sie öffentlich diskutiert und überprüft werden. Dabei kommt der Veröffentlichung in international führenden Fachzeitschriften die größte Bedeutung zu. Sammelbände, Konferenzbeiträge, Monographien oder elektronische Medien spielen abhängig von der Disziplin eine unterschiedliche, aber fast immer untergeordnete Rolle. Im Laufe der letzten Jahrzehnte sind große Literaturdatenbanken entstanden, in denen diese wissenschaftlichen Veröffentlichungen abgespeichert sind und mit geeigneter Retrieval-Software wieder aufgefunden werden können. Mit bibliometrischen Analysen lassen sich daher aus den Datenbanken Indikatoren für die Sichtbarkeit und den Rezeptionserfolg wissenschaftlicher Forschung gewinnen.
Aufgrund von Unterschieden in Publikations- und Zitationsverhalten und zum Teil disziplinspezifischen Datenbanken wurden für die untersuchten Fächer jeweils unterschiedliche Analysen durchgeführt. Aus diesem Grund ist auch ein fachübergreifender Vergleich der Kennwerte nicht möglich.
Grundsätzlich handelt es sich bei den ermittelten Indikatoren um Aktivitätsindikatoren, die die Teilnahme an der fachwissenschaftlichen Forschungskommunikation indizieren und – soweit möglich – um Qualitätsindikatoren, die die Resonanz der Publikationen in der Fachöffentlichkeit messen.
Basis für die bibliometrischen Analysen sind die von den Fachbereichen und Fakultäten gelieferten Namenslisten der Professoren und promovierten wissenschaftlichen Mitarbeiter. Diese werden in der Vorerhebung zur Fachbereichsbefragung mit erfasst und der Fragebogen enthält detaillierte Angaben zur Eingrenzung der zu nennenden Personengruppe. Die Listen werden im CHE geprüft, eventuell werden die Fachbereiche um Ergänzung gebeten. Doppelt genannte Personen werden recherchiert und zugeordnet.
Die personenbezogene Abfrage, die die Grundlage bibliometrischer Analysen in den CHE Rankings bildet, bedeutet für die Fachbereiche wie auch für das CHE einen deutlich höheren Aufwand als die sonst häufig verwendete institutionelle Abfrage. Dennoch zeichnen die personenbezogene Abfrage einige Charakteristika aus, die der Anlage des CHE Rankings entgegenkommen. Zum einen zeigt sich, wie ein Fachbereich für die nähere Zukunft aufgestellt ist, Publikationen der aktuell dort forschenden Wissenschaftler werden auch berücksichtigt, wenn sie an einer anderen Institution entstanden sind. Die institutionelle Abfrage dagegen zeichnet ein Bild der Vergangenheit, sie zählt, was in den letzten Jahren am Fachbereich publiziert wurde. Weiter ergeben sich bei der personenbezogenen Abfrage scharf abgegrenzte Bezugszahlen für Pro-Kopf-Größen, bei der institutionellen Abfrage muss die Zahl potentieller Autoren geschätzt werden. Werden interdisziplinäre Datenbanken wie Thompson Scientific verwendet, erfordert die institutionelle Abfrage zusätzlich eine Einschränkung der auszuwertenden Zeitschriften, eine Charakterisierung des Fachs also. Bei personenbezogener Abfrage hingegen werden alle in der Datenbank geführten Publikationen erfasst, auch beispielsweise die des Mathematikers in Astronomie-Fachzeitschriften.
Die einzubeziehenden Publikationen werden durch Abfragen in Literaturdatenbanken ermittelt, die auf Vorschlägen der jeweiligen Fachvertreter basieren. Wichtig ist, für jeden Fachbereich vergleichbare Auszüge des Publikations-Outputs zu erhalten. Dieser Auszug sollte zudem die wesentlichen Publikationstypen des Faches abdecken. Analysen in den Datenbanken von Thompson Scientific werden durch das Forschungszentrum Jülich durchgeführt, welches langjährige Expertise im Umgang mit dieser Datenbank, speziell im Hinblick auf spezifische Probleme wie Unklarheiten der institutionellen Bezeichnungen oder Namensschreibungen, hat. Für Fächer, bei denen die Verwendung dieser Datenbank unzureichend erscheint, werden zumeist national orientierte Datenbanken herangezogen. Die Abdeckung wird mithilfe der genannten Namen geprüft, die Zusammensetzung der Datenbank mit dem Publikationsverhalten im Fach verglichen. Bei Zweifeln an der Datenqualität sind auch Pilotstudien oder Einzelvergleiche anhand von Publikationslisten durchgeführt worden. Die Eignung der Datenbanken wird in jedem Zyklus neu diskutiert und falls nötig geprüft.
Mitwirkung ist unerlässlich
Insbesondere in den Geisteswissenschaften war und ist eine Anpassung der Untersuchungsmethodik an die Bedürfnisse der Fächer unerlässlich. Es sollen keinesfalls Bewertungskriterien, die für andere Fächer entwickelt wurden und dort gut funktionieren, „übergestülpt“ werden. Wo findet Kommunikation im Fach über Forschung statt? Wie lässt sich diese Aktivität geeignet abbilden? Diese Fragen lassen sich nur in Zusammenarbeit mit Fachvertretern klären.
Im Fach Geschichte fand bislang eine rege Mitarbeit an der Gestaltung des Rankings und seiner Indikatoren statt. Beratende Gespräche im Zuge der Rankingvorarbeiten sowie die Information der Mitglieder des Verbandes der Historiker und Historikerinnen und die Gründung einer Arbeitsgruppe zum Thema Methodik von Forschungsbewertung waren vielfältige Aktivitäten, die eine möglichst gute Anpassung der Methodik an die Bedürfnisse des Fach möglich machen sollten.
Denn ohne Mitwirkung und Rückmeldungen aus den Fächern ist ein angemessenes Ranking kaum zu leisten.
~~~~
Sonja Berghoff studierte Statistik an der Universität Dortmund. Dort war sie auch vier Jahre lang Geschäftsführerin des Sonderforschungsbereichs "Komplexitätsreduktion in multivariaten Datenstrukturen". Seit 2000 ist sie Mitarbeiterin am Centrum für Hochschulentwicklung CHE und besonders an der Durchführung des Hochschulrankings beteiligt.
Anmerkungen:
1 Die Überblicksseite zu den CHE-ForschungsRankings findet sich unter der URL: <http://www.che.de/cms/?getObject=78&getLang=deg=de> (08.06.2009).
2 Die Ergebnisse des CHE-HochschulRankings sind über ZEIT-online zugänglich unter der URL: <http://www.das-ranking.de/> (08.06.2009).
3 Zugänglich unter der URL: <http://www.che.de/downloads/CHE_Forschungsranking_Geschichte_2007pdf_894.pdf> (08.06.2009).