Wie aussagekräftig ist der Impact Factor?

?

Zahlen wie der Impact Factor, die sich mittels statistischer Auswertung von Zitaten in der wissenschaftlichen Literatur berechnen lassen, werden immer häufiger eingesetzt, um Forschungsleistungen zu bewerten. Aber sind diese Kennzahlen wirklich die besten Indikatoren zur Messung wissenschaftlicher Qualität?

Drei internationale mathematische Organisationen haben einen Bericht mit dem Titel „Citation Statistics“ herausgegeben, der sich mit dieser Frage beschäftigt. Der Report, geschrieben aus der Sicht von Statistikern und Mathematikern, gibt Aufschluss über Bewertungsmethoden wie den Impact Factor, den h-Index und verwandte Größen und mahnt, diesen Zahlen nicht vorbehaltlos zu vertrauen. Ihre vermeintliche Genauigkeit, Objektivität und Einfachheit wird oft gelobt, doch der Glaube daran ist unbegründet.

Wichtige Erkenntnisse des Berichts sind:

• Statistiken sind nicht genauer als andere Methoden, wenn sie unsachgemäß erstellt werden; Statistiken können in die Irre führen, wenn sie falsch benutzt oder falsch verstanden werden.
• Die Objektivität von Zitaten ist illusorisch, da die Bedeutung von Zitation nicht richtig verstanden ist. Häufig haben Zitate nichts mit dem zu tun, was mit „Impact“ gemeint ist.
• Die Reduzierung der Bewertung von Forschungsleistungen auf eine einzige Zahl ist verführerisch einfach, das kann jedoch zu einem sehr oberflächlichen Verständnis von etwas so kompliziertem wie Forschung führen. Zahlen sind nicht von Natur aus sorgfältiger Beurteilung überlegen.

Der Bericht wirbt für eine vernünftige Nutzung von Zitationsstatistiken bei der Bewertung von Forschung und weist auf häufige falsche Anwendungen hin. Die Autoren erkennen an, dass möglichst einfache und praktisch handhabbare Verfahren Teil von Bewertungsprozessen sein müssen und dass dabei natürlich auch Zitate zu berücksichtigen sind. Sie warnen jedoch davor, sich dabei zu stark auf den Impact Factor und verwandte Zahlen zu verlassen, da diese nur einen sehr eingeschränkten Rückschluss auf die Qualität von Forschung erlauben. Forschung ist zu wichtig, um sie nur mit einem einzigen groben Werkzeug zu messen.

Der Bericht „Citation Statistics“ wurde von der International Mathematical Union (IMU) gemeinsam mit dem International Council for Industrial and Applied Mathematics (ICIAM) und dem Institute of Mathematical Statistics (IMS) in Auftrag gegeben. Er stützt sich auf umfangreiche Literatur über die Verwendung von Zitationsdaten zur Bewertung von Forschungsleistungen, untersucht insbesondere den Impact Factor, den h-Index und dessen verschiedene Varianten und verwertet Berichte von Mathematikern und anderen Wissenschaftlern aus aller Welt über die Verwendung dieser Indikatoren in der Praxis.

Quelle: DFG Forschungszentrum MATHEON

Weitere Infos:

• International Mathematical Union (IMU):
  http://www.mathunion.org
• Bericht „Citation Statistics“ (als PDF):
  http://www.mathunion.org/fileadmin/IMU/Report/CitationStatistics.pdf
  oder anfordern bei Prof. Martin Grötschel, Generalsekretär der International Mathematical Union, Zuse-Institut Berlin, Takustr. 7, D-14195 Berlin, Deutschland, E-Mail: secretary at mathunion.org, Tel: +49 30 84185 210