Liebe Leserinnen und Leser,

Impact ist notorisch schwierig zu messen, das hat uns die Governance- und Regimeforschung schon lange erklärt. Dennoch machen wir unverdrossen weiter und „messen“ unseren Impact, etwa mittels (mehr oder minder komplizierter Erfassungen) der Zitationen, die unsere Veröffentlichungen erhalten.

Obwohl wir wissen, dass die Zahl der Zitationen keineswegs die Qualität oder auch nur Wertschätzung hinsichtlich einer Arbeit ausdrücken muss; und obwohl wir wissen, dass sich hinter dem Instrument der Impactmessung teils massive Marktinteressen verbergen, greift diese Form der Impactmessung immer mehr um sich. In einem Experiment haben Neurowissenschaftlerinnen und -wissenschaftler der Universität Magdeburg zuletzt gar zeigen können, dass Wissenschaftler und Wissenschaftlerinnen teils bereits so stark auf Impactmessungen trainiert sind, dass das Belohnungszentrum im Gehirn umso aktiver wird, je höher das Renommee der Zeitschrift, in dem ihre Aufsätze erscheinen (http://www.sueddeutsche.de/wissen/fachzeitschriften-falsche-waehrung-1.2888563) – Pawlow war nichts dagegen.

Zugleich bieten diese Formen der Impactmessungen etwa in Berufungskommissionen auch ein probates Mittel, Diskussionen zu standardisieren und die Lektüre der Schriften von Bewerberinnen und Bewerbern elegant abzukürzen – der Impactfaktor sagt doch alles, oder?

Angesichts der Auseinandersetzungen, die die zib und andere Zeitschriften zuletzt mit dem Marktführer in diesem Bereich, Thompson Reuter geführt hat, diskutiert das zib-Editorial [unten, unter „Read more“] diesmal über die „Bedeutung der Deutung, bedeutend zu sein“ und die Frage:

Wollen wir wirklich SSCI? Ihre Meinung ist willkommen!

 

Ihre zib-Redaktion

 

****************************

 

 

Editorial: Die Bedeutung der Deutung, bedeutend zu sein, oder: die Impact-Manie

Nicole Deitelhoff/Christopher Daase

 

Es gibt Stimmen zuhauf, die vor der überzogenen Bedeutung warnen, die dem Impact-Faktor in der Evaluation von wissenschaftlicher Leistung beigemessen wird. Von »Impact-Faktor-Manie« (Casadevall/Fang 2014) oder einem »Krebsgeschwür«, das nicht länger ignoriert werden dürfe (Curry 2013) ist da die Rede; und vom Unverständnis, wie Menschen auf die Idee kommen können, gerade in den Geistes- und Sozialwissenschaften mit schnöden Statistiken wissenschaftliche Exzellenz beurteilen zu können (vgl. dazu Fleck 2013). Aber nicht allein die gestiegene Bedeutung des Impact-Faktors im Allgemeinen, auch die Deutung des journal impact factors (JIF) als Ausdruck individueller Leistung wird immer wieder problematisiert. Der JIF gibt an, wie häufig innerhalb eines Jahres die Artikel einer Zeitschrift der vorausgegangenen beiden Jahre zitiert wurden und setzt das in Relation mit der Gesamtzahl der in diesem Zeitraum durch die Zeitschrift veröffentlichten Artikel. So ergibt sich ein Wert, der lediglich beschreibt, wie oft der »durchschnittliche Artikel« eines Journals innerhalb eines Jahres zitiert wurde. Grundlage dafür ist eine Datenbank, die alle relevanten Zeitschriften umfasst, wobei deren Relevanz von den jeweiligen Produzent_innen der Datenbank bestimmt wird. Der bekannteste Impact-Faktor ist der, der anhand des Social Sciences Citation Index (SSCI) von der Firma Thomson Reuters ermittelt wird. Der SSCI umfasst eine Liste von über 3.200 Journals im sogenannten »Web of Science«, wenngleich mit starken Schwankungen hinsichtlich der Abdeckung nach Disziplin. Der JIF ist, wie der Name sagt, eigentlich ein Zeitschriften-Impact-Faktor und war ursprünglich auch nie zur Bemessung individueller Forschungsleitung gedacht. Dass er nichtsdestoweniger aber genau das geworden ist – bis hin zu dem Trend, dass einige sozialwissenschaftliche Fachbereiche festlegen, dass Publikationen in nicht-SSCI-gelisteten Zeitschriften nicht mehr für die Leistungsberechnung der Fachbereiche angerechnet werden –, ist aus mehreren Gründen problematisch. Erstens misst der SSCI eben nur die Gesamtzitationen, die alle Artikel in einer Zeitschrift erzielen. Da bekannt ist, dass nur ein sehr geringer Anteil dieser Artikel ein Gros der Zitationen auf sich vereinigt, sagt der Impact-Faktor also nicht viel über die Bedeutung einzelner Artikel oder ihrer Urheber_innen aus. Zweitens sind diese Zitationen auch nicht unbedingt Ausdruck von Zustimmung der Community zu einem Aufsatz, sondern können ebenso kritische Abgrenzung bedeuten oder schlicht Zitierkartelle reflektieren. Und drittens haben die Zeitschriften längst Methoden entwickelt, ihren JIF künstlich in die Höhe zu treiben (vgl. Fleck 2013: 639). Dazu zählt die proaktive Bitte oder gleich Nötigung von Autor_innen, in ihren Aufsätzen auf andere Artikel in derselben Zeitschrift zu verweisen; die Platzierung von Reviews, die naturgemäß mehr Zitationen anziehen; eine enorme Ablehnungsrate vor Begutachtung, um keine Risiken durch nicht stark zitationsfähige Manuskripte einzugehen und schließlich die inzwischen verbreitete Praxis, online-first-Veröffentlichungen vorzunehmen, die dann Zitationen ziehen, ohne dass die Artikel (vor print-Erscheinung) gezählt würden (vgl. Matthews 2015). Alles in allem sollten diese Merkmale deutlich werden lassen, dass die Aussagen von Thomson Reuters, sie nutzten beim SSCI »[…] objective evaluation and selection criteria to ensure that you get the most carefully curated content […]«[1], nicht mehr als der Werbeslogan eines kommerziellen Unternehmens ist.

Damit aber nicht genug: Die Orientierung am JIF hat noch weitergehende Konsequenzen. Zum einen ziehen nur englischsprachige Zeitschriften hohe Impact-Werte, sodass anderssprachige Zeitschriften im Wettbewerb automatisch zurückfallen. Dies führt auch dazu, dass es zu immer mehr englischsprachigen Publikationen kommt – selbst wenn es teils angeraten wäre, in der Muttersprache zu veröffentlichen, weil bestimmte Ergebnisse gerade in der jeweiligen »nationalen« Community von besonderer Relevanz sind – und dass auch der Markt für anderssprachige Zeitschriften zunehmend enger wird. Ebenso ist bekannt, dass spezialisierte Zeitschriften tendenziell schlechte Impact-Werte erzielen, sodass auch diese zunehmend an den Rand gedrängt werden, obwohl sie eigentlich das sinnvolle Kommunikationsorgan spezialisierter wissenschaftlicher Communities sind.

Alle diese Probleme treffen auch auf den deutschsprachigen Zeitschriftenmarkt zu. Schont seit Langem beklagen die deutschsprachigen Zeitschriften, von der Politischen Vierteljahresschrift (PVS) über den Leviathan bis zur zib, dass die Zahl qualitativ hochwertiger deutschsprachiger Manuskripte abnimmt. Umgekehrt werden immer wieder Forderungen gegenüber diesen Zeitschriften laut, doch endlich auch auf Englisch als Publikationssprache umzustellen. Die zib hat sich seit ihrer Gründung 1994 immer wieder mit dieser Frage beschäftigt und sich auch immer wieder dagegen entschieden.[2] Die zib will Kommunikationsorgan der deutschsprachigen Community sein und publiziert deswegen auf Deutsch. Darüber hinaus hat etwa Fleck (2013) aufgezeigt, dass, selbst wenn Zeitschriften aus dem nicht-englischsprachigen Ausland auf englischsprachige Manuskripte umstellen, sie immer noch durchschnittlich weniger Zitationen erhalten als solche Zeitschriften, die in englischsprachigen Ländern, vor allem natürlich den USA, beheimatet sind.

Angesichts der nicht zu leugnenden Verbreitung des Impact-Faktors in der Evaluierung von wissenschaftlichen Leistungen, das heißt bei der Vergabe von Drittmitteln, der Leistungsermittlung innerhalb von Hochschulen oder in Bewerberrankings für Stellen, ergibt sich damit ein Dilemma. Die (wenngleich völlig überzogene) Bedeutung und Deutung des JIF würde zwar eine Orientierung an ihm nahelegen, aber selbst wenn eine deutschsprachige Zeitschrift auf Englisch umstellen würde, gelänge es ihr aller Voraussicht nach nicht, halbwegs gute Werte zu erzielen. Darüber hinaus wird eine solche Strategie auch durch die offenkundigen Vermarktungsinteressen von Thomson Reuters erschwert. Zwar betont Thomson Reuters auf seinen Webseiten, dass die Aufnahme von Zeitschriften Kriterien wissenschaftlicher Reputation folgt (s. o.), aber wie ebenfalls Fleck aufgezeigt hat, lassen die Daten einen anderen Schluss zu. So ließ sich etwa beobachten, dass Thomson Reuters nach Ende des Ost-West-Konflikts auffallend viele osteuropäische Zeitschriften aufnahm, selbst wenn diese außerhalb des jeweiligen Landes kaum bekannt waren. Hintergrund der Entscheidung schien also vielmehr ein Interesse an der Markterschließung zu sein, das heißt neue Käufer_innen für die firmeneigene Datenbank »Web of Science« zu finden (Fleck 2013: 633-634, 641). In den letzten Jahren lässt sich dagegen ein Trend beobachten, fremdsprachige Zeitschriften aus dem SSCI herauszuhalten. Betrachten wir einmal den deutschsprachigen Markt, dann sprechen die Erfahrungen Bände: Nehmen wir drei große, hinreichend renommierte Fachzeitschriften, wie die PVS, die zib und den Leviathan. Von diesen dreien ist nur die PVS im SSCI vertreten; im letzten Jahr allerdings zeitweise gar nicht, was angeblich mit logistischen Problemen zu tun hatte, letztlich aber offenbar Ausdruck eines generellen Desinteresses an Zeitschriften ist, die keine den englischsprachigen Journals vergleichbaren Zitationszahlen erreichen. Der Leviathan hat gerade eine Ablehnung seiner Bewerbung um Aufnahme aufgrund zu geringer Zitationszahlen erhalten; und die zib hat im Herbst 2014 das gleiche Schicksal erlitten. Der Grund: zu geringe Zitationszahlen – wobei diese Auskunft selbst bereits nur nach erheblichem Aufwand zustande kam, denn Thomson Reuters hat wenig Interesse daran, seine Entscheidungen in irgendeiner Weise transparent zu kommunizieren.

Wie sollen Zeitschriften damit umgehen: Sollen sie ihre Zitationszahlen hinauftreiben, so gut es geht? Das hieße für die zib: Autor_innen soweit wie möglich nötigen, mehr Zitationen auf andere zib-Artikel vorzunehmen (ein gutes Beispiel dafür stellt Fußnote 3 dar), mehr Literaturberichte zu publizieren oder vielleicht sogar eine englischsprachige big-names-Sparte zu entwickeln mit Schönwetter-Reviews, denn die erreichen ja am meisten Zitationen, die dann allen zugutekommen? Aber selbst eine solche Strategie dürfte nur begrenzten Erfolg haben, weil, wie oben bereits angedeutet, selbst englischsprachige Beiträge in nicht-englischsprachigen Ländern weniger Zitationen ziehen. Darüber hinaus gibt es interessante Formen der Selbstzensur: So wurde in der Diskussion um die Konsequenzen aus dem ablehnenden Bescheid für den Leviathan geäußert, dass es ja auch nicht angebracht sei, in englischsprachigen Zeitschriftenaufsätzen deutschsprachige Aufsätze zu zitieren – tja.[3]

Der Leviathan hat daraus eine Konsequenz gezogen und sich dafür entschieden, sich bei Thomson Reuters nicht mehr um die Aufnahme in den SSCI zu bewerben, sondern lieber das eigene Profil zu schärfen und durch meinungsbildende kritische Gesellschaftsanalysen seine Relevanz zu unterstreichen. Die PVS hält (noch?) am SSCI fest. Und die zib? Wir möchten das zur Diskussion stellen! Soll die zib sich noch einmal – es wäre, glauben wir, das vierte Mal – um Aufnahme bemühen oder sollten wir dieses Projekt angesichts der Fülle an Indizien für die Verzerrung und Kommerzialisierung, die hinter dem Gebaren von Thomson Reuters stecken, aufgeben? Klar ist, dass sich damit nicht die Aufgabe von Impact-Faktoren an sich verbinden kann. Diesen Prozess zurückzudrehen, wäre eine gesamtgesellschaftliche Aufgabe, deren Erreichbarkeit und Wünschbarkeit vermutlich gleichermaßen umstritten sind.

Aus unserer Sicht erscheint es daher sinnvoller, zunächst nach alternativen Impact-Messungen zu suchen, die die problematischen Effekte, die sich mit dem SSCI verbinden, beheben. Eine solche Alternative bietet Google Scholar, das alle im Netz verfügbaren und lesbaren Inhalte erfasst und daraus individuelle citation indices erstellt – wenn man bereit ist, einen Google-Scholar-Account anzulegen. Der »H-Index« etwa, der unter anderem bei Google Scholar gelistet wird, gibt nicht an, wie hoch die durchschnittliche Zitationszahl der Artikel einer bestimmten Zeitschrift ist, sondern zählt, wie oft einzelne Artikel verschiedener AutorInnen tatsächlich zitiert werden. Ein »H-Index« von 7 besagt zum Beispiel, dass sieben Publikationen mindestens sieben Mal zitiert worden sind; ein »H-Index« von 8, dass acht Publikationen mindestens acht Mal zitiert wurden. Insofern der »H-Index« tatsächlich den Impact durch Zitationen misst und nicht über den Umweg der Zitation eines SSCI-gelisteten Journals, ist er »demokratischer« als der JIF. Aber selbst beim »H-Index« gibt es Verzerrungen und nicht zuletzt einen Bias zugunsten englischsprachiger Kolleg_innen, weil es schlicht mehr Leute gibt, die Englisch lesen als solche, die Deutsch lesen können. Aber die Werte scheinen aussagekräftiger, robuster und weniger leicht manipulierbar zu sein.[4]

Letztlich wäre eine Entscheidung, sich den von Thomson Reuters gesetzten (Markt‑)Bedingungen zu entziehen, aber bedeutungslos, wenn es nicht gelänge, eine Bewegung daraus zu machen und Fachbereiche, Berufungskommissionen und Wissenschaftsorganisationen davon zu überzeugen, bei der – für bestimmte (nicht alle!) Zwecke nun einmal notwendigen und sinnvollen – quantifizierenden Bewertung von Forschung auf alternative Methoden der Erfassung von wissenschaftlichem Impact zu setzen.

Wir hoffen auf eine rege Diskussion zu dieser Frage hier auf dem zib-Blog!

Vielfach gefragt waren auch im vergangenen Jahr wieder unsere Gutachterinnen und Gutachter, denen wir herzlichen Dank für ihr Engagement schulden. 2015 waren dies:

Mathias Albert, Carola Betzold, Lothar Brock, Eckart Conze, Tobias Debiel, Thomas Diez, Klaus Dingwerth, Matthias Ecker-Ehrhardt, Katja Freistein, Tine Hanrieder, Hannes Hansen-Magnusson, Sebastian Harnisch, Axel Heck, Hendrik Hegemann, Gunther Hellmann, Benjamin Herborth, Andreas Klee, Wilhelm Knelangen, Kai Koddenbrock, Reinhardt Kößler, Sascha Lohmann, Nora Markard, Hanns Maull, Franziska Müller, Philipp Münch, Andreas Nölke, Diana Panke, Thomas Risse, Sieglinde Rosenberger, Delf Rothe, Siegfried Schieder, Wolfgang Seibel, David Shim, Alexander Spencer, Bernhard Stahl, Jens Steffek, Stephan Stetter, Christian von Soest, Silke Weinlich, Christoph Weller, Tobias Wille, Stefanie Wodrig, Bernhard Zangl, Martin Zapfe, Birgit zur Nieden

 

Literatur

Albert, Mathias/Zürn, Michael 2013: Über doppelte Identitäten. Ein Plädoyer für das Publizieren auch auf Deutsch, in: Zeitschrift für Internationale Beziehungen 20: 2, 141-155.

Breuer, Hubertus 2016: Falsche Währung. Die Leistung der Wissenschaftler wird am Rang der Fachzeitschriften gemessen, in denen sie publizieren. Doch das schadet der Forschung, in: Süddeutsche Zeitung, 3.3.2016,14.

Casadevall, Arturo/Fang, Ferric 2014: Causes for the Persistence of Impact Factor Mania, in: mBio 5: 2, 64-114.

Curry, Stephen 2013: Sick of Impact Factors, in: http://occamstypewriter.org/scurry/2012/08/13/sick-of-impact-factors/; 7.3.2016.

Fleck, Christian 2013: Der Impact Faktor-Fetischismus, in: Leviathan 41: 4, 611-646.

Glaab, Katharina/Zimmermann, Lisbeth 2014: Zwischen Anspruch und Wirklichkeit. Zoologische Betrachtungen des IB-Nachwuchs und seiner Publikationstätigkeit, in: Zeitschrift für Internationale Beziehungen 21: 2, 121-132.

Matthews, David 2015: Journal Impact Factors »no Longer Credible«, in: Times Higher Education, 5.11.2015, https://www.timeshighereducation.com/news/journal-impact-factors-no-longer-credible; 7.3.2016.

 

 

[1] http://thomsonreuters.com/content/dam/openweb/documents/pdf/scholarly-scientific-research/fact-sheet/wos-next-gen-brochure.pdf; 7.3.2016.

[2] Vgl. dazu die Beiträge von Albert/Zürn (2013) und Glaab/Zimmermann (2014) in dieser Zeitschrift.

[3] Wie weit diese Selbstzensur geht bzw. wie weit der Impact-Faktor verinnerlicht wurde, zeigt sich an einem Experiment, das im Februar 2016 in der Süddeutschen Zeitung besprochen wurde. Darin wurden in einen Kernspintomografen liegenden Wissenschaftler_innen erfundene Artikel mit ihnen als Autor_innen in verschieden gerankten Zeitschriften gezeigt. Dabei zeigte sich, dass die Wissenschaftler_innen desto heftiger reagierten, je höher der Rang der jeweiligen Zeitschrift war. Vgl. Breuer (2016).

[4] Auch hier ist es natürlich so, dass die wenigen stark zitierten Kolleg_innen die Durchschnittswerte nach oben treiben. Cullen Hendricks zeigt im Blog »Duck of Minerva« allerdings auf amüsante Weise auf, wie man diese Werte nach unten korrigieren kann und listet halbwegs angemessene »H-Werte«, die auch deutschsprachige Wissenschaftler_innen locker erreichen können. Vgl. http://duckofminerva.com/2015/08/google-scholar-metrics-and-scholarly-productivity-in-international-relations.html; 7.3.2016.