Column: Die ellendige impactfactor

Column door Teun Bousema

“En welke kant moet dan boven?” Mijn Oegandese masterstudent staat wat onhandig met een lp van Elvis Presley in haar handen in haar bed and breakfast in Nijmegen. “Sorry, ik stream mijn muziek altijd”, zegt ze verontschuldigend. Ik krab me achter mijn oren. Hoe ga ik uitleggen dat deze feitelijk achterhaalde geluidsdrager nu weer helemaal hip is?

Soms is vooruitgang niet helemaal intuïtief. Daar moest ik ook aan denken toen een Keniaanse collega op LinkedIn trots zijn nieuwe publicatie deelde. Hij deed dat compleet met vermelding van de impactfactor van het tijdschrift waarin zijn magnum opus verscheen en zijn h-index. Blijkbaar had niemand hem verteld dat wij dat stadium alweer gepasseerd zijn. Hij had zelf net begrepen dat het niet gaat om de kwantiteit aan artikelen, maar om hun kwaliteit. Nu hadden wij weer bedacht dat die kwaliteit niets meer te maken heeft met die scores. We dreigen wat mij betreft iets te ver door te schieten in onze afkeer van wetenschappelijke meetinstrumenten. Opbiechten dat je ooit waarde hechtte aan de impactfactor van een tijdschrift of af en toe opzocht hoe je h-index erbij hing, staat haast gelijk aan het opbiechten van een verleden als fervent fan van zwarte piet of tegenstander van vrouwenkiesrecht. Je staat aan de verkeerde kant van de geschiedenis. Toegegeven, de h-index was altijd al een onhandig meetinstrument: hoe meer je mee-publiceerde in goed geciteerde stukken, hoe hoger je h. Dat gold zelfs als je geen fluit had bijgedragen aan het artikel en als enige wapenfeit kon aandragen dat je je affiliatie en initialen had gecontroleerd. Gelukkig heeft de COVID-crisis dit meetinstrument al de das om gedaan: zelfs belabberde artikelen over COVID worden zo vaak geciteerd dat de h-index sinds de pandemie eenvoudigweg oninterpreteerbaar geworden is. Misschien is er nog iets te repareren door COVID-artikelen uit te sluiten van de h-index, maar het is waarschijnlijker dat de index een van de vele dodelijke slachtoffers van het virus wordt.

Doen alsof het prestige van een tijdschrift irrelevant is bij het beoordelen van kwaliteit van het werk, ligt ingewikkelder. Met het juiste narratief is een artikel in een wetenschappelijk afvoerputje voor NWO tegenwoordig evenveel waard als een zwaarbevochten publicatie in een toptijdschrift als Cell of Science. Verwarrend. Mijn Keniaanse collega snapte er in ieder geval geen hout van. Gelukkig is er natuurlijk ook vooruitgang die wel goed uit te leggen is. Hij snapte het meteen toen ik uitlegde dat er meer ruimte komt voor teamwerk en door subsidiegevers een grotere nadruk komt te liggen op de impact van resultaten. Hij koppelde die twee inzichten zelf meteen aan een recente rel in malarialand over een subsidie van 30 miljoen dollar voor een malariaconsortium met louter westerse instituten.¹ Instituten in de VS, Groot-Brittannië en Australië kregen het geld om Afrikaanse landen te helpen beter gebruik te maken van data voor hun malariabestrijding. Een inclusief consortium met een of meerdere Afrikaanse onderzoeksinstituten – er zijn inmiddels meerdere topinstituten op het continent – was fatsoenlijker geweest. Bovendien had het waarschijnlijk ook een grotere impact kunnen hebben. Het is immers niet zo gek om goede onderzoekers die het probleem van dichtbij kennen te betrekken bij het oplossen ervan.

Zo’n inzicht is, net als Elvis Presley, tijdloos.

Bron:

1. Ngozi et al. Open letter to international funders of science and development in Africa. Nature Medicine. 2021;27:742-4.