Citatiescore is geen maat voor kwaliteit

Kwaliteit valt niet af te meten aan het aantal papers en citaties in tijdschriften, meent Harrie van den Akker. Een wetenschapper levert volgens hem kwaliteit als hij of zij systematisch opzienbarende resultaten boekt en daarmee school maakt.

Donderdag 19 februari was er in de aula een conferentie onder professoren, georganiseerd door rector Fokkema. Onderwerp van discussie was ‘Kwaliteit in Design & Engineering’. Een heikel punt. Niet alleen omdat kwaliteit en reputatie überhaupt hot issues zijn onder hoogleraren, maar ook omdat de ontwerpende en engineering faculteiten van onze TU worstelen met het vooroordeel dat zij onderdoen voor de science faculteiten. Zij scoren althans niet goed op de criteria die bijvoorbeeld NWO aanlegt voor het toekennen van onderzoeksubsidies. Maar hoe meet je kwaliteit eigenlijk? Dat was het onderwerp van die professorenconferentie.
Als het over kwaliteit gaat, beschouwen sommigen de mores bij de science-faculteiten TNW en EWI als richting- en maatgevend. De discussie verengt zich daarmee tot de vraag hoe hun kwaliteitscriteria vertaald kunnen worden naar de wereld van design en engineering. Ik betwijfel of deze benadering vruchtbaar is. Bovendien worden output en kwaliteit verward. Ook onder professoren gebeurt dat.

Output
De kwaliteit wordt in de wereld van de science ‘gemeten’ in termen van output: aantallen papers (in de zogenaamde ISI-tijdschriften) en aantallen citaties van die papers. Favoriet is de ‘h-index’: iemands h-index is 20 als 20 van diens ISI-journal papers in de loop van de tijd 20 keer of vaker geciteerd zijn. Die h-index is allengs tot kwaliteitsindicator geworden. Daar valt het nodige op af te dingen.
Want in de meeste journal papers - ook in de science - worden helemaal geen wetenschappelijke doorbraken of wereldschokkende vondsten gemeld. Meestal gaat het om kleine stapjes op een lange weg - de moeite waard om vakgenoten te melden, dat wel. Je publiceert om je vak en je vakgenoten vooruit te helpen. Je hoopt dat anderen daar kennis van nemen. Zo werkt wetenschap. Soms verwijs je naar iemand alleen om te melden dat die ander iets niet zo goed heeft gedaan – of dat je zelf iets beters hebt bedacht. Is zo’n citatie een maat voor kwaliteit? En werkt het ook zo in de wereld van design en engineering?
 Wat is dan wel kwaliteit? Een poging: een wetenschapper is pas top als hij of zij systematisch opzienbarende resultaten boekt en daarmee school maakt, zo dat andere wetenschappers hem of haar in onderwerpkeuze en aanpak volgen. Dat lijkt mij ook te gelden voor ontwerpers en architecten: ook onder hen maken alleen de besten school. Of iemand school maakt – in science, in engineering of in design – valt niet te beantwoorden door simpelweg iemands papers en citaties te tellen.
Het aantal echte doorbraken in de science is beperkt. Ook in de engineering en design faculteiten is het aantal revolutionaire ontwerpen vermoedelijk maar klein. Zijn er harde criteria wanneer een ontwerp geslaagd is of kwaliteit heeft? Ik vrees van niet. Net zo min als goed valt te omschrijven wanneer research kwaliteit heeft en wanneer in de science een vinding een doorbraak is. Niet voor niets wordt de Nobelprijs pas na vele jaren toegekend en is daar vaak gedoe over. Waarmee tegelijk gezegd is dat niets zo moeilijk is als geld toekennen op basis van kwaliteit. Kwaliteit is zoiets als proven performance en die kan eigenlijk alleen beoordeeld worden door ‘peers’.

Kanjers
In het dorp van mijn grootmoeder streden elk jaar de notaris, de kerkorganist en de banketbakker om de titel ‘man van het jaar’. De kerkorganist betoogde altijd dat hij met zijn orgelspel een hoger idee diende, terwijl de banketbakker pochte op zijn creaties voor de dorpsfeesten en de notaris standaard verwees naar zijn testamenten en koopaktes. Maar de jury kende trouw de titel beurtelings toe: want het dorp kon niet zonder deze drie kanjers.
Zo kan de TU niet anders dan trots zijn op al zijn acht faculteiten: kanjers. In het buitenland is Delft heel beroemd: niet in het minst om wat de Delftse civiele ingenieurs door de eeuwen heen hebben klaargespeeld in onze strijd tegen het water. En onze architecten bouwen tot in China toe. Ruim baan dus in Delft voor design en engineering. Nu nog NWO en de minister overtuigen ...

Prof. Harrie van den Akker is voorzitter van de afdeling multi-scale physics van de faculteit Technische Natuurwetenschappen (TNW).