Ce billet constitue la suite d'une série de billets sur "Les pairs et le cluster".
Les deux premiers billets étaient :
1. Les rapports sur les revues
2. Les faiblesses des enquêtes
Une culture de l'évaluation ?
Sur le marché de l'évaluation de la recherche prolifèrent les initiatives et les enquêtes s'appuyant sur des corpus et des méthodes différentes [1]. La machine à générer des classements concurrents peut continuer à se développer. La France va-t-elle mettre au point un « plan évaluation de la recherche » tirant son inspiration du « plan calcul » (Général de Gaulle dans les années 1960) et du plan « Informatique pour tous » (1985, Laurent Fabius), mobilisant beaucoup de moyens et caduque à peine sorti des cartons ?
Avant d'initier un nouveau classement, et avant même de défaire l'architecture institutionnelle existante pour s'adapter à ceux qui existent déjà [2], il faudrait cesser d'utiliser les classements existants comme de simples argus universitaires. Le taux de citation d'un auteur affiché par Google scholar ne devrait pas devenir l'alpha et l'omega de l'évaluation des chercheurs. Cet indicateur est littéralement faux et s'appuie sur un corpus largement tronqué et excessivement opaque. Les commissions de spécialistes ont besoin d'indicateurs valables et comparables, pas de mesures prises sans discernement, à la sortie de la cantine universitaire, avant d'entrer dans la salle de délibérations… Quelle que soit la tendance qui se dessinera à l'avenir dans le domaine des indicateurs, ceux-ci ne pourront rester dans l'angle mort de la culture universitaire, quasiment au même titre, d'ailleurs, que l'édition scientifique. A titre d'exemple, révélateur, posons une simple question : combien de Centres d'initiation à l'enseignement supérieur (CIES) proposent aux futurs chercheurs une introduction aux enjeux de l'édition scientifique ou à ceux de l'évaluation de la recherche ?
Développer une culture de l'évaluation ne suffira sans doute pas, si les indicateurs n'évoluent pas avec les usages d'édition électronique. Il semble en effet que des perspectives pourraient s'ouvrir, en prenant appui sur l'ensemble des dispositifs numériques mis en place par les scientifiques depuis la puissante démocratisation du Web, au milieu des années 1990. Il est en effet imaginable de modifier l'approche à la fois en terme de corpus et de méthode. Il est désormais possible de prendre en compte un corpus savant élargi, issu de la rencontre entre la communauté scientifique avec les possibilités offertes par les usages numériques. Il s'agit de changer radicalement les échelles d'observation, devenant à la fois plus fines et plus larges, c'est-à-dire couvrant plus d'acteurs, plus de focales, plus d'objets éditoriaux et plus de types d'interactions scientifiques.
Pour formuler ces propositions, il faut opérer un rapide détour vers les usages numériques disponibles ou en cours de développement.
Une nouvelle donne éditoriale
A côté de la monographie reine et des campagnes d'évaluation bibliométriques tautologiques, apparaissent en effet de nouveaux usages qui constituent une nouvelle donne éditoriale en cours d'émergence.
Tout d'abord, on constate que les périodiques, autrefois objets généralement placés dans l'ombre des monographies [3], reprennent peu à peu un rôle important. La puissante domination du livre était issue d'une représentation de l'objet sur des rayons de librairie et consultable en bibliothèque comme tel, alors que les périodiques étaient des œuvres collectives, dans lesquelles le génie de l'auteur semblait émerger avec moins de vigueur, et au cœur desquelles les contraintes d'espace semblaient plus fortes. Il était préférable de publier un livre que cinq articles ; prestige, force symbolique et poids physique de l'objet obligent. Les monographies, qu'elles soient le reflet d'études pointues ou de vastes synthèses, pesaient plus que de petits articles, enfilés comme des perles multicolores dans des numéros varia de périodiques savants, mal diffusés et généralement inaccessibles en librairie.
Or, Internet favorise les unités éditoriales [4] de petite taille. En ligne, les prestigieuses monographies paraissent obèses, difficiles à manier, on les pressent obsolètes (mais on peut se tromper). Pour passer en ligne, elles sont souvent tronçonnées en petites unités documentaires. En tant qu'objet, comme le suggérait Robert Darnton sans en mesurer –sans doute– la conséquence majeure, elles s'éclatent en quantités de nouveaux objets. Dès lors, la revue, avec ses articles plus adaptés à la consultation en ligne, reprend un coup de jeune. La rapidité de parution et d'échange en ligne, la taille de l'unité documentaire, la faiblesse du marché économique favorisant l'open access et limitant la concurrence économique entre les supports papier et électronique : les conditions semblent réunies pour un nouvel âge d'or de la revue.
La revue, ce vieil objet savant, devra cependant composer avec un nouvel objet éditorial, né au cœur du réseau Internet lui-même, le blog universitaire, qu'on pourrait appeler carnet de recherches (dans l'attente d'une typologie plus fine). Le carnet de recherches radicalise toutes les qualités de la revue électronique : rythme de publication encore plus secs, billets encore plus courts, unités documentaires encore plus facilement citables (une idée, un billet), économie de l'écriture en cours de réinvention.
Les savants statisticiens qui pensent les futures campagnes d'évaluation ont, sans doute, pensé à introduire les revues électroniques dans le spectre couvert par leur radar. Il serait opportun qu'ils songent à y ajouter les carnets de recherche, pour peu que ceux-ci s'identifient comme instruments de recherche et se regroupent. Ce processus semble en cours. Il faudra également compter avec un objet plus petit encore, aujourd'hui à peine suspectés par les radars de l'évaluation : la bibliographie savante en ligne.
L'émergence du « Web 2.0 » en Sciences humaines et sociales [5] offre en effet des perspectives sérieuses à ceux qui voudraient penser de nouvelles méthodes d'évaluation de la recherche. On aurait tort de dénoncer le « Web 2.0 » et les « User generated contents » (UGC) comme des feux de paille, des objets journalistiques faciles, un effet de mode qui sera passé aussi vite que les autres. L'émergence d'outils de social bookmarking permet de percevoir ce que pourraient être les bibliographies en ligne rédigées par les chercheurs eux-mêmes. Il s'agit là d'un vivier inexploité, qui pourrait devenir une source pour la mesure des citations des travaux des chercheurs par les chercheurs. Del.icio.us, CiteULike et Zotero vont, peu à peu, constituer des banques de référence incontournables, révélatrices de véritables usages bibliographiques. Dans le monde universitaire, ce mouvement est aujourd'hui embryonnaire et confus, dans la mesure où il est difficile d'identifier clairement les lieux numériques qui les accueillent en tant qu'objets savants. Ces nouveaux usages n'en sont qu'à leurs débuts. En sciences humaines et sociales, ils sont balbutiants et circonscrits à des niches disciplinaires. Pour que le système fonctionne, il faut une masse critique d'ingrédients, c'est-à-dire de monographies et de revues en ligne, d'entrepôts d'archives ouvertes, de carnets de recherches, de commentaires en ligne, de banques de données bibliographiques produites par les chercheurs eux-mêmes, … Même trop peu nombreux, on ne peut plus se permettre, aujourd'hui, de les négliger.
[1] cf. le billet ironique "Le classement de Shangaï dépassé ?
[2] La France a décidé de refondre son architecture institutionnelle, afin d'avoir des établissements plus puissants et plus visibles dans les indicateurs (PRES).
[3] L'objet de ce billet n'étant pas de réaliser une histoire des sciences humaines et sociales, j'espère qu'on me pardonnera ce raccourci qui pourra paraître rapide, eu égard à certaines disciplines ainsi qu'à certaines époques. Loin de moi l'idée de laisser penser que certains virages méthodologiques et paradigmatiques n'ont pas pris leurs racines dans de belles et grandes aventures éditoriales articulées autour d'un périodique. Les exemples sont nombreux. Le plus notable étant, probablement, les Annales dans leurs premières décennies.
[4] J'ose la formule « unité éditoriale », en lien avec la bibliothéconomie, qui utilise souvent le concept d'unité documentaire
[5] Cf billet de Pierre Mounier « SHS 2.0 »
Crédits photographiques : "Cursed book" by Rickydavid, licence CC.