Ce billet constitue la suite d'une série de billets sur "Les pairs et le cluster". Le premier billet publié présente les rapports sur les revues.
La plupart de ces initiatives d'évaluation a provoqué une pluie de critiques de la part des milieux de la recherche. L'exercice est ingrat, il faut le reconnaître, et connecté à des enjeux économiques majeurs pour les revues. Il est donc difficile de provoquer l'unanimité, puisque l'évaluation a, ici, pour objectif de guider les politiques de subvention. En touchant le nerf de la guerre, l'évaluation est au centre de tensions extrêmement vives. Je tente ici de réaliser une synthèse des critiques qui ont été formulées, sans prendre position sur ces critiques.
1. En se focalisant sur les périodiques, les enquêtes laissent volontairement un angle mort, celui des monographies, qui pèsent pourtant d'un poids quantitatif considérable en sciences humaines et sociales. Alors que leur importance dans la carrière d'un chercheur est centrale, les enquêtes actuelles les ignorent, introduisant un biais de mesure considérable.
2. Un grand nombre de biais statistiques sont inévitables. Par exemple, comment comparer une revue née en 1888 (la Revue de l'histoire des religion) avec une revue née dans les années 1990 (Etudes photographiques) et une revue créée en 2004, dont l'enquête Henriot/Fleuret ignore jusqu'à l'existence (Champ pénal, revue française de criminologie) ? Cela amène, in fine, les auteurs de l'enquête à introduire des nuances et parfois même des contorsions pour essayer de cerner un objet complexe. De même, la pratique de l'auto-citation et les stratégies de négation de l'adversaire, par l'ignorance bibliographique de celui-ci, constituent des éléments structurants du corpus étudié qui sont difficiles à contourner.
3. Le corpus initial définit les réponses : les grandes enquêtes sont des usines qui confirment en sortie ce qu'on leur a donné en entrée. Le risque tautologique est en effet non négligeable. Définir le corpus des revues faisant autorité constitue un exercice délicat, qui conditionne la visibilité des écoles, des sujets de recherche et des disciplines. Or, les enquêtes produisent mécaniquement des angles morts. Les rapports de force des champs scientifiques émergent des enquêtes, qui confirment la domination des disciplines, des groupes et des champs dominants. En sciences humaines et sociales, l'utilisation massive de la langue de Molière a des incidences notables sur la visibilité internationale. En somme, les méthodes bibliométriques peuvent constituer des freins importants à l'émergence d'innovations. C'est le cas pour les disciplines et les spécialités en cours de constitution comme pour les paradigmes minoritaires.
4. Les enquêtes bibliométriques mettent en oeuvre des méthodes pour répondre à une question. A chaque enquête correspond sa méthode. Et ses résultats. Sans prendre en compte ce facteur, il est difficile de comprendre les disparités de résultat entre les différentes enquêtes qui se sont succédées, par exemple en 2007, à l'échelle mondiale. Une synthèse de résultats qui semblent contradictoires paraît parfois impossible... La prolifération actuelles des enquêtes à la manière de Shangaï n'est-elle pas, elle-même, le signe que la bibliométrie est de plus en plus un lieu de pouvoir scientifique international, dans lequel chaque acteur joue des coudes pour obtenir les moyens de décerner les palmes d'or aux organismes, aux publications et aux chercheurs... Dès lors, s'impose une grande vigilance dans la mise en oeuvre des enquêtes françaises. En France, le rôle de l'OST sera sans doute déterminant en ce domaine et il serait dommage de s'en désintéresser comme s'il s'agissait d'une simple question technique.
Crédits photographique : Cédric Ridel, (c) 2007. Avec son aimable autorisation. http://www.flickr.com/photos/lecedre/545269389/
Jeu de briques
Snake
Pacman
Bubble