Peut-on mesurer la productivité des enseignants-chercheurs ? edit

Dans le contexte des réformes envisagées pour l'Université et les organismes de recherche français, la mesure de l'activité des chercheurs et enseignants-chercheurs prend une place centrale. Elle est complexe, mais pas sans réponse. Complexe, car l'activité des enseignants-chercheurs est multidimensionnelle. De plus, même la plus simple des dimensions, la publication d'articles de recherche, est difficile à mesurer. Toutefois, des solutions existent. Par ailleurs, la mesure de l'activité n'est qu'une première étape. Pour comparer les individus ou les centres selon ce critère, il faut pouvoir raisonner "toutes choses égales par ailleurs" (moyens mis à disposition des universités, conditions de travail des enseignants-chercheurs). Cela est également envisageable.

Le problème central de la mesure des publications des enseignants-chercheurs est l’évaluation de leur qualité. Comment distinguer les découvertes capitales des avancées plus progressives de la connaissance ? Les indices de qualité pondérant les publications donnent en général plus de poids aux premières mais n'ignorent pas les secondes. Une solution souvent utilisée s'appuie sur les citations reçues par les publications. Une première limite de cette approche est liée au nombre trop restreint de supports considérés (par exemple la publication d'ouvrages, principal support dans certains domaines, est souvent ignorée et les citations ne sont recueillies que dans un sous-ensemble de revues de recherche). Les bases de citations s'étendent cependant de façon extrêmement rapide, notamment sur internet.

Un problème plus important est lié à la représentation inégale des différents domaines de recherche. Travailler dans un domaine "à la mode", où les chercheurs sont nombreux, engendre mécaniquement plus de citations. Tout le monde s'accorde cependant sur le fait que l'on ne peut prédire quel thème marginal aujourd'hui deviendra majeur demain. Ainsi, une solution simple consiste à considérer à la fois des nombres absolus de citations mais aussi relatifs au nombre moyen de citations du domaine. Cela est trop rarement mis en œuvre actuellement.

Finalement, d'autres dimensions sont à prendre en compte. Le nombre de co-auteurs d'un article ne dépasse guère trois dans certains domaines, alors qu'il est rarement inférieur à cinq ou six dans d'autres. Parfois ces auteurs apparaissent par ordre alphabétique, sous-entendant une égale contribution, mais quand cela n'est pas le cas, il est difficile d'attribuer à chacun sa part de contribution à l'article. Enfin, l'activité de publication est marquée d'aléas inhérents à la recherche et doit être considérée sur une période relativement longue, quelques années sûrement.

Dans une série d'articles relatifs à l'économie (Combes et Linnemer, Annales d'Economie et de Statistiques, 2001, Combes et Linnemer, Revue Economique, 2003, Combes et Linnemer, Journal of the European Economic Association, 2003), nous avons tout d'abord cherché à évaluer la façon dont des changements dans la façon de prendre en compte la qualité des articles, le nombre de co-auteurs et la période de publication affectent les résultats obtenus. De ces travaux, nous pouvons tirer quatre grandes leçons.

1) Sur la diversité des indicateurs : le critère ayant le plus d'impact est bien celui de la qualité des revues mais les résultats sont, en fait, remarquablement stables d'un indice à l'autre (en particulier au niveau des universités). Autrement dit, en moyenne, les universités qui publient le plus, même sans prendre en compte la qualité de ces publications, sont aussi celles qui publient le mieux et celles qui reçoivent le plus de citations.

2) Sur la comparaison internationale : pour la période 1996-2000, et selon un indicateur qui prend en compte la qualité des revues, la longueur des articles et le nombre de co-auteurs, un enseignant-chercheur du Royaume-Uni publie 63% de plus qu'un enseignant-chercheur français. Mais, par rapport à ces mêmes Français, les enseignants-chercheurs allemands produisent 14% de moins, les Suédois quasiment deux fois moins, et les Espagnols trois fois moins. Finalement, parmi les trente-cinq centres de recherche mondiaux où la production par enseignant-chercheur est la plus élevée, la domination des Etats-Unis est sans partage avec 28 Américains, pour deux Anglais, un Italien, un Espagnol, un Israélien et trois Français (respectivement 7ème, 10ème et 31ème).

3) Sur la spécialisation des enseignants-chercheurs : 40,6% des Français n'ont aucune publication (toujours au sens où nous l'entendons, à savoir celui de la base de données Econlit qui ne contient que des revues de recherche, excluant ouvrages et vulgarisation). Au Royaume-Uni, avec 40,3%, la proportion est similaire et la moyenne européenne est de 57,7%. Ainsi, dans toutes les universités européennes, certains enseignants-chercheurs ne se spécialisent pas dans la recherche.

4) Sur la disparité interne à chaque pays : alors que l'attention porte souvent sur ces comparaisons internationales moyennes, les disparités entre universités d'un même pays sont bien plus importantes. En France, et sans prendre les extrêmes, un enseignant-chercheur d'une des cinq universités les plus productives en économie publie plus de dix fois plus que l'un de ceux de la trentième (sachant qu'il y a une soixantaine de facultés d'économie). Ainsi, bien que le cadre institutionnel soit alors le même, l’écart est bien plus marqué qu’entre les pays.

Ces comparaisons internationales soulignent que certains aspects du mode anglo-saxon d'organisation de la recherche permettent d'atteindre une productivité de publications en économie plus élevée que celle des enseignants-chercheurs français. Toutefois, grâce à la production des meilleures universités françaises (où la recherche est fortement concentrée), le bilan des français au niveau européen comme mondial est honorable, ce qui montre que le système actuel possède certaines qualités. Il faut aussi savoir s'inspirer de ces réussites.

L'analyse de l'activité des enseignants-chercheurs ne peut s'en tenir là. On ne peut oublier qu'un directeur de master en France fait souvent ses emplois du temps lui-même ou gère aussi le site Internet de sa formation. Que les enseignants-chercheurs assurent leurs surveillances d'examen. On ne peut oublier non plus à l'inverse que d'autres ont des décharges complètes ou très larges d'enseignement ou ne participent guère à l'administration de leur université. Nous avons dit que les enseignants-chercheurs du Royaume-Uni publient 63% plus que les Français. Il se trouve qu'ils ont également des salaires moyens 62% plus élevés (selon SEO Economisch Onderzoek, Amsterdam, 2007). Si l'on ajoute l'Allemagne, la Belgique, la Suède et les Pays-Bas à notre comparaison, la relation entre publications et salaires est fortement positive, avec une corrélation de 0,81.

Ainsi, une fois une mesure de l'activité calculée, il faut pouvoir la comparer, entre pays ou entre universités, "toutes choses égales par ailleurs". La corrélation précédente n'a qu’une valeur d’illustration. En effet, elle ne concerne que six pays et ne prend pas en compte d'autres éléments d'explication (par exemple, les services moyens sont de 128h de cours magistral en France contre une centaine d'heures au Royaume-Uni). Les méthodes statistiques actuelles proposent des outils pour confronter de façon adéquate les mesures de l'activité à l'ensemble des caractéristiques des universités, moyens et conditions de travail. Il faut pour cela utiliser une information fine, qui commence à exister mais reste coûteuse à rassembler.

Dans le cas des publications, nous avons détaillé les données nécessaires à leur mesure, et notamment le contrôle nécessaire de la qualité et du domaine de recherche. Il faut ensuite confronter cette mesure aux personnels disponibles dans l'université, enseignants-chercheurs mais aussi techniciens et administratifs, et plus généralement au budget disponible. Le degré d'ouverture de l'université peut aussi être pris en compte (l'origine des enseignants-chercheurs, leur mobilité, leur liens avec d'autres universités…). Il faut aussi raisonner à autres activités identiques, par exemple en considérant le nombre d'étudiants, leur origine, le niveau des formations proposées. L'implication des enseignants-chercheurs dans le financement externe de l'université et la recherche de contrats est sans doute aussi à inclure.

Finalement, comme nous l'avons souligné, la publication n'est qu'une des activités de l'enseignant-chercheur. Une démarche similaire devrait être appliquée aux autres. Par exemple, le nombre d'étudiants attirés par les universités, leur niveau de sortie, leur placement sur le marché du travail pourraient être mis en regard de leur niveau d'entrée, du milieu social d'où ils viennent et, là encore, des moyens humains et financiers dont dispose l'université. Bien entendu, toutes les disciplines sont concernées, même si, tant du côté des mesures que des déterminants, les spécificités de chacune doivent être prises en compte.

Nous pensons que de telles démarches sont possibles, à condition que les données nécessaires soient mobilisées. Des mesures précises de l'ampleur des disparités entre universités permettraient ensuite d'en éclairer les déterminants et contribuerait à dégager un ensemble de meilleures pratiques. Le débat sur la réforme du système universitaire et de recherche français en serait certainement renouvelé.