Evaluation(s)
Aujourd'hui, nous allons parler d'évaluation (c'est juste pour commencer avec une accroche à la Michel Serres sur France Info, hein... Ou à la Decaux Alain, pour les plus vieux).
L'évaluation est un terme à la mode. On pourrait la définir a minima comme l'opération qui consiste à produire un jugement et/ou un classement sur une série limitée d'objets à partir d'une série (plus ou moins...) limitée de critères, eux-mêmes définis par rapport à des valeurs ou des objectifs (plus ou moins...) explicites. Exemple : le défunt Top 50 de Marc Toesca (on sent le post régressif tout de suite... Il y a même une entrée wikipedia relative au Top 50, où va-t-on...) reposait sur une forme d'évaluation des chansons à un instant t indexée sur les ventes de titres.
Les spécialistes d'analyse des politiques, publiques dont je fais partie, connaissent depuis longtemps les caractéristiques et dilemmes de la démarche évaluative. D'abord, parce que l'évaluation constitue la dernière des séquences habituellement isolées pour décrire le processus d'élaboration et de mise en œuvre des politiques publiques. Dans cette perspective, l'évaluation est parfois qualifiée de moment "réflexif", parce qu'elle recouvre les opérations par lesquelles les acteurs publics ou privés produisent un jugement rétrospectif sur les dynamiques et/ou sur les "performances" des politiques publiques. Ensuite, parce que l'évaluation est devenue un terme générique qui recouvre depuis plusieurs années des réformes de l'Etat et de l'administration, qui visent à transformer et (re-)légitimer les acteurs publics par un examen systématique de leurs décisions. L'évaluation serait ainsi devenue un levier important pour dynamiser l'action, en pointant les défauts à corriger, mais aussi une dynamique essentielle de légitimation en permettant une plus grande transparence et une plus grande réactivité chez les acteurs politico-administratifs. Les indicateurs de performance introduits en France par les politiques de modernisation en sont un exemple, parfois rattachés à des tendances plus générales liées au New Public Management.
Le milieu académique est tout à la fois concerné depuis longtemps par des formes diverses d'évaluation comme, plus récemment, par des réformes qui visent à systématiser et à rationaliser les procédures d'évaluation pour améliorer les pratiques d'enseignement et de recherche. Comme le notent d'ailleurs de façon triviale de nombreux observateurs et universitaires, une bonne partie du travail vise justement à produire en permanence des évaluations. La notation des étudiants en est l'illustration la plus banale, la plus fréquente et, souvent, la plus assommante.
Ce qui m'intéresse aujourd'hui, mon cher Michel (Polacco, l'acolyte de Michel Serres sur France Info), c'est l'évaluation des enseignants-chercheurs et de leurs pratiques. En simplifiant, on peut isoler trois formes principales d'évaluation :
1) L'évaluation individuelle : il s'agit là des opérations de jugement établis sur la qualité des travaux et des parcours des enseignants-chercheurs. L'une des formes les plus importantes, c'est évidemment l'évaluation des dossiers présentés lors des campagnes de recrutement (on y reviendra, c'est l'objet de l'agacement du jour... Teasing insoutenable). Mais, d'autres opérations s'y ajoutent : évaluation des dossiers pour l'avancement, les primes, etc.
2) L'évaluation des pratiques : on peut rassembler ici tous les dispositifs de sélection et de hiérarchisation des différentes pratiques d'enseignement ou de recherche que sont les travaux, les cours délivrés comme les projets de recherche effectués. Un exemple parmi d'autres, l'évaluation des papiers proposés pour publication dans une revue de leur(s) discipline(s) par les enseignants-chercheurs. Ces évaluations sont devenues essentielles, car elles déterminent de plus en plus les logiques de carrière comme les contenus de recherche. Les financements de la recherche se faisant de plus en plus avec une logique de programmes (financements européens, appels à projet de l'Agence Nationale de la Recherche, etc.), les évaluations pratiquées a priori, sur la base des projets concurrents présentés, sont des mécanismes puissants de sélection et de définition de la recherche en valorisant des thèmes, des approches, des équipes.
3 ) L'évaluation institutionnelle : c'est sans doute là que les choses ont le plus évolué ces dernières années en France, notamment avec la création d'instances telles que l'Agence d'évaluation de la recherche et de l'enseignement supérieur (AERES) en voie de suppression ou de réforme. L'AERES a en effet contribué à systématiser l'évaluation des centres de recherche, des universités, des écoles doctorales, des diplômes, en fournissant des procédures standardisées de jugement des "performances" relatives des établissements de recherche et d'enseignement supérieur. J'ai moi-même été plusieurs fois membre de comités d'évaluation et, alternativement, été évalué cette année comme directeur de Master, codirecteur d'un labo et comme membre d'une école doctorale.
Ces distinctions cachent des processus hybrides ou redondants : de façon inégalement explicite, les évaluations des labos ou des écoles doctorales par exemple sont indexées sur le "poids scientifique" de leurs membres, attesté par leurs publications, leurs activités et leur insertion dans la communauté scientifique de référence. Symétriquement, l'évaluation individuelle d'un enseignant-chercheur est partiellement conditionnée par ses rattachements institutionnels et académiques, qui l'obligent parfois à des tâches administratives ou pédagogiques qui peuvent empiéter sur son activité de recherche.
Pour contextualiser un peu les choses, il est indéniable que les dernières années ont vu se multiplier, parfois de manière obscure et absurdement bureaucratique, les dispositifs d'évaluation. Un temps non négligeable est consacré à répondre à des demandes d'évaluation comme à participer à des instances d'évaluation. Je ne saurais pas "évaluer" précisément le temps passé pour ce qui me concerne à ces opérations, mais elles ont augmenté de façon incontestable depuis une dizaine d'années.
Si on s'interroge maintenant sur les "structures élémentaires" de l'évaluation, on peut avancer que toute évaluation est déterminée, formatée ou caractérisée par 4 éléments :
a) L'évaluation repose d'abord sur des objectifs et des principes qui en légitiment l'existence et qui en rythment l'exercice. Exemple : l'évaluation d'un papier pour une revue sera plus ou moins déterminée par les objectifs éditoriaux de la revue, par le taux de sélection rendu obligatoire par le nombre limité de numéros publiés annuellement ou encore par l'identité (sous-)disciplinaire que les membres du comité se sont eux-mêmes donnés.
b) L'évaluation est par ailleurs attachée à des critères de jugement et des attentes plus ou moins formalisées sur les contenus. Exemple : les logiques de recrutement laissent une place de plus en plus grande (enfin, pas en France...) sur des critères quantitatifs de nature bibliométrique. L'un des indicateur les plus connus est l'indice H, du nom de son créateur, Jorge Hirsch, qui mesure le nombre de citations d'un livre ou d'un article. Il permet de créer par là même des classements qui sont des indices de notoriété des membres d'une communauté scientifique (Cf. cet exemple pour les économistes, friands de ce genre d'outils) et peuvent peser sur les recrutements comme sur l'évaluation de leurs institutions.
c) L'évaluation passe en outre par des instances et par des procédures (c'est là que ça va commencer à tanguer, teasing going on...). Pas d'évaluation légitime et pertinente sans instances et procédures légitimes et pertinentes. L'évaluation se fait ordinairement par les pairs avec des règles plus ou moins formalisées visant à éviter les biais et/ou les conflits d’intérêt. Les critères de désignation doivent donc être clairs et acceptés par tous, sur des bases qui sont souvent de nature (para)électorale ou qualitative. Exemple : le Conseil national des Universités (CNU) est en France l'instance nationale qui a en charge des évaluations essentielles portant aussi bien sur la qualification des doctorants (ce qui leur permet de candidater aux postes ouverts localement) et il est composé de membres élus sur des listes proposées au choix de leurs collèges, ainsi que de membres nommés par le ministère (par une logique et selon des critères pas toujours très clairs, n'est-ce pas Dogbert ?).
d) L'évaluation produit enfin des effets et suscite des usages variables. Elle peut avoir par exemple pour effet de recruter ou pas tel ou tel candidat, de publier ou pas tel ou tel papier, de réformer ou pas un établissement, une formation, un laboratoire. D'un point de vue plus individuel, l'évaluation d'un cours peut avoir des effets sur les pratiques de l'enseignant. L'anecdote que je raconte souvent (radotage précoce...) et qui justifie mon attachement de principe comme pratique à l’évaluation, c'est que j'ai moi-même changé mes pratiques d'enseignant dès mes premières expériences en intégrant les remarques des étudiants qui demandaient à ce que je fasse des commentaires immédiats sur leurs exposés (une chose que je ne faisais pas, car c'était un moment que je détestais lorsque j'étais étudiant. Oui, je sais, il y a longtemps...).
Tout ça pour quoi ? Parler de deux événements ou processus très actuels. Le premier tient aux résultats produits récemment par plusieurs instances d'évaluation, de classement et de sélection au sein de la science politique. J'ai ainsi été d'abord surpris, agacé et enfin choqué par le rejet de certains dossiers de doctorants lors de la récente campagne de qualification opérée par le CNU. Je ne veux ni généraliser, ni personnaliser, et je sais pour l'avoir éprouvé que les décisions paraissent parfois injustes, alors même que les discussions ont été vives, pluralistes et précises dans l'instance dénoncée. Mais, tout de même... Les rapports produits témoignent parfois d'un mélange peu heureux d'incompétence et de sectarisme. Les arguments d'autorité sont délivrés pour la simple raison qu'une thèse appartient trop évidemment à un champ, à une approche et/ou à une sous-discipline qui n'est pas celle de l'évaluateur. Les procédures et critères de l'évaluation sont alors parasités par les usages plus ou moins conscients de l'évaluation à des fins stratégiques : rejet par principe d'une institution, critique externe d'un travail non compris, logique positionnelle dans le champ scientifique, etc. Tout cela n'est pas très évaluatif, ni très scientifique et rappelle d'autres genres de pratiques, importées depuis en Gaule...
Autre exemple actuel : l'incorporation de pratiques d'évaluation des cours et des diplômes dans les universités, dont le texte de loi visant à réformer l'enseignement supérieur fait un élément important du fonctionnement futur des universités. Les problèmes sont ici différents et portent plutôt sur les objectifs et sur les usages de l'évaluation (les points a) et d), c'est cool, vous avez tout suivi). L'évaluation des cours par exemple, pratiquée par les étudiants, pourrait sans doute être améliorée (certains critères sont inadaptés, d'autres souvent absents, comme la place relative du cours dispensé dans la formation générale), mais c'est surtout ici l'absence de légitimité et d'effets qui me semble inquiétante. Les cours ou les enseignants qui font l'objet d'évaluations négatives ne sont le plus souvent jamais remis en cause, par inertie, par lâcheté ou par une vague solidarité corporatiste qui repose sur un ethos égalitaire peu en phase avec la logique d'évaluation. Il ne s'agit évidemment pas de supprimer un cours (j'en vois au fond qui ont eu peur ou qui ont espéré me voir parler de la suppression physique de certains collègues, mais non, pas du tout, je ne suis pas comme ça), mais plutôt de se servir collectivement et individuellement des jugements portés et des indications données pour ajuster et améliorer les contenus, les articulations et les justifications d'un enseignement.
Bref, il y a encore du boulot pour rendre l'évaluation légitime, efficiente, juste et plus efficace.
Pour en finir avec l'évaluation et revenir à mon Top 50 (il y avait donc bien une logique sous-jacente dans ce post qui avait échappé à son auteur...), cette chanson a été abondamment écoutée, disséquée, adorée.
L'évaluation est un terme à la mode. On pourrait la définir a minima comme l'opération qui consiste à produire un jugement et/ou un classement sur une série limitée d'objets à partir d'une série (plus ou moins...) limitée de critères, eux-mêmes définis par rapport à des valeurs ou des objectifs (plus ou moins...) explicites. Exemple : le défunt Top 50 de Marc Toesca (on sent le post régressif tout de suite... Il y a même une entrée wikipedia relative au Top 50, où va-t-on...) reposait sur une forme d'évaluation des chansons à un instant t indexée sur les ventes de titres.
Les spécialistes d'analyse des politiques, publiques dont je fais partie, connaissent depuis longtemps les caractéristiques et dilemmes de la démarche évaluative. D'abord, parce que l'évaluation constitue la dernière des séquences habituellement isolées pour décrire le processus d'élaboration et de mise en œuvre des politiques publiques. Dans cette perspective, l'évaluation est parfois qualifiée de moment "réflexif", parce qu'elle recouvre les opérations par lesquelles les acteurs publics ou privés produisent un jugement rétrospectif sur les dynamiques et/ou sur les "performances" des politiques publiques. Ensuite, parce que l'évaluation est devenue un terme générique qui recouvre depuis plusieurs années des réformes de l'Etat et de l'administration, qui visent à transformer et (re-)légitimer les acteurs publics par un examen systématique de leurs décisions. L'évaluation serait ainsi devenue un levier important pour dynamiser l'action, en pointant les défauts à corriger, mais aussi une dynamique essentielle de légitimation en permettant une plus grande transparence et une plus grande réactivité chez les acteurs politico-administratifs. Les indicateurs de performance introduits en France par les politiques de modernisation en sont un exemple, parfois rattachés à des tendances plus générales liées au New Public Management.
Le milieu académique est tout à la fois concerné depuis longtemps par des formes diverses d'évaluation comme, plus récemment, par des réformes qui visent à systématiser et à rationaliser les procédures d'évaluation pour améliorer les pratiques d'enseignement et de recherche. Comme le notent d'ailleurs de façon triviale de nombreux observateurs et universitaires, une bonne partie du travail vise justement à produire en permanence des évaluations. La notation des étudiants en est l'illustration la plus banale, la plus fréquente et, souvent, la plus assommante.
Ce qui m'intéresse aujourd'hui, mon cher Michel (Polacco, l'acolyte de Michel Serres sur France Info), c'est l'évaluation des enseignants-chercheurs et de leurs pratiques. En simplifiant, on peut isoler trois formes principales d'évaluation :
1) L'évaluation individuelle : il s'agit là des opérations de jugement établis sur la qualité des travaux et des parcours des enseignants-chercheurs. L'une des formes les plus importantes, c'est évidemment l'évaluation des dossiers présentés lors des campagnes de recrutement (on y reviendra, c'est l'objet de l'agacement du jour... Teasing insoutenable). Mais, d'autres opérations s'y ajoutent : évaluation des dossiers pour l'avancement, les primes, etc.
2) L'évaluation des pratiques : on peut rassembler ici tous les dispositifs de sélection et de hiérarchisation des différentes pratiques d'enseignement ou de recherche que sont les travaux, les cours délivrés comme les projets de recherche effectués. Un exemple parmi d'autres, l'évaluation des papiers proposés pour publication dans une revue de leur(s) discipline(s) par les enseignants-chercheurs. Ces évaluations sont devenues essentielles, car elles déterminent de plus en plus les logiques de carrière comme les contenus de recherche. Les financements de la recherche se faisant de plus en plus avec une logique de programmes (financements européens, appels à projet de l'Agence Nationale de la Recherche, etc.), les évaluations pratiquées a priori, sur la base des projets concurrents présentés, sont des mécanismes puissants de sélection et de définition de la recherche en valorisant des thèmes, des approches, des équipes.
3 ) L'évaluation institutionnelle : c'est sans doute là que les choses ont le plus évolué ces dernières années en France, notamment avec la création d'instances telles que l'Agence d'évaluation de la recherche et de l'enseignement supérieur (AERES) en voie de suppression ou de réforme. L'AERES a en effet contribué à systématiser l'évaluation des centres de recherche, des universités, des écoles doctorales, des diplômes, en fournissant des procédures standardisées de jugement des "performances" relatives des établissements de recherche et d'enseignement supérieur. J'ai moi-même été plusieurs fois membre de comités d'évaluation et, alternativement, été évalué cette année comme directeur de Master, codirecteur d'un labo et comme membre d'une école doctorale.
Ces distinctions cachent des processus hybrides ou redondants : de façon inégalement explicite, les évaluations des labos ou des écoles doctorales par exemple sont indexées sur le "poids scientifique" de leurs membres, attesté par leurs publications, leurs activités et leur insertion dans la communauté scientifique de référence. Symétriquement, l'évaluation individuelle d'un enseignant-chercheur est partiellement conditionnée par ses rattachements institutionnels et académiques, qui l'obligent parfois à des tâches administratives ou pédagogiques qui peuvent empiéter sur son activité de recherche.
Pour contextualiser un peu les choses, il est indéniable que les dernières années ont vu se multiplier, parfois de manière obscure et absurdement bureaucratique, les dispositifs d'évaluation. Un temps non négligeable est consacré à répondre à des demandes d'évaluation comme à participer à des instances d'évaluation. Je ne saurais pas "évaluer" précisément le temps passé pour ce qui me concerne à ces opérations, mais elles ont augmenté de façon incontestable depuis une dizaine d'années.
Si on s'interroge maintenant sur les "structures élémentaires" de l'évaluation, on peut avancer que toute évaluation est déterminée, formatée ou caractérisée par 4 éléments :
a) L'évaluation repose d'abord sur des objectifs et des principes qui en légitiment l'existence et qui en rythment l'exercice. Exemple : l'évaluation d'un papier pour une revue sera plus ou moins déterminée par les objectifs éditoriaux de la revue, par le taux de sélection rendu obligatoire par le nombre limité de numéros publiés annuellement ou encore par l'identité (sous-)disciplinaire que les membres du comité se sont eux-mêmes donnés.
b) L'évaluation est par ailleurs attachée à des critères de jugement et des attentes plus ou moins formalisées sur les contenus. Exemple : les logiques de recrutement laissent une place de plus en plus grande (enfin, pas en France...) sur des critères quantitatifs de nature bibliométrique. L'un des indicateur les plus connus est l'indice H, du nom de son créateur, Jorge Hirsch, qui mesure le nombre de citations d'un livre ou d'un article. Il permet de créer par là même des classements qui sont des indices de notoriété des membres d'une communauté scientifique (Cf. cet exemple pour les économistes, friands de ce genre d'outils) et peuvent peser sur les recrutements comme sur l'évaluation de leurs institutions.
c) L'évaluation passe en outre par des instances et par des procédures (c'est là que ça va commencer à tanguer, teasing going on...). Pas d'évaluation légitime et pertinente sans instances et procédures légitimes et pertinentes. L'évaluation se fait ordinairement par les pairs avec des règles plus ou moins formalisées visant à éviter les biais et/ou les conflits d’intérêt. Les critères de désignation doivent donc être clairs et acceptés par tous, sur des bases qui sont souvent de nature (para)électorale ou qualitative. Exemple : le Conseil national des Universités (CNU) est en France l'instance nationale qui a en charge des évaluations essentielles portant aussi bien sur la qualification des doctorants (ce qui leur permet de candidater aux postes ouverts localement) et il est composé de membres élus sur des listes proposées au choix de leurs collèges, ainsi que de membres nommés par le ministère (par une logique et selon des critères pas toujours très clairs, n'est-ce pas Dogbert ?).
d) L'évaluation produit enfin des effets et suscite des usages variables. Elle peut avoir par exemple pour effet de recruter ou pas tel ou tel candidat, de publier ou pas tel ou tel papier, de réformer ou pas un établissement, une formation, un laboratoire. D'un point de vue plus individuel, l'évaluation d'un cours peut avoir des effets sur les pratiques de l'enseignant. L'anecdote que je raconte souvent (radotage précoce...) et qui justifie mon attachement de principe comme pratique à l’évaluation, c'est que j'ai moi-même changé mes pratiques d'enseignant dès mes premières expériences en intégrant les remarques des étudiants qui demandaient à ce que je fasse des commentaires immédiats sur leurs exposés (une chose que je ne faisais pas, car c'était un moment que je détestais lorsque j'étais étudiant. Oui, je sais, il y a longtemps...).
Tout ça pour quoi ? Parler de deux événements ou processus très actuels. Le premier tient aux résultats produits récemment par plusieurs instances d'évaluation, de classement et de sélection au sein de la science politique. J'ai ainsi été d'abord surpris, agacé et enfin choqué par le rejet de certains dossiers de doctorants lors de la récente campagne de qualification opérée par le CNU. Je ne veux ni généraliser, ni personnaliser, et je sais pour l'avoir éprouvé que les décisions paraissent parfois injustes, alors même que les discussions ont été vives, pluralistes et précises dans l'instance dénoncée. Mais, tout de même... Les rapports produits témoignent parfois d'un mélange peu heureux d'incompétence et de sectarisme. Les arguments d'autorité sont délivrés pour la simple raison qu'une thèse appartient trop évidemment à un champ, à une approche et/ou à une sous-discipline qui n'est pas celle de l'évaluateur. Les procédures et critères de l'évaluation sont alors parasités par les usages plus ou moins conscients de l'évaluation à des fins stratégiques : rejet par principe d'une institution, critique externe d'un travail non compris, logique positionnelle dans le champ scientifique, etc. Tout cela n'est pas très évaluatif, ni très scientifique et rappelle d'autres genres de pratiques, importées depuis en Gaule...
Autre exemple actuel : l'incorporation de pratiques d'évaluation des cours et des diplômes dans les universités, dont le texte de loi visant à réformer l'enseignement supérieur fait un élément important du fonctionnement futur des universités. Les problèmes sont ici différents et portent plutôt sur les objectifs et sur les usages de l'évaluation (les points a) et d), c'est cool, vous avez tout suivi). L'évaluation des cours par exemple, pratiquée par les étudiants, pourrait sans doute être améliorée (certains critères sont inadaptés, d'autres souvent absents, comme la place relative du cours dispensé dans la formation générale), mais c'est surtout ici l'absence de légitimité et d'effets qui me semble inquiétante. Les cours ou les enseignants qui font l'objet d'évaluations négatives ne sont le plus souvent jamais remis en cause, par inertie, par lâcheté ou par une vague solidarité corporatiste qui repose sur un ethos égalitaire peu en phase avec la logique d'évaluation. Il ne s'agit évidemment pas de supprimer un cours (j'en vois au fond qui ont eu peur ou qui ont espéré me voir parler de la suppression physique de certains collègues, mais non, pas du tout, je ne suis pas comme ça), mais plutôt de se servir collectivement et individuellement des jugements portés et des indications données pour ajuster et améliorer les contenus, les articulations et les justifications d'un enseignement.
Bref, il y a encore du boulot pour rendre l'évaluation légitime, efficiente, juste et plus efficace.
Pour en finir avec l'évaluation et revenir à mon Top 50 (il y avait donc bien une logique sous-jacente dans ce post qui avait échappé à son auteur...), cette chanson a été abondamment écoutée, disséquée, adorée.
Commentaires
patriciadepas0636@gmail.com