V. L'ÉVALUATION : BILAN D'UNE RÉVOLUTION CULTURELLE DANS LE MONDE UNIVERSITAIRE
A. L'ÉVALUATION EXTERNE DES ÉTABLISSEMENTS : UN PRINCIPE LARGEMENT PARTAGÉ PAR LES UNIVERSITÉS, DONT LA MISE EN oeUVRE EST ENCORE PERFECTIBLE
1. L'Agence d'évaluation de la recherche et de l'enseignement supérieur : attention à « ne pas jeter le bébé avec l'eau du bain »
Créée par la loi n° 2006-450 du 18 avril 2006 de programme pour la recherche, l'Agence pour l'évaluation de la recherche et de l'enseignement supérieur (AERES) vise à améliorer la qualité du système d'enseignement supérieur français conformément aux standards européens et internationaux. L'évaluation indépendante de nos établissements répond à une exigence européenne, dans le cadre du processus de Bologne, en vue de la constitution d'un Espace européen de l'enseignement supérieur fondé sur la confiance réciproque des États membres vis-à-vis des systèmes d'enseignement supérieur de leurs voisins.
L'AERES a ainsi inscrit durablement son action dans la construction de l'Espace européen de l'enseignement supérieur et de la recherche. Ses référentiels d'évaluation des établissements, des formations ainsi que des structures de recherche s'appuient sur les références européennes pour le management de la qualité ( European Standards and Guidelines for Quality Assurance - ESG ) qui constituent les principes communs arrêtés dans le cadre du processus de Bologne. La reconnaissance de l'AERES et son inscription au registre européen EQAR ( European Quality Assurance Register ) viennent garantir la bonne adéquation entre ses pratiques et les principes européens.
La politique d'évaluation conduite par l'agence, fondée sur les principes d'indépendance, de transparence et d'impartialité, contribue au renforcement de la contractualisation entre l'État et les établissements d'enseignement supérieur : elle influe logiquement sur le contenu des contrats pluriannuels d'établissement conclus par les universités avec l'État et donc sur l'allocation d'une partie des financements récurrents qui en découlent.
Le premier cycle d'évaluations réalisées par l'AERES dans le champ de l'enseignement supérieur et de la recherche a permis d'ancrer l'évaluation dans la vie des établissements. L'ampleur de ce cycle d'évaluations est résumée par le tableau suivant :
LES GRANDS NOMBRES DU PREMIER CYCLE (2007-2011)
DES
ÉVALUATIONS CONDUITES PAR L'AERES
DANS LE CHAMP DE L'ENSEIGNEMENT
SUPÉRIEUR ET DE LA RECHERCHE
|
Nombre de programmes de formation évalués au moins une fois |
3 960 |
|
Nombre d'entités de recherche (unités, structures fédératives, centres d'investigation clinique) évaluées au moins une fois |
3 196 |
|
Nombre d'équipes de recherche évaluées au moins une fois |
5 483 |
|
Nombre d'établissements d'enseignement supérieur et de recherche évalués au moins une fois |
325 |
|
Nombre d'organismes de recherche évalués au moins une fois |
18 |
|
Nombre de programmes /grands équipements évalués au moins une fois |
3 |
|
Nombre de rapports d'évaluation disponibles sur le site de l'AERES au 2 mai 2012* |
3 770 |
|
Nombre d'experts mobilisés pour le premier cycle d'évaluation |
5 900 |
|
Dont pourcentage d'experts étrangers |
18 % |
* pour les formations, un même document présente l'évaluation des différents types de formation de l'établissement au cours d'une vague d'évaluation.
Données AERES Rapport d'activité AERES 2011
En ce qui concerne l'offre de formation, l'AERES fait le bilan des diplômes dont le renouvellement est demandé dans le cadre de la nouvelle période de contractualisation. Cette évaluation porte sur l'architecture des unités d'enseignement, sur les dispositifs de réorientation mis en place, sur le suivi des cohortes d'étudiants... L'AERES attribuait une note par mention pour les licences et par mention et par spécialité pour les masters.
En ce qui concerne la recherche, l'AERES évalue les unités de recherche et les écoles doctorales et leur attribuait une note. La note globale a toutefois disparu avec la vague C (2013-2017) et elle a été remplacée par cinq notes reposant sur plusieurs critères dont le taux de produisants. L'AERES établit un diagnostic des points forts et points faibles pour chaque unité et chaque école doctorale.
En ce qui concerne, enfin, l'évaluation de l'établissement, l'AERES s'assure que les établissements se sont effectivement dotés d'une procédure d'auto-évaluation et elle examine les grands domaines de gestion (ressources humaines, finances, patrimoine, système d'information...) afin d'en tirer un diagnostic en termes de forces et de faiblesses.
L'AERES n'évalue pas formellement l'exécution du contrat d'établissement au sens où les engagements pris par les établissements en termes de niveau de performance attendu à l'issue du contrat ne sont pas évalués jusqu'ici. L'Association des secrétaires généraux des établissements d'enseignement supérieur regrette que les résultats de l'évaluation de l'exécution du contrat par l'AERES ne soient pas suffisamment pris en compte dans l'allocation des moyens récurrents. L'intégration des crédits du contrat d'établissement dans le modèle SYMPA et la création d'un simple « bonus contractuel » ne sont pas à la hauteur des efforts réalisés par les établissements dans la mise en oeuvre du contrat. Le bilan a été pendant longtemps un document qui n'a jamais été examiné au cours du dialogue contractuel. Le poids relatif du « bonus contractuel » dans les ressources des établissements est si faible qu'il n'a aucun effet incitatif.
En conséquence de l'architecture du modèle de financement récurrent SYMPA, la majorité des moyens est allouée en fonction de l'activité pour la formation et en fonction de la performance pour la recherche . La performance en matière de recherche s'apprécie au regard des deux critères principaux issus des évaluations de l'AERES qui sont le nombre d'enseignants-chercheurs produisants et la notation des unités de recherche.
Au total, c'est donc bien la recherche qui est impactée par les évaluations de l'AERES, contrairement à la formation dont le critère principal à l'activité concerne uniquement le nombre d'étudiants présents aux examens.
Cette prise en compte des évaluations de l'AERES, en particulier pour le financement de la recherche, a fait débat au sein de la communauté universitaire, si bien que l'agence a été conduite à supprimer la note globale pour les unités de recherche. Cette suppression emporte des conséquences notables sur le système d'allocation des moyens et, à l'occasion d'une refonte du modèle SYMPA annoncée en 2012 pour 2014, cette question de la liaison entre les évaluations et le financement devra être tranchée.
Dans trois des universités visitées par vos rapporteurs, la première évaluation de l'établissement par l'AERES a été perçue comme une tracasserie supplémentaire en raison de la superficialité des analyses et du caractère inadapté de certaines recommandations. L'évaluation s'est avérée plus descriptive que stratégique, en se perdant dans des détails relativement déconnectés du vécu de l'établissement. En revanche, la deuxième évaluation a été accueillie positivement par ces universités, reconnue comme utile et constructive. Des améliorations notables avaient, en effet, été apportées à la procédure d'évaluation : une simplification et un assouplissement des dossiers d'évaluation afin notamment de mieux tenir compte des spécificités disciplinaires, une meilleure prise en compte des travaux d'autoévaluation conduits par les établissements... L'expérience acquise lors de la première évaluation a été mise à profit pour une préparation collective, facteur de mobilisation et de cohésion, déjà propices à une attitude prospective.
L'université d'Angers a, elle, fortement critiqué le rapport d'évaluation de 2011 de l'AERES la concernant, jugeant ses recommandations trop éloignées de la réalité de l'établissement. En l'absence de contacts directs avec les responsables de composantes et de laboratoires, le contenu de l'évaluation est jugé par l'ensemble de la communauté universitaire comme superficiel et déconnecté des réalités de terrain.
En revanche, et à la différence de bon nombre d'universités dont les équipes de chercheurs en règle générale rejettent l'évaluation des laboratoires par l'AERES, l'université d'Angers a estimé les rapports d'évaluation de l'AERES portant sur sa politique de recherche comme particulièrement positifs, constituant un outil d'aide à la décision dans la répartition stratégique des crédits entre ses unités de recherche, ses plateformes et ses structures fédératives de recherche (SFR).
D'une façon générale, l'ensemble des équipes dirigeantes des universités visitées ont insisté, auprès de vos rapporteurs, sur la nécessité d'une évaluation externe et indépendante qui soit perçue comme un levier d'amélioration du projet stratégique de l'établissement, et non pas comme une sanction. La notation est ainsi ressentie comme globalement pénalisante aussi bien pour les équipes de recherche que pour les formations.
Toutes les équipes dirigeantes rencontrées ont jugé indispensable cette évaluation objective et les appréciations sur l'AERES, ses pratiques et ses méthodes, améliorées au fil du temps, ont été positives. Un constat en contradiction avec les prises de position tranchées lors des assises et des appels violents à la disparition de l'AERES.
2. Les universités à la recherche d'un équilibre satisfaisant entre évaluation externe et autoévaluation
Dans le secteur de la recherche, l'AERES a été perçue comme un élément de remise en cause d'un système traditionnel d'évaluation par les pairs qui avait été internalisé de longue date. Malgré son statut d'autorité administrative indépendante, les observations et les analyses formulées par l'AERES ont été ressenties comme illégitimes par rapport aux pratiques antérieures. La légitimation d'un système indépendant d'évaluation externe commun à l'enseignement supérieur et à la recherche n'a pas été facilitée par une série d'impairs commis par l'agence aux tout débuts de son activité : les masses de questions adressées dans des dossiers d'évaluation très insuffisamment ciblées ; des visites jugées mal préparées lors des premières évaluations ; une pratique de la notation globale des unités de recherche et des laboratoires perçue comme une sanction ayant de lourdes conséquences aussi bien pour l'allocation des moyens récurrents que pour les appels à projets ; des experts jugés peu légitimes, en l'absence d'éléments attestant de leur indépendance et de la pertinence de leur expérience...
Dans ces conditions, il n'est pas surprenant que, dans sa première phase d'existence, l'AERES ait été vivement critiquée pour avoir délivré un travail non seulement redondant avec celui conduit par les organes d'évaluation internes des organismes de recherche ou par l'IGAENR et la Cour des comptes, mais d'une qualité jugée bien inférieure parfois.
|
LES MÉCANISMES D'ÉVALUATION PAR LES PAIRS
MIS EN PLACE
Conformément à l'obligation statutaire posée par les articles 10, 29 et 49 modifiés du décret n° 83-1260 du 30 décembre 1983 fixant les dispositions statutaires communes aux corps de fonctionnaires des établissements publics scientifiques et technologiques, les organismes de recherche ont de longue date intériorisé la revue des pairs en mettant en place des procédures d'évaluation par les pairs de leurs chercheurs. Les chercheurs du CNRS doivent présenter un rapport d'activité en vue de leur évaluation par leur(s) section(s) ou commission interdisciplinaire du Comité national de la recherche scientifique (CoNRS). Les chercheurs d'une même unité sont évalués simultanément tous les cinq semestres. L'INSERM s'appuie également sur une évaluation scientifique nationale et comparative par les pairs, au travers de son système « EVA ». Tout chercheur en activité est tenu de présenter tous les deux ans, en vue de son évaluation scientifique, un rapport d'activité. La pratique à l'Inserm consiste à demander un rapport d'activité, les années paires aux chercheurs nés un jour pair, les années impaires aux chercheurs nés un jour impair, examiné par la commission scientifique spécialisée compétente. |
De l'avis général des universités visitées par vos rapporteurs, il faut résister à la tentation qui consisterait à revenir à l'état antérieur d'une évaluation interne totalement déconnectée d'un cadre national régulé . Les équipes dirigeantes des universités reconnaissent la nécessité aussi bien pour leur conseil d'administration que pour l'État de s'appuyer sur une évaluation indépendante des activités, en particulier afin de s'assurer que le service de formation dispensé par chaque unité est d'une qualité conforme aux exigences du contrat d'établissement et aux exigences nationales minimales.
La reconnaissance de la formation comme une tâche noble du service des enseignants-chercheurs tient beaucoup à son évaluation. C'est à la condition que l'enseignement fasse l'objet d'une évaluation périodique sur la base de critères impartiaux et transparents, autres que le clientélisme, que la dimension pédagogique pourra être remise au coeur des missions des enseignants de l'enseignement supérieur. À cet égard, l'université de Strasbourg a souligné la nécessite pour l'évaluation des enseignements, notamment par les étudiants, de s'inscrire durablement dans le processus d'élaboration de la politique de formation, à l'image de l'évaluation de la recherche, dont le principe est accepté de longue date par les chercheurs. Les universités semblent donc revendiquer clairement le maintien d'une évaluation externe indépendante de la formation et des établissements.
En matière de recherche, elles insistent sur la nécessité de disposer d'un cadre national d'évaluation structurant, établi par une agence nationale : il s'agit d'éviter le risque que les unités mixtes de recherche soient évaluées par l'organisme interne d'évaluation de l'organisme de recherche partenaire, que les unités non mixtes soient évaluées par une autre structure totalement déconnectée... On ne peut faire l'économie d'un contrôle externe de la qualité des procédures internes d'autoévaluation des équipes de recherche, qu'elles relèvent d'un organisme de recherche, d'un laboratoire d'université ou qu'elles soient mixtes.
Les universités réclament, à l'instar du comité de suivi de la loi LRU, une transparence accrue des critères de nomination des experts participant aux comités de visite des équipes de recherche. L'évaluation est d'autant mieux acceptée qu'elle est conduite par des experts dont la compétence est assurée par un haut niveau de reconnaissance internationale de leurs travaux. De même, des règles déontologiques élémentaires doivent être énoncées clairement puis respectées, afin d'éviter les conflits d'intérêt.
L'ensemble des personnes auditionnées s'accordent pour reconnaître que l'AERES est nécessaire pour garantir l'uniformité du système national d'évaluation : elle doit se garder d'intervenir dans la « micro-évaluation » et mettre l'accent sur l'évaluation de l'orientation stratégique.