II. UN DISPOSITIF DE PILOTAGE ET D'ÉVALUATION DE LA LOI LACUNAIRE
A. FAUTE DE SYSTÈME D'INFORMATION ET D'INDICATEURS FINALISÉS, QUEL PILOTAGE PAR LA DONNÉE ?
1. Des alertes multiples sur les insuffisances du pilotage dès 2019
Un comité de suivi de la loi ORE a été installé par la ministre de l'enseignement supérieur le 21 juin 2018. À cette occasion, la ministre a précisé le rôle du comité : « votre mission sera d'évaluer et d'apprécier dans leur globalité et dans leur cohérence les effets de la loi Orientation et réussite des étudiants ». Elle ajoute : « articulation entre les équipes pédagogiques de l'enseignement supérieur et de l'enseignement secondaire ; examen des voeux et mise en place des dispositifs d'accompagnement pédagogique ; évaluation des effets de la réforme sur les inégalités sociales et territoriales. Ce sont à ces questions que le comité de suivi sera amené à se confronter »23(*).
Malheureusement, ce programme ambitieux n'aura, semble-t-il, pas dépassé la première étape. Le rapporteur spécial n'a pas trouvé trace d'une activité du comité de suivi après la remise de son premier rapport en octobre 2019. L'administration n'a pas répondu à ses interrogations sur les raisons de l'interruption des travaux du comité dès la première année de mise en place de la loi ORE. Cette question demeure d'autant plus que le rapport de 2019 du comité de suivi mentionne des travaux à venir et précise bien qu'il s'agit d'un premier bilan.
Il est vrai que le comité a soulevé, dès son rapport, les lacunes du pilotage observées au cours de la première année de mise en place de la loi ORE. Il souligne ainsi « la nécessité, pour le ministère, d'avancer sur deux plans : d'une part, celui de l'évolution du dialogue avec les établissements, qui devrait s'appuyer sur des catégories et concepts plus robustes, le développement d'un accompagnement inscrit dans la durée des établissements d'enseignement supérieur [...] ; d'autre part, celui de la construction d'un dispositif d'évaluation, qui soit - idéalement - cohérent avec l'esprit de la loi - et donc adossé au contrat de réussite -, assis sur une conception rénovée de la réussite et utile à l'ensemble des acteurs ». Le comité ajoute que « la cohérence globale du pilotage doit prendre en compte le manque d'unité politique d'une part et budgétaire d'autre part ».
Un an plus tard, le constat des lacunes du pilotage effectué par la Cour des comptes sur des moyens « mal suivis » et « décorrélés des besoins effectifs » sera tout aussi sévère. La Cour critique « une méthode de financement de places supplémentaires à repenser » et indique que « le suivi de l'emploi des crédits attribués et des agents recrutés n'est pas efficace »24(*).
2. L'autonomie des universités a pu limiter la consolidation des données au niveau national
a) Un pilotage qui doit tenir compte de la double nature des universités
Le comité de suivi de la loi ORE l'indiquait dès 2019 : « le pilotage se trouve ici compliqué, en raison d'une part de la mise en oeuvre extrêmement rapide de la loi et d'autre part, de la double nature des universités, à la fois opérateurs ministériels et établissements autonomes ».
Ainsi, le rapporteur spécial a pu entendre à de multiples reprises lors des auditions, que le ministère n'avait pas été en capacité d'accéder aux données du fait de la liberté des universités dans le déploiement des dispositifs « Oui si » ou dans le choix des nouvelles places créées.
Il est certain que les difficultés de remontée des données sont en partie le résultat d'une absence de vision consolidée des données au niveau des établissements eux-mêmes. Le Haut Conseil de l'évaluation de la recherche et de l'enseignement supérieur a ainsi indiqué au rapporteur spécial avoir constaté au niveau des universités un « défaut de pilotage global des formations »25(*) qui engendrerait, à son tour, les lacunes du pilotage au niveau des rectorats, puis de l'administration centrale.
Dans un rapport également paru en 2020, l'inspection générale de l'éducation, du sport et de la recherche souligne que la « phase de collecte et de validation des données avec les établissements est cependant révélatrice de la faiblesse des établissements en matière de pilotage des données relatives au suivi des résultats des étudiants ». Le rapport met en avant une « collecte des données délicate qui met en évidence des marges de progrès significatives dans les établissements »26(*).
Le rapporteur spécial souligne néanmoins que, bien qu'autonomes, et s'il ne s'agit bien entendu pas de remettre en cause cette autonomie, les universités restent des opérateurs de l'État et doivent à ce titre rendre des comptes sur l'utilisation des financements accordés annuellement par le Parlement. Le renforcement du dialogue entre les établissements et l'administration sur l'accès aux données doit donc constituer une priorité.
Les réponses du rectorat délégué d'Île-de-France mentionnent que le contexte du pilotage des dispositifs et des moyens ORE découle « de l'autonomie des universités qui décident ou non de s'emparer des outils créés par la loi ». Or d'une part, dès lors que le législateur s'est prononcé sur la mise en place de nouvelles missions, les universités doivent les mettre en place, et d'autre part, il appartient au ministère de l'enseignement supérieur de s'assurer que les crédits alloués correspondent effectivement aux orientations et aux dispositifs figurant dans la loi.
b) Une consolidation nationale des données parcellaire
Pour certains sujets, le ministère ne dispose que d'une vision très limitée des dispositifs mis en place par les universités, essentiellement sur la base d'enquêtes. À titre d'exemple, il n'existe toujours pas, cinq ans après leur généralisation, de cartographie générale et d'analyse des parcours « oui si ».
En 2019, le comité de suivi indiquait ainsi : « il serait assurément présomptueux de porter dès à présent un jugement de nature évaluative sur les effets de la loi ORE pour les publics étudiants. Une première raison tient à l'absence de remontées de données de suivi en provenance des établissements du supérieur. Ces données de suivi sont en effet essentielles à la fois pour le pilotage ministériel de la réforme et pour accompagner les acteurs de terrain ». Or, en 2023, le rapporteur spécial ne peut que reprendre à son compte cette remarque.
L'exemple le plus significatif est celui du suivi des emplois supplémentaires liés à la loi ORE. En 2020, la Cour indiquait que le ministère « ne disposait pas de données sur les emplois effectivement créés dans les universités au titre de la loi ORE », « ne connaît ni le nombre de personnes recrutées ni le type de support proposé » et « refusait de mettre en place des outils de suivi fins, considérant que la restitution des créations d'emplois au Parlement dans le rapport annuel de performance est suffisante ».
En 2023, le ministère ne semble pas davantage être en capacité de fournir un suivi des emplois créés en lien avec la loi ORE. Le ministère considère que « compte tenu notamment du nombre d'opérateurs relevant du programme 150, il n'est pas possible de quantifier avec précision la corrélation entre les schémas d'emploi réalisés par les établissements et les crédits alloués dans le cadre de la loi ORE pour la création de places sur le cycle de licence »27(*). Il a pu procéder à des estimations et a pu fournir un nombre de 2 968 ETPT supplémentaires entre 2018 et 202228(*).
Ce chiffrage reste extrêmement approximatif, dans la mesure où la DGESIP considère que l'ensemble du schéma d'emplois sur la période est imputable à la loi ORE, « dans la mesure où les mesures nouvelles de masse salariale inscrites en LFI de 2018 à 2021 concernaient pour l'essentiel la mise en oeuvre de la loi ORE »29(*), ce qui constitue un point de départ contestable ne tenant pas compte des politiques de formations hors ORE que les établissements ont pu mettre en place. En outre, ce chiffre est issu d'un calcul entre les moyens supplémentaires accordés annuellement et un coût moyen par emploi de 60 000 euros, qui n'est pas représentatif de l'éventail des rémunérations applicables.
Cette absence de données consolidées découle déjà d'une absence de consolidation au niveau académique : « nous ne disposons pas de données précises concernant le nombre de recrutements opérés par les universités ni l'impact sur le taux d'encadrement »30(*).
S'agissant des créations de places, le rapporteur spécial a largement détaillé supra l'absence de contrôle systématisé et les lacunes du suivi.
c) L'ambition de la déconcentration face aux limites des rectorats
Comme cela a été présenté plus haut, le rôle des recteurs a été renforcé par la mise en place du dialogue de gestion. Les réponses transmises par la DGESIP au rapporteur spécial dressent du DSG un bilan pour le moins positif : cette évolution aurait « permis de disposer d'une expertise de proximité, au plus proche des besoins avérés pour les établissements et a ainsi permis une allocation au plus juste des besoins ».
Cette vision semble devoir être largement nuancée.
D'une part, les rectorats n'ont pas tous été en mesure d'obtenir des données des établissements, faute de système d'information adapté. Ensuite, les rectorats ont joué un rôle de remonté des données plus ou moins approfondi, la DGESIP elle-même reconnaissant des « disparités entre les rectorats dans les remontées d'informations »31(*).
Le suivi devrait être facilité dans les rectorats de région qui disposent d'un recteur délégué à l'enseignement supérieur. Les rectorats d'académies qui disposaient de la compétence « enseignement supérieur et recherche » ont piloté le déploiement territorial des dispositifs issus de la loi ORE de 2018 à 2020, avant un changement de ressort de la compétence au profit des nouvelles régions académiques. Toutefois, le rôle du recteur délégué reste très variable selon les académies et l'investissement du recteur d'académie dans les domaines relevant de l'enseignement supérieur. En particulier, la consolidation des données au niveau interacadémique n'est pas toujours évidente. Le rectorat délégué d'Île-de-France indique que la consolidation des données des trois académies d'Île-de-France est rendue complexe par la coexistence de « cultures professionnelles différentes entre les trois académies, ayant chacune administré les données des dispositifs ORE selon des modalités propres entre 2018 et 2020 ». Le rectorat délégué soulève également la question d'une « structuration très progressive de l'échelon « région académique » depuis 2020 qui n'a pas permis, à ce stade, d'aboutir à des tableaux de bord harmonisés »32(*).
D'autre part, il semble qu'il existe un manque de fluidité dans les relations entre les rectorats et l'administration centrale, dans un sens descendant, a minima sur la question des crédits ORE. Ainsi, les réponses fournies au rapporteur spécial indiquent qu'en« l'absence d'informations complètes sur ce qui a été négocié par le ministère avec les établissements, le rectorat n'a plus été en capacité de retracer à la place près les financements accordés, et inversement », en particulier après la remontée de la gestion des créations de place en administration centrale après 2021.
Les rectorats semblent parfois pris entre deux échelons. Ainsi, s'agissant de l'évolution du taux d'encadrement des étudiants, les indicateurs sont calculés en interne aux universités ou au ministère, mais le rectorat ne dispose pas de ces informations.
* 23 Rapport du comité de suivi de la loi ORE, octobre 2019.
* 24 Cour des comptes, 2020.
* 25 Audition du HCERES.
* 26 Mesure de la réussite étudiante au regard de la mise en oeuvre de la loi ORE Année 2018-2019, rapport de l'Inspection générale de l'éducation, du sport et de la recherche, février 2020.
* 27 Réponses de la DGESIP au questionnaire du rapporteur spécial.
* 28 Réponses au questionnaire parlementaire pour le PLF 2023.
* 29 Idem.
* 30 Réponses du rectorat délégué d'Île de France.
* 31 Audition de la DGESIP.
* 32 Réponses au questionnaire du rapporteur spécial.