B. UN BILAN EN DEMI-TEINTE
Malgré de réels progrès, amenés, notamment, par une sorte de regain de volonté de quelques acteurs du dispositif d'évaluation, celui-ci paraît, à l'heure où le présent rapport est achevé, en bout de course, débouché naturel d'un essoufflement dans la mise en oeuvre d'une mission conduite dans un cadre institutionnel trop pénalisant.
1. Une augmentation du nombre d'évaluations
Le nombre des opérations lancées par le CNE depuis 1999 témoigne d'un certain renouveau de l'évaluation . Il s'élève à quinze projets qui ont concerné :
* Les évaluations décidées par le Comité interministériel de la réforme de l'État (CIRE) du 13 juillet 1999 :
- la politique de préservation de la ressource en eau destinée à la consommation humaine ;
- le programme « Nouveaux services-emplois jeunes » dans le champ de la jeunesse et des sports ;
- les mesures d'aide aux emplois du secteur non marchand ;
- la politique de lutte contre le sida ;
- la politique du logement social dans les départements d'outre-mer.
* Des évaluations décidées lors du CIRE du 25 octobre 2000 :
- la formation professionnelle continue des agents de l'État ;
- les politiques de développement rural ;
- la politique de contrôle sanction en matière de sécurité routière.
* Un programme de sept évaluations, approuvé par le Premier ministre en juillet 2001 :
- la politique du service public des déchets ménagers,
- les aides aux très petites entreprises,
- la politique de contractualisation des universités,
- les fonds structurels et les politiques régionales,
- le recours à des opérateurs externes en matière de politique d'emploi,
- les politiques d'amélioration de l'accès à la prévention et aux soins,
- les aides en faveur du transport combiné rail/route.
2. Des délais toujours excessifs
Par ailleurs, le rythme des travaux d'évaluation s'est légèrement accéléré . Les premières évaluations citées ont pu être réalisées dans une moyenne de dix-huit mois, si l'on en croit le dernier rapport d'activité du CNE.
Ce résultat moyen reste toutefois médiocre d'autant que les écarts à cette durée moyenne ont pu être très importants.
Au demeurant, cette moyenne n'apparaît que peu significative. Calculée sur trois évaluations seulement, elle ne prend pas en compte les délais intervenant en amont de la décision de lancer une évaluation. Normalement, ces délais auraient dû être réduits puisque le nouveau dispositif avait supprimé l'étape initiale du comité interministériel de l'évaluation, qui ralentissait considérablement la procédure. Cependant, cette suppression semble, tout au moins, dans les premiers moments du nouveau dispositif, n'avoir pas produit tous ses effets. Le CIME a bien pu être supprimé, le CIRE en a pris le relais.
Des gains de temps peuvent certainement intervenir, mais la question du quantum reste posée.
Pour certains, les exigences de scientificité constituent, de ce point de vue, une contrainte difficilement contournable . Sans ignorer la longueur inhérente à certaines opérations complexes, il ne faut pas en surestimant cette variable par rapport à d'autres données, qui peuvent handicaper sérieusement la réactivité du système, se résoudre au sentiment résigné que l'évaluation serait nécessairement un processus lourd, difficilement maniable et représenterait, in fine , un instrument certes théoriquement doté de toutes les vertus, mais pratiquement dénué d'efficacité.
Le CNE en évoque quelques-unes dans son dernier rapport d'activité. Il estime que jouent, dans l'allongement des délais, les facteurs suivants :
« - Les travaux préparatoires peuvent prendre plusieurs mois afin que puissent être collectées les données nécessaires à l'évaluation, que puisse être réalisé l'état de l'art et, surtout, que puisse être appréciée la faisabilité de l'évaluation. Ce temps est indispensable sur des sujets complexes où les données sont souvent dispersées, les acteurs multiples et les concepts flous ;
- la mise en place d'une instance et la désignation d'un président d'instance ;
- le temps mis par le CNE pour formuler son avis : en pratique, les deux mois prévus par le décret de novembre 1998 se sont révélés effectivement nécessaires, ne serait-ce que pour organiser des allers-retours avec le président de l'instance concernée et les rapporteurs ;
- le délai de réponse des administrations, dans le cadre de la procédure contradictoire instituée de manière novatrice en 1998 ;
- les délais matériels de publication du rapport.
- les délais d'appel d'offres européens, obligatoires pour engager les programmes d'études des instances, se révèlent bien souvent contradictoires, voire incompatibles avec l'objectif de réduction significative des délais, comme l'ont souligné la plupart des présidents lors de leur audition devant le Conseil national de l'évaluation. »
3. Des projets d'évaluation peu pertinents
Il convient de tenir compte de ces observations qui, excepté pour les contraintes légales d'appel d'offres pointent, toutes, une forme de manque de moyens et de pratique de l'évaluation.
Les analyses du CNE sur la qualité des projets soumis par les commanditaires en constituent une éloquente illustration. Il observe que :
« parmi l'ensemble des projets dont il avait été saisi en 2000 :
- onze ont été abandonnés à la suite du désistement du ministère qui en avait formulé la demande ou faute d'un accord des autres administrations concernées... ;
- six ont été écartées par le CNE parce que leur contenu était insuffisamment élaboré ou leur opportunité non avérée ;
- treize ont été provisoirement différés parce que la mise au point du projet appelait des investigations et des approfondissements complémentaires (en particulier, le recueil de données préalables) ;
- six projets ont débouché sur une véritable commande d'évaluation. »
Le CNE poursuit en estimant que :
« ce bilan souligne la difficulté pour les ministères de passer d'une simple intention d'évaluer à un véritable projet d'évaluation. Faute de temps, de savoir-faire ou tout simplement de données , le travail de préparation reste souvent insuffisant. Les administrations ont du mal à rassembler les éléments de diagnostic, souvent épars et nombreux. Les projets présentés souffrent de nombreuses imprécisions, quand ils ne se limitent pas à un libellé succinct. De façon plus générale, ces difficultés soulèvent la question du niveau de culture des administrations en matière d'évaluation . »
Sa conclusion est sans ambiguïté :
« ... les différents ministères ne consacrent pas assez de moyens propres (humains et financiers) à ces démarches interministérielles ... »
Vos rapporteurs souhaitent prolonger les analyses du CNE en livrant leurs propres impressions au terme de leurs travaux .
A leurs yeux, toute démarche interministérielle d'évaluation d'une politique publique est susceptible de se heurter, hormis aux difficultés inhérentes à tout projet d'évaluation :
- à l'insuffisance des moyens disponibles , les travaux internes étant prioritaires,
- à l'insuffisance des données disponibles , la logique de production statistique étant largement ministérielle,
- à la réticence des pourvoyeurs de données à les rassembler et à les fournir,
- à la réticence des administrations à accepter de travailler avec d'autres acteurs , y compris avec d'autres unités administratives,
L'analyse de la participation d'un service
d'études et de recherches à la procédure
interministérielle d'évaluation : la DARES
Elle a également participé à des évaluations initiées par d'autres départements ministériels : l'évaluation des emplois jeunes dans le champ de la jeunesse et des sports (rapport publié en 2001) et l'évaluation des aides aux très petites entreprises (travaux en cours).
Les motivations de la DARES, lorsqu'elle recourt à ces procédures, semblent variables.
La décision de confier à une instance interministérielle l'évaluation de la loi quinquennale de 1993 peut se lire comme la volonté de se doter des moyens de produire des matériaux d'évaluation solides en appui au rapport du Gouvernement au Parlement prévu par la loi elle-même. Le caractère polymorphe de la loi qui comprenait plus de quatre-vingts articles portant sur des thèmes très différents laissait craindre que, faute d'une démarche d'évaluation très construite, le rapport du Gouvernement au Parlement soit sans grand intérêt évaluatif.
Le thème de l'évaluation des emplois aidés dans le secteur non marchand s'est imposé à la DARES pour d'autres raisons. A l'origine, la DARES avait suggéré au ministre d'évaluer, dans le cadre d'un groupe de travail interministériel, le programme « nouveaux services-emplois jeunes. Le caractère interministériel du programme plaidait en effet pour une évaluation elle-même interministérielle ; de plus, la loi créant ce dispositif prévoyait un rapport du Gouvernement au Parlement qu'il semblait là aussi utile d'alimenter par des éléments d'évaluation. Cette proposition a été élargie à l'ensemble des contrats aidés dans le secteur non marchand, incluant ainsi le programme « emplois jeunes » dans un ensemble plus vaste.
Le thème en cours d'évaluation, celui de l'externalisation de la mise en oeuvre des politiques d'emploi, par nature, ne relève de la compétence d'aucun service du ministère en particulier. Il apparaît cependant très déterminant, à la fois dans l'analyse des conditions de mise en oeuvre des politiques auprès des bénéficiaires finaux, mise en oeuvre dont on a vu qu'elle pouvait influer de façon importante sur les résultats finaux, comme dans celle des organisations du travail au ministère chargé de l'emploi. La perception par la DARES de l'intérêt de ce thème, son caractère éminemment politique et l'absence de compétences internes au ministère pour conduire l'évaluation, ont amené à en faire la proposition au titre du programme du Conseil national de l'évaluation.
On observe que deux des trois évaluations interministérielles conduites par la DARES se sont inscrites dans le cadre d'un processus caractérisé par l'obligation légale de fournir au Parlement un rapport d'évaluation des dispositifs votés par lui.
Ce type d'obligation paraît donc un élément décisif pour enclencher des pratiques d'évaluation.
Le recours à la procédure interministérielle semble, quant à lui, répondre à un besoin de partage de l'évaluation, soit que la politique étudiée soit de fait interministérielle, soit qu'une pluralité de points de vue administratifs soit jugée utile. Il n'est pas exclu non plus que l'inscription d'une évaluation dans le cadre de ces procédures réponde à des « besoins d'ordre hiérarchique » puisque, en théorie, le Premier ministre est alors concerné. L'importance politique d'un sujet ou d'éventuels désaccords entre ministères peuvent jouer pour actionner ces procédures.
Interrogé sur la mise en oeuvre des recommandations issues des travaux d'évaluation entrant dans les compétences du ministère lors des cinq dernières années, celui-ci reste assez évasif. Il cite néanmoins :
- le rapport de la Commission du Plan et ses nombreuses recommandations sur la réduction du temps de travail, dont on sait que le nouveau Gouvernement s'est sensiblement écarté ;
- une partie des recommandations du rapport d'évaluation des contrats aidés dans le secteur non marchand, notamment celles consistant à fusionner les CES (Contrats emploi-solidarité) et les CEC (Contrats emploi consolidé) dans un dispositif unique adaptable aux cas individuels qui sont à l'étude à la Délégation générale à l'emploi et à la formation professionnelle.
- les travaux d'évaluation de l'impact du passage dans
un dispositif d'emploi ou de formation qui sont jugés avoir fortement
influencé la conception des politiques, qui mettent désormais
plus souvent l'accent sur les notions de parcours et d'accompagnement (Nouveau
Départ puis PAP ; TRACE).
Aide à la reprise
d'activité des femmes
Conventions Appui conseil
Conventions de
réduction du temps de travail
Allégements de cotisations
sociales
Chômage partiel indemnisable
Pré-retraites
- à la réticence des administrations à se rendre transparentes .
Or, dans le système actuel, rien ne vient garantir que ces obstacles puissent être levés. C'est donc en partant de cet angle d'attaque qu'il convient de réformer ce système.