B. UNE ACTIVITÉ « PROFESSIONNELLE »
Sans être systématiquement marquée par une extrême complexité, l'évaluation des politiques publiques appelle , tant pour la conduite de son processus que pour les travaux auxquels elle donne lieu, la maîtrise d'un ensemble de techniques .
1. Une activité exigeante en expertise
L'une des spécificités de l'évaluation des politiques publiques est sa technicité. Un réel professionnalisme est requis aux différents stades de la démarche d'évaluation. Cette caractéristique emporte des conséquences qu'il faut prendre en compte pour assurer le succès de l'institutionnalisation de l'évaluation des politiques publiques.
L'abondante littérature sur les « bonnes pratiques » de l'évaluation témoigne, en soi, de l'existence d'une expertise de l'évaluation , du point de vue tant de la gestion de la démarche que des travaux qu'elle implique . Le développement et la diffusion des méthodes de l'évaluation ont d'ailleurs occupé une place reconnue, mais insuffisamment défendue (v. le chapitre 2) dans les différentes tentatives d'institutionnalisation de l'évaluation.
Chacun des stades de l'évaluation réclame en effet une réelle maîtrise technique et le processus d'évaluation lui-même doit être correctement organisé .
a) L'organisation du dispositif d'évaluation ne doit pas être laissée au hasard
Cette organisation suppose de bien structurer les différentes étapes de l'évaluation ainsi que les relations entre les acteurs de chaque projet évaluatif . La littérature consacrée à l'évaluation admet généralement qu'il n'existe pas de configuration unique. Cependant, il existe un cadre théorique des « bonnes pratiques ».
Vos rapporteurs considèrent qu'il est souhaitable aujourd'hui de codifier les principes essentiels qui en découlent . Cette codification ne s'appliquerait évidement qu'aux seules évaluations réalisées dans le cadre du système institutionnel proposé dans le présent rapport. Les principes retenus pourraient en outre servir de référence aux évaluations informelles réalisées en dehors du système institutionnel ici proposé. Elle est nécessaire à leurs yeux en raison de l'importance des choix d'organisation et de leurs effets sur la nature même des évaluations.
Pour illustrer l'importance des choix à effectuer, on peut mentionner :
le choix entre un dispositif complet , qui conduit à distinguer le commanditaire , l' animateur de l'évaluation, l' instance d'évaluation , les prestataires de services et, idéalement, une autorité gardienne des méthodes 3 ( * ) et un dispositif plus restreint .
le choix sur la définition des rôles des différents intervenants . Ceux-ci doivent être organisés et, de ce point de vue, plusieurs choix sont à effectuer . Parmi les principaux sont à mentionner le jeu de relations entre le commanditaire et l'instance d'évaluation et, en particulier, l'intervention, ou non, du commanditaire dans la composition de l'instance, ou encore les compétences pour déterminer la publicité des travaux d'évaluation ou les recommandations.
Ces choix représentent des enjeux importants . Toute institutionnalisation de l'évaluation des politiques publiques doit traiter de ces questions en privilégiant des solutions reposant sur les critères fondamentaux mentionnées plus haut.
b) Chaque étape de l'évaluation appelle une forme d'expertise
La maîtrise dans l'agencement du processus évaluatif suppose de définir plusieurs étapes de l'évaluation qui, chacune , appelle une forme d'expertise .
(1) La définition du projet évaluatif
Ainsi, par exemple, la définition de l'évaluation , premier stade du processus, implique de posséder l'art de préciser le « projet d'évaluation ». Une grande attention doit notamment être portée à la formulation de la question évaluative et la littérature sur les méthodes insiste sur les pièges à éviter à ce moment crucial.
(2) Le déroulement de l'évaluation
De même, le déroulement de l'évaluation suppose très souvent que l'instance soit en mesure de maîtriser une palette assez large de techniques et de savoirs , l'évaluation mobilisant souvent des connaissances et des approches relevant d'une variété de disciplines. Il importe aussi que l'instance d'évaluation soit à même d'animer l'évaluation sur le terrain, c'est-à-dire d'établir des relations étroites avec les différents acteurs de la politique évaluée.
Le présent rapport n'est pas destiné à exposer en détail les méthodes que l'évaluation des politiques publiques doit mobiliser. Quelques grands critères seulement concernant l'organisation et le fonctionnement de l'évaluation sont abordés dans la mesure où ils permettent d'identifier les choix pertinents d'institutionnalisation de l'évaluation.
Cependant, les développements qui précèdent ont semblé s'imposer à vos rapporteurs pour mettre en évidence que l'évaluation des politiques publiques, étant une activité exigeante en termes de méthode et d'expertise, il faut tirer de cette caractéristique les conséquences qu'elle impose.
2. Des implications fortes
Hormis la nécessité d'institutionnaliser soigneusement l'évaluation, sa technicité comporte plusieurs autres implications concrètes. Elle renforce la nécessité du pluralisme. Elle appelle à souhaiter le développement de capacités d'expertise qui, aujourd'hui, malgré quelques progrès, restent insuffisantes.
a) Des animateurs de l'évaluation nécessairement pluriels
Une première conséquence de la technicité de l'évaluation des politiques publiques doit être tirée. Chaque projet évaluatif pose une question particulière . Les formes d'institutionnalisation de l'évaluation doivent en tenir compte. Il faut, en particulier, privilégier une institutionnalisation souple plutôt qu'une institutionnalisation monolithique .
Plusieurs ordres d'arguments développés dans d'autres sections du présent rapport viennent à l'appui de cette recommandation. La spécificité technique de chaque projet d'évaluation s'y ajoute.
Cette conclusion, qui est celle de la totalité des travaux théoriques sur l'évaluation consultés par vos rapporteurs, ainsi que celle des personnes interrogées par eux sur ce point, appelle à une inversion de certains choix effectués jusqu'à présent pour institutionnaliser l'évaluation des politiques publiques.
Certes, il faut confirmer la nécessité d'organiser, au coup par coup, des instances d'évaluation en charge des différentes évaluations mises en oeuvre. Mais, à l'attribution à une enceinte unique composée d'un aréopage de « sages » de la charge d' animer l'évaluation, il faut, selon vos rapporteurs, préférer une institutionnalisation en forme de « toile d'araignée » rapprochant les vecteurs de l'évaluation des lieux d'exercice des politiques publiques.
Cette solution, qui offre plusieurs avantages, autorise en particulier un « formatage » plus fin de chaque enceinte en charge d'animer l'évaluation et, en particulier, une composition adaptée à chacun des grands domaines concernés.
b) Des besoins en termes d'expertise
Il faut, en outre, souligner à la fois que le succès de l'institutionnalisation de l'évaluation des politiques publiques réclame une formation adaptée et se trouve conditionnée à la capacité de trouver les ressources que chaque projet suppose .
Il ne s'agit pas ici d'accréditer l'idée que l'évaluation des politiques publiques est une démarche technocratique. C'est tout l'inverse aux yeux de vos rapporteurs pour lesquels l'évaluation vaut avant tout par sa dimension politique. Cependant, même au stade de la formalisation de la demande politique d'évaluation , étape initiale du projet évaluatif, une réelle maîtrise est nécessaire . Cette nécessité, qui s'accentue à mesure qu'on parcourt la chaîne de l'évaluation, conduit à deux recommandations pratiques : le développement d'une « expertise de l'évaluation » , avec en conséquence la nécessité d'un effort de formation d'abord, et la mise en place auprès des commanditaires de l'évaluation de moyens spécialisés ; la mobilisation, au service de l'évaluation des politiques publiques, des compétences nécessaires aux autres étapes de l'évaluation.
Il serait erroné de considérer , sinon dans la conduite de la démarche, que l'évaluation est une discipline intellectuelle pouvant revendiquer son autonomie . Si l'évaluation peut se prévaloir de méthodes spécifiques, elle emprunte aussi à toutes les sciences sociales et cet éclectisme, qu'illustre la typologie des travaux réalisés par les instances d'évaluation, doit être reconnu.
TYPES DE TRAVAUX MIS EN oeUVRE PAR LES INSTANCES
|
|
Emplois jeunes J. et Sports |
Ressource en eau |
Emplois non marchands |
Lutte contre le sida |
Développement rural |
Sécurité routière |
Formation continue |
|
État de l'art et bibliographie |
|
X |
|
X |
X |
X |
|
|
Analyse des besoins |
|
|
|
X |
X |
|
|
|
Analyse coûts-avantages |
|
|
|
|
|
|
|
|
Modèles économétriques |
X |
|
X |
|
|
|
|
|
Analyse juridique |
|
X |
|
|
|
X |
|
|
Analyses financières ou budgétaires |
|
|
|
X |
X |
|
|
|
Analyses territorialisées |
|
X |
|
X |
X |
X |
|
|
Monographies et études de cas |
|
|
|
X |
X |
|
X |
|
Analyse sociologique des systèmes d'acteurs |
|
X |
|
|
X |
|
|
|
Analyse statistique/recensements |
|
|
|
X |
X |
|
X |
|
Enquêtes d'opinion/études auprès des bénéficiaires |
X |
|
|
X |
|
|
X |
|
Historique de la politique évaluée |
|
|
X |
|
|
|
|
|
Analyse comparée |
|
X |
X |
X |
|
X |
|
|
Prospective |
|
X |
|
|
|
|
|
|
Rapports d'inspection |
IGAS |
IGF |
|
IGAS et IGF |
|
|
X |
|
Auditions |
X |
X |
X |
X |
X |
X |
X |
Source : CNE - Rapport d'activité 2000-2002
Il reste que le développement de l'évaluation suppose , d'une part, de disposer d'unités maîtrisant les techniques propres à l'évaluation et, d'autre part, de diffuser la culture de l'évaluation des politiques publiques auprès de l'ensemble des viviers de l'évaluation que sont les acteurs des politiques publiques, leurs « bénéficiaires » et les experts.
(1) Quelques progrès ont été réalisés
En ce qui concerne « l'expertise de l'évaluation », des progrès ont été réalisés. Comme on l'indiquera, un certain nombre de commanditaires naturels de l'évaluation ont renforcé leurs capacités en ce domaine et le développement des activités d'évaluation s'est accompagné d' une formalisation des méthodes, grâce à l'action successive du Conseil scientifique de l'évaluation et du Commissariat général du Plan.
De même, on peut relever la constitution d'une capacité d'offre technique . Un assez grand nombre de sociétés de conseil sont désormais présentes dans ce domaine. Une Société française de l'évaluation (SFE) a même été créée en juin 1999 avec pour vocation « de contribuer au développement de l'évaluation, de promouvoir son utilisation dans les organisations publiques et privées, de faire progresser les techniques et les méthodes et de favoriser le respect des règles éthiques et procédures ». La SFE se veut être un lieu de rencontre, de débat et de formation ouvert à l'ensemble des praticiens et des utilisateurs de l'évaluation des secteurs public et privé. Elle compte environ 300 adhérents dont une cinquantaine d'adhérents institutionnels. Les consultants privés représentent toutefois la part la plus importante de ses membres.
(2) La capacité technique d'évaluation reste trop limitée
Toutefois, il faut fortement tempérer l'impression favorable associée aux développements qui précèdent .
D'abord, comme on le verra dans la deuxième partie de ce rapport, le renforcement des capacités des commanditaires n'a pas été général et, lorsqu'il est intervenu, il n'a pas toujours été conduit avec la rigueur et le sérieux nécessaires.
Par ailleurs, d'un point de vue quantitatif , les ressources disponibles pour contribuer aux travaux d'évaluation des politiques publiques restent sous-dimensionnées . Une diffusion insuffisante de la culture de l'évaluation chez un certain nombre de prestataires « naturels » d'évaluation explique, pour beaucoup, cet état de fait. C'est vrai pour des organismes, comme les universités, pour lesquels les études et la recherche restent des activités privilégiées. Mais cette situation existe aussi, à un moindre titre, pour les trop rares « Think tanks » à la française. Elle se combine avec la modestie des moyens de ces derniers, et, parfois, avec une position institutionnelle ambiguë pour limiter le développement de leurs activités d'évaluation.
(3) Les voies de progrès
Tout cela n'est pas irrémédiable . Une demande d'évaluation restée jusqu'à présent insuffisamment structurée et développée ainsi que l'absence de réels moyens mis à son service constituent l'un des facteurs à prendre en compte. Le développement de la demande d'évaluation qui devrait résulter d'une institutionnalisation enfin réussie de celle-ci devrait susciter une offre qu'il faudra accompagner en rendant plus gratifiante la contribution à l'évaluation des politiques publiques. Mais, des aménagements importants devront également intervenir pour favoriser la participation des ressources disponibles à l'effort d'évaluation . Plusieurs mesures doivent être prises en ce sens :
- Vos rapporteurs souhaitent confier à une « Haute Autorité de l'Evaluation » la responsabilité de consolider et de diffuser la culture de l'évaluation. Elle devra être dotée des moyens correspondant à ces missions.
- La formation à l'évaluation des politiques publiques doit devenir une réalité, que ce soit dans les écoles d'administration où une formation minimum à l'évaluation doit être organisée, ou en tant que discipline du supérieur.
- L'expertise nécessaire ainsi que les données indispensables à l'évaluation sont, globalement, monopolisées par le secteur public . Il convient d' organiser les conditions d'une meilleure diffusion de ce qui doit être considéré comme un bien public.
- Les moyens consacrés au développement de l'expertise indépendante doivent être mis à niveau .
- Enfin, un certain nombre de rattachements administratifs devraient être réexaminés . Ils concernent des organismes tels que le CEPII, le Conseil d'analyse économique ou encore l'INSEE, pour lesquels l'insertion dans les hiérarchies ministérielles ne va pas de soi.
La qualité de l'offre d'évaluation , quant à elle, reste très inégale selon les témoignages recueillis par vos rapporteurs. Elle ne se trouve que rarement contrôlée , ce qui laisse sans garantie de qualité un grand nombre de travaux d'évaluation. Cette situation est particulièrement regrettable s'agissant d'une activité de haute technicité et des solutions doivent être trouvées . Vos rapporteurs recommandent deux mesures .
La première recommandation s'inspire des pratiques professionnelles en vigueur dans un assez grand nombre de métiers de conseil 4 ( * ) . Il faut instaurer une procédure permettant de garantir et renforcer la déontologie des prestataires d'évaluation , et en particulier de s'assurer de leur niveau de compétence technique. Cette procédure pourrait passer par la dévolution de cette compétence à la « Haute Autorité de l'Evaluation », précédemment évoquée pour assurer le rôle de « gardien de l'évaluation ». Celle-ci pourrait intervenir d'elle-même ou à la demande des commanditaires, en cas de défaillance manifeste des prestataires d'évaluation.
Mais c'est plus globalement qu'il importe d'assurer « l'évaluation de l'évaluation » . Cette préoccupation inspire la seconde recommandation de vos rapporteurs que certaines formules d'évaluation des politiques publiques mettent déjà en oeuvre. Il conviendrait de confier à la « Haute Autorité de l'évaluation » la tâche , assurée par le Conseil National de l'Evaluation pour les travaux réalisés sous le régime de l'évaluation interministérielle des politiques publiques, ou encore confiée au Haut Conseil de l'Evaluation de l'école pour les évaluations réalisées dans ce champ, d' apprécier la qualité des évaluations réalisées .
Idéalement , cette appréciation devrait s'appliquer à l'ensemble des évaluations . Cependant , il faut prendre en compte les difficultés pratiques et politiques qu'engendrerait une mission aussi largement définie. A supposer que soit résolu le problème de l'identification des travaux d'évaluation, ce qui supposerait de mobiliser des pouvoirs d'investigation importants mais aussi d'être en mesure d'attribuer sans erreur la qualité d'« évaluations » aux travaux éventuellement concernés, la charge de travail de la « Haute Autorité » excèderait probablement le raisonnable. D'un point de vue plus politique, il paraît également peu envisageable de soumettre à cette obligation la totalité des évaluations effectuées, sans prendre en compte leur statut. Il est légitime qu'un certain nombre de travaux à caractère évaluatif soient réalisés sous le couvert de la confidentialité, qu'un domaine particulièrement sensible soit concerné ou qu'il soit question pour le commanditaire de disposer d'informations non destinées à une quelconque publicité. Ces considérations conduisent à circonscrire le champ de « l'évaluation des évaluations » dont vos rapporteurs souhaitent la mise en place. Ses contours en seraient les suivants : la « Haute Autorité » évaluerait les évaluations rendues publiques et celles soumises à son appréciation par le commanditaire de l'évaluation ; elle pourrait , en outre, être saisie par le Gouvernement ou par le Parlement des évaluations qui, bien que non publiées, seraient mentionnées dans le cadre des débats publics comme fondant une décision ou une politique publique .
* 3 Le commanditaire est le demandeur de l'évaluation, en même temps que son destinataire ; le rôle de l'animateur de l'évaluation est a minima d'assurer le lien entre le commanditaire et l'instance ; l'instance d'évaluation procède à l'évaluation en recourant éventuellement à des prestataires extérieurs ; l'autorité gardienne des méthodes est chargée de l'audit de l'évaluation.
* 4 Très récemment encore un Haut Conseil des commissaires aux comptes a été installé.