B. DES OBJECTIFS EN MATIÈRE D'ÉVALUATION EN RECUL
La réduction des ambitions en matière de production intellectuelle s'accompagne également d'un recul des ambitions en matière d'évaluation.
Certes, les deux activités ne sont pas exactement du même ordre et ne relèvent pas, au sein de l'AFD, des mêmes directions. Il reste qu'il s'agit d'activités par lesquelles l'AFD réfléchit sur son action et ses résultats.
Comme le souligne le projet de contrat d'objectifs et de moyens de l'AFD: « les évaluations ...ont pour objet :
- d'améliorer, en liaison avec l'ensemble des activités de production intellectuelle de l'Agence, la compréhension des processus de développement et mécanismes d'aide au développement ;
- de permettre, sur le plan opérationnel, d'améliorer la pertinence et l'efficacité des opérations qu'elle conçoit et met en oeuvre ;
- de rendre compte, auprès du Conseil d'administration, des tutelles, des partenaires, mais aussi du public, des conditions dans lesquelles sont conduites les opérations mises en oeuvre. »
Le contrat prévoit de faire évoluer la proportion de projets évalués à l'achèvement de 21 % à 33 % en 2013. Autrement dit l'objectif est qu'un tiers des projets fasse à terme l'objet d'une évaluation sur leur impact.
Or, aux termes de la réforme des évaluations présentée au Conseil d'administration de l'AFD en octobre 2007, les évaluations ex-post des projets devaient devenir progressivement systématiques et s'appliquer à l'ensemble des projets à l'horizon 2010.
Elles devaient être décentralisées au niveau des agences et externalisées auprès de consultants. Cette évolution devait rendre possible la concentration des ressources internes de la division des évaluations sur des analyses plus sectorielles et thématiques, ainsi que sur la capitalisation de l'expérience au profit des équipes opérationnelles, en lien avec l'activité de recherche et du développement des savoirs. La généralisation du suivi en exécution, couplée à la systématisation des évaluations ex-post, devait permettre de mieux rendre compte de la performance de l'AFD en matière de résultats de développement.
Vos rapporteurs regrettent que ce contrat ramène l'objectif d'évaluation ex-post de 100 % de ses projets à 33 % pour l'ensemble des projets de l'AFD, Outre-Mer compris.
Votre commission s'était félicitée, lors de son examen, que le document-cadre de coopération souligne que : « Mesurer la qualité des interventions menées et apprécier leurs résultats est indispensable. Il s'agit d'une exigence démocratique à l'égard du Parlement et des citoyens français comme des populations et des autorités des pays bénéficiaires. Cette analyse des résultats est également nécessaire pour améliorer la pertinence et l'efficacité des opérations conduites, responsabiliser les acteurs chargés de leur mise en oeuvre et permettre de capitaliser sur les expériences passées ».
Ce document-cadre prévoit par ailleurs que des indicateurs synthétiques sur les résultats prévus et obtenus seront mis au point : « Un tableau d'indicateurs rendant compte des effets attendus des programmes financés au niveau bilatéral, communautaire et multilatéral et fournissant une appréciation sur les résultats obtenus à l'issue de leur mise en oeuvre, sera mis en place et permettra de communiquer de façon simple et explicite sur l'action du gouvernement ».
Le revirement des ambitions en matière d'évaluation est en contradiction avec cette volonté partagée par l'ensemble des bailleurs de fonds de développer une logique de résultats.
Il est vrai que rendre systématique les évaluations suppose un travail important et de nombreux défis :
- un défi de capacité tout d'abord. Pour dépasser le simple recensement des politiques et s'engager dans l'analyse des « réalisations » et de leurs « impacts » réels, la production d'une information systématisée sur les résultats implique la mobilisation de moyens importants autour de la collecte de données et de leur analyse, mais aussi le renforcement d'une articulation étroite avec les pays partenaires dans le suivi des projets, des aides programmes et des aides budgétaires ;
- des défis méthodologiques ensuite : les acteurs nationaux peuvent-ils s'attribuer des résultats de développement qui, de fait, sont collectifs, issus de projets et de programmes par nature pluri-acteurs ?
- le défi de l'agrégation des résultats enfin : la présentation de résultats agrégés permet-elle de rendre compte de la diversité des contextes et de donner à voir les facteurs de succès ou d'échec des opérations menées ?
Ces défis sont réels. Ils ne sont pas nouveaux. Ils sont, pour une part, communs à beaucoup de politiques publiques. De ce point de vue, on ne pourrait pas imaginer que la politique d'aide au développement soit la seule politique publique qui ne soit pas, par nature, évaluable.
Or avant de pouvoir mettre en place des indicateurs de résultats et d'impact, il faut évaluer projet par projet cet impact. C'est pourquoi vos rapporteurs souhaitent un relèvement de l'objectif d'évaluation à 100 % des projets en 2013 pour ce qui concerne les projets dans les Etats étrangers.
Ils observent par ailleurs qu'au niveau national, trois entités administratives à l'AFD, au ministère des finances et au ministère des affaires étrangères et européennes, effectuent des évaluations.
La direction générale du Trésor, sous l'impulsion de l'unité d'évaluation des activités de développement, a notamment effectué un travail de méthodologie remarquable et des évaluations remarquées. Le champ d'application de ces évaluations s'est, en outre, élargi et ne concerne plus seulement des projets ponctuels, des instruments, des institutions mais également des secteurs, des pays ou des politiques.
Ils souhaitent que ces organismes d'évaluation soient renforcés, mieux coordonnés, plus sollicités sur des sujets plus larges et plus stratégiques qui permettent d'avoir des vues plus globales.
Le contrat d'objectifs et de moyens de l'agence prévoit que : « L'AFD s'efforce, dans ce cadre, de mettre en oeuvre un programme d'évaluation conjointe avec les autres institutions bi ou multilatérales, notamment dans le cadre des projets cofinancés. Les ministères de tutelle sont consultés, chaque année, sur la méthodologie et le programme des évaluations conduites par l'AFD. Les tutelles et l'AFD arrêtent chaque année un programme d'évaluations conjointes ». Il faut souhaiter que ce programme soit le plus ambitieux possible.
Vos rapporteurs préconisent que ce programme d'évaluation conjoint fasse l'objet d'une réflexion et d'une implication des tutelles et puisse être établi par le même organisme que celui qui définira la programmation de la production intellectuelle qui pourrait être le co-secrétariat du CICID qui rassemble à la fois les tutelles et l'AFD.