B. LE DIALOGUE DE GESTION : UNE ÉVALUATION PARTENARIALE DES CONVENTIONS À RENFORCER
1. Une évaluation peu satisfaisante des projets ponctuels
Les modalités du contrôle et de l'évaluation des actions menées dans le cadre des conventions sont fixées par les conventions : avant le terme de la convention, une évaluation contradictoire a lieu, portant sur la réalisation du projet et sur son impact ; après la clôture de chaque exercice, les associations fournissent à l'administration un compte-rendu financier, leurs comptes annuels et le rapport d'un commissaire aux comptes, ainsi que leur rapport d'activité.
Clauses relatives à l'évaluation et
au contrôle des actions
menées dans le cadre des
conventions
ARTICLE 6 - JUSTIFICATIFS
L'Association s'engage à fournir dans les six mois suivant la clôture de chaque exercice les documents ci-après :
§ Le compte rendu financier conforme à l'arrêté du 11 octobre 2006 pris en application de l'article 10 de la loi n° 2000-321 du 12 avril 2000 relative aux droits des citoyens dans leurs relations avec les administrations (Cerfa n° 15059). Ce document est accompagné d'un compte rendu quantitatif et qualitatif du projet comprenant les éléments mentionnés à l'annexe II et définis d'un commun accord entre l'Administration et l'Association. Ces documents sont signés par le président ou toute personne habilitée.
§ Les comptes annuels et le rapport du commissaire aux comptes prévus par l'article L 612-4 du code de commerce ou, le cas échéant, la référence de leur publication au Journal officiel ;
§ Le rapport d'activité.
(...)
ARTICLE 9 - EVALUATION
9.1 L'évaluation contradictoire porte notamment sur la réalisation du projet d'intérêt économique général et, le cas échéant, sur son impact au regard de l'intérêt général.
9.2 L'Association s'engage à fournir, au moins trois mois avant le terme de la convention, un bilan d'ensemble, qualitatif et quantitatif, de la mise en oeuvre du projet dans les conditions précisées en annexe II de la présente convention.
9.3 L'Administration procède à la réalisation d'une évaluation contradictoire avec l'Association, de la réalisation du projet auquel elle a apporté son concours, sur un plan quantitatif comme qualitatif.
ARTICLE 10 - CONTROLE DE L'ADMINISTRATION
10.1 Pendant et au terme de la présente convention, un contrôle sur place peut être réalisé par l'Administration. L'Association s'engage à faciliter l'accès à toutes pièces justificatives des dépenses et tous autres documents dont la production serait jugée utile dans le cadre de ce contrôle conformément au décret du 25 juin 1934 relatif aux subventions aux sociétés privées. Le refus de leur communication entraîne la suppression de la subvention conformément à l'article 14 du décret-loi du 2 mai 1938.
10.2 L'Administration contrôle annuellement et à l'issue de la convention que la contribution financière n'excède pas le coût de la mise en oeuvre du projet. Conformément à l'article 43-IV de la loi n° 96-314 du 12 avril 1996 portant diverses dispositions d'ordre économique et financier, l'Administration peut exiger le remboursement de la partie de la subvention supérieure aux coûts éligibles du projet.
Source : Modèle de convention pluriannuel d'objectif (annexe 3 à la circulaire du 29 septembre 2015)
Les projets ponctuels font cependant d'une évaluation décevante, qui se limite bien souvent à la vérification que les actions ont bien été menées. Certes, il s'agit là d'un contrôle nécessaire. D'ailleurs, lorsque les conditions d'octroi de la subvention n'ont pas été remplies, la décision d'attribution peut être retirée sans condition de délai, entrainant le remboursement à l'administration du montant de la subvention23(*) - une faculté peu utilisée, les abus étant rares.
Les exigences de reporting constituent une charge importante pour les petites associations, qui sont souvent financées pour des projets ponctuels, par décision attributive ou convention annuelle. L'administration note que « de manière empirique, la qualité et l'exhaustivité des justificatifs fournis par les associations sont inégales. » Elle ajoute que « l'effet taille de l'association peut jouer, sans en faire une généralité (plus une association est petite, avec un fonctionnement assuré essentiellement ou exclusivement par des bénévoles, plus les justificatifs risquent d'être de moindre qualité et exhaustivité).24(*) »
Lorsque la subvention concerne des montants très faibles, de quelques millions d'euros, les exigences d'évaluation et de reporting deviennent même « disproportionnées », aux termes mêmes de l'administration. Pour cette raison, la DGCS a indiqué aux rapporteurs spéciaux éviter d'attribuer des montants inférieurs à 30 000 euros ; les services déconcentrés de l'État se sont quant à eux vu fixer un seuil de 20 000 euros pour l'attribution de subventions. Cette mesure, qui vise à limiter la disproportion des exigences de reporting tout en limitant le saupoudrage, a le soutien des rapporteurs spéciaux.
Les associations entendues par les rapporteurs spéciaux ont également souligné les effets quelque peu kafkaïens pour l'évaluation des retards pris pour la signature des conventions annuelles et pour le versement des subventions. De fait, plus la signature de la convention a lieu tard dans l'année, plus la subvention est versée tardivement et plus le projet porté par l'association accumule des délais pour son lancement.
Les obligations de reporting, qui impliquent la transmission à l'administration de documents justificatifs à des dates précises, sont ainsi affectées par ces retards. Par exemple, le « bilan d'ensemble, qualitatif et quantitatif, de la mise en oeuvre du projet » mentionné à l'article 9.2 des conventions doit être adressé à l'administration « au moins trois mois avant le terme de la convention ». Mais lorsque du fait des délais de signature et de versement, le projet a commencé avec plusieurs mois de retard, il n'est pas encore mûr pour être évalué à la date fixée. Et lorsque le projet arrive enfin à son terme, et qu'il serait temps de l'évaluer, un nouvel exercice a commencé, avec ses propres difficultés de conventionnement et de reporting, de telle sorte qu'il est trop tard pour revenir sur un exercice précédent.
Il est regrettable que l'évaluation des projets ponctuels souffre de tant de limites ; les associations ont en effet fait part aux rapporteurs spéciaux de leur souhait d'être poussées à développer leurs capacités, à réfléchir à leur action et à améliorer leurs méthodes - en d'autres termes, à être « challengées », selon le vocable anglicisant souvent utilisé.
Paroles d'associations :
Pour un dialogue
de gestion plus « musclé »
« Les décalages calendaires peuvent mener à des situations absurdes : quand on doit rendre le compte-rendu financier, l'action n'est pas finie ; quand l'action est finie, il n'y a plus d'obligation de reporting... »
« On aimerait avoir un dialogue plus régulier et approfondi avec l'administration - trimestriel par exemple - au lieu d'un échange annuel qui se restreint parfois à la remise des comptes rendus financiers. »
Mouvement du Nid
2. Le dialogue de gestion dans le cadre des CPO : une évaluation partenariale satisfaisante, des bonnes pratiques à développer
a) Mieux tirer parti des enseignements du dialogue de gestion
Dans le cadre des conventions, le dialogue de gestion consiste en un rendez-vous annuel entre l'administration et l'association, sur la base des documents justificatifs de l'année (compte-rendu quantitatif et qualitatif, rapport d'activité, etc.). L'administration et les associations, entendues par les rapporteurs spéciaux, ont fait part de leurs impressions globalement positives du dialogue de gestion comme une rencontre partenariale.
Le dialogue de gestion constitue notamment une instance de contrôle contradictoire de l'action associative. Ainsi, lorsque l'exécution des actions convenues dans la convention pose problème (en cas de mauvaise exécution par exemple), le dialogue de gestion est l'instance dans laquelle le financement peut être redéployé ou l'action reportée, à l'issue d'une négociation entre l'État et la structure associative. Par exemple, la DGCS a indiqué aux rapporteurs spéciaux que lorsqu'étaient repérés des marchés infructueux25(*), certains financements avaient été redéployés pour permettre aux associations de procéder elles-mêmes à leurs achats, sans l'intermédiation de l'établissement public FranceAgriMer. Le dialogue de gestion permet ainsi de manière assez satisfaisante de tirer parti des enseignements de la gestion passée pour améliorer la gestion future.
La qualité du dialogue de gestion est d'autant plus importante que les conventions pluriannuelles présentent le risque, en s'inscrivant dans le temps long, de générer un mode de fonctionnement routinier peu propice à l'évaluation critique et partagée des objectifs de politiques publiques et des actions menées.
Partageant le constat de l'administration selon lequel « le suivi régulier et attentif de l'administration est une des clés d'un partenariat fructueux26(*) », les rapporteurs spéciaux proposent de rendre plus réguliers les échanges dans le cadre du dialogue de gestion, afin que l'administration comme les associations puissent suivre en continu la progression de leur action et en tirer en temps réel les enseignements.
En outre, les rapporteurs spéciaux ont été informés par la DGCS que les directions régionale et départementale de l'économie, de l'emploi, du travail et des solidarités (DREETS et DDEETS) de Corse avaient lancé des travaux d'harmonisation et d'uniformisation des indicateurs d'aide alimentaire et des pièces justificatives. Ce travail permettrait de créer un socle partagé d'indicateurs permettant de repérer les structures performantes et d'en partager les bonnes pratiques. Quant à l'harmonisation des rapports d'activité, elle faciliterait le recueil de données quantitatives et qualitatives de qualité.
Les rapporteurs spéciaux sont favorables à ce que de tels travaux soient, sous l'égide de la DGCS, menés dans l'ensemble des services déconcentrés.
b) La notion « d'excédent raisonnable » : récompenser la bonne gestion et conforter la trésorerie des associations
Encore récemment, durant l'évaluation de fin de gestion, lorsqu'une partie de la subvention n'avait pas été utilisée, l'administration la récupérait systématiquement en application de l'article 43-IV de la loi n° 96-314 du 12 avril 1996 portant diverses dispositions d'ordre économique et financier.
Loi n° 96-314 du 12 avril 1996
portant diverses dispositions
d'ordre économique et
financier
Article 43. - (...)
IV. - Lorsqu'il apparaît, notamment à la suite d'un contrôle de l'inspection générale des finances, qu'un concours accordé par l'État, un établissement public de l'État ou un organisme soumis au contrôle économique et financier de l'État, au profit de l'un des organismes visés au I et au II du présent article, n'a pas reçu l'emploi auquel il avait été destiné, le ministre compétent ou le représentant légal de l'établissement ou de l'organisme peut en ordonner la répétition à concurrence des sommes qui ont été employées à un objet différent de celui qui avait été prévu.
Cette pratique, légitime lorsque le coût effectif du projet avait mal été estimé au moment de l'attribution de la subvention, aboutissait toutefois, dans certains cas, à ce que l'administration retire à l'association un excédent résultant de sa bonne gestion des deniers publics. Cette situation a pu apparaître comme regrettable dans la mesure où, outre qu'elle ne permet pas à l'association de se constituer une trésorerie, elle incite les récipiendaires des subventions à les dépenser jusqu'au dernier euro au lieu de trouver des solutions pour les économiser.
L'article 1er de la loi n° 2021-875 du 1er juillet 2021 visant à améliorer la trésorerie des associations a modifié l'article 10 de la loi n° 2000-321 du 12 avril 2000, qui prévoit désormais que les conventions mentionnent « les conditions dans lesquelles l'organisme, s'il est à but non lucratif, peut conserver tout ou partie d'une subvention n'ayant pas été intégralement consommée. » La possibilité pour l'association de conserver un « excédent raisonnable » est ainsi consacré par le Législateur. La mention obligatoire de cette faculté dans les conventions est censée inciter à ce qu'il y soit fait recours.
Désormais, le modèle de CPO mis à disposition des services de l'État comporte, à de multiples reprises, cette mention. Elle a au demeurant fait ses premières apparitions dans certaines conventions signées après l'entrée en vigueur de la loi du 1er juillet 2021, ce à quoi les rapporteurs spéciaux sont favorables.
La DGCS a toutefois indiqué veiller à « ne pas laisser d'excédent aux associations. » Lorsqu'elle constate qu'un excédent apparaît dans les comptes d'une association, l'administration le reprend ou le déduit de subventions à venir.
- dans le cas d'une convention pluriannuelle en cours, l'association peut demander de reporter les fonds non consommés sur l'exercice suivant ;
- dans le cas d'une convention arrivant à échéance et faisant l'objet d'un renouvellement, la somme non consommée est déduite de la subvention versée au titre de la nouvelle convention ;
- dans le cas où aucun renouvellement n'est prévu, l'administration émet à l'encontre de l'association un ordre de reversement pour indus.
Si les rapporteurs spéciaux conçoivent qu'il soit nécessaire de prévenir des abus, notamment lorsque la convention n'est pas renouvelée, ils insistent sur la nécessité d'appliquer pleinement la loi votée par le Parlement. Les conventions ne mentionnent en effet pas systématiquement l'excédent raisonnable, mention pourtant rendue obligatoire par le Législateur. Surtout, la politique de la DGCS en la matière revient à systématiquement neutraliser les effets pour l'association de sa bonne gestion des deniers publics.
S'il revient à la négociation entre l'administration et l'association de fixer au cas par cas le quantum de cet « excédent raisonnable », le principe selon lequel ce point fait l'objet d'une négociation et donne effectivement lieu à la conservation par une association vertueuse d'excédents de bonne gestion doit être respecté. Les rapporteurs spéciaux se montreront vigilants à cet égard.
Clauses relative à
« l'excédent raisonnable » dans une
convention
signée après l'entrée en vigueur de la loi
du 1er juillet 2021
ARTICLE 3 - CONDITIONS DE DETERMINATION DU COÛT DU PROJET
(...)
3.5 Le financement public prend en compte, le cas échéant, un excédent raisonnable, constaté dans le compte-rendu financier prévu à l'article 6. C'est excédent ne peut être supérieur à 10 % du total des coûts éligibles du projet effectivement supporté.
(...)
ARTICLE 10 - CONTROLE DE L'ADMINISTRATION
(...)
10.2 L'Administration contrôle annuellement et à l'issue de la convention que la contribution financière n'excède pas le coût de la mise en oeuvre du projet. Conformément à l'article 43-IV de la loi n° 96-314 du 12 avril 1996 portant diverses dispositions d'ordre économique et financier, l'Administration peut exiger le remboursement de la partie de la subvention supérieure aux coûts éligibles du projet augmentés d'un excédent raisonnable prévu par l'article 3.5 ou la déduire du montant de la nouvelle subvention en cas de renouvellement.
Source : convention pluriannuelle d'objectifs 2021-2023 signée entre la DGCS et le Collectif féministe contre le viol (CFCV), comportant une clause relative à l'excédent raisonnable.
c) Les indicateurs : comment évaluer l'évaluation ?
Les actions réalisées par les associations sont évaluées à l'aide d'indicateurs établis dans la convention27(*). Définis conjointement par l'administration et l'association, ces indicateurs doivent permettre d'évaluer le résultat ex post du projet, après remise des pièces justificatives par l'association.
Ce suivi par les indicateurs est bien accepté par les associations, qui y voient dans leur majorité un juste contrôle de l'utilisation des fonds publics. Le processus est également jugé relativement « satisfaisant, permettant d'aboutir à des objectifs ambitieux mais correspondant à la réalité28(*) ». Concrètement, ces indicateurs servent principalement à vérifier que les actions subventionnées sont effectivement réalisées. Il s'agit d'indicateurs assez simples : une date butoir à laquelle une action doit avoir été menée, une quantité d'actions à réaliser ou de denrées à acheter au cours de l'année...
Modalités d'évaluation et indicateur - Exemple
Source : convention pluriannuelle d'objectifs 2020-2022 signée entre la DGCS et la Fédération nationale des centres d'information sur les droits des femmes et des familles (FNCIDFF)
Bilan partiel de la mise en oeuvre des indicateurs - Exemple
Source : bilan partiel pour l'année 2021 de la convention pluriannuelle d'objectifs 2020-2022 signée entre la DGCS et la Fédération nationale des centres d'information sur les droits des femmes et des familles (FNCIDFF)
Si l'évaluation des actions et l'existence d'indicateurs est d'avis général nécessaire, la pertinence de certains indicateurs est parfois mise en question. Les associations entendues par les rapporteurs spéciaux n'ont pas manqué d'exemples d'indicateurs problématiques, insuffisamment pertinents voire porteurs d'effets pervers. Sur ce point, la critique développée par la commission des finances du Sénat sur les indicateurs de performance à la suite de l'entrée en vigueur de la loi organique relative aux lois de finances du 1er août 2001 (LOLF) n'a rien perdu de son actualité29(*).
Paroles d'associations
Les limites des
indicateurs
« Le taux de réponses de nos écoutantes porte un effet pervers : plus nous sommes proactifs et plus nous nous faisons connaître, plus les appels sont nombreux pour nos écoutantes, et plus le taux de réponse baisse... »
Collectif féministe contre le viol
« Le taux de plaintes ne peut être le seul indicateur. Nous donnons toutes les informations pour que les femmes puissent porter plainte, si elles le souhaitent, mais cela doit rester leur entière liberté. Parce qu'elles ne sont pas toutes prêtes à engager des démarches, nous respectons les choix et la temporalité des femmes. »
« Certains indicateurs devraient être interrogés : le nombre de femmes reçues par une juriste par exemple, est un indicateur qui mérite d'être précisé. Certaines femmes font l'objet de plusieurs entretiens et certains entretiens nécessitent plus de temps que d'autres. L'objectif des associations de notre réseau n'est pas de faire du chiffre ! Les conditions d'accueil conditionnent la qualité des entretiens et des informations délivrées. Il convient également de tenir compte des temps de déplacements des juristes pour animer les permanences, notamment dans les territoires ruraux. L'objectif du maillage territorial qui répond à une demande de l'État nous amène à animer des permanences sur des territoires faiblement peuplés. »
FNCIDFF
« Le nombre de tampons hygiéniques achetés permet de prouver que l'action a bien été menée. Mais il serait plus intéressant d'avoir un indicateur sur le nombre de femmes aidées, sur les coûts évités par la prévention de la mauvaise hygiène... Là on verrait l'impact de nos actions ! »
Une association ayant répondu à l'appel à projets « Précarité menstruelle »
Des indicateurs tels que le taux de réponses des écoutantes ou le taux de plaintes déposées à la suite d'une visite de l'association présentent de sérieuses limites : ils reposent en partie sur des éléments hors du contrôle direct de l'association (le nombre d'appels, la volonté des victimes de porter plainte). Pire, ces indicateurs sont porteurs d'effets pervers : leur amélioration peut résulter d'une moins bonne performance de l'association et leur dégradation d'une meilleure performance. Comme le préconisait en 2005 Jean Arthuis, dans son rapport d'information sur les indicateurs, les rapporteurs spéciaux recommandent que les associations et les services de l'État prennent soin de neutraliser les effets pervers, soit en remplaçant les indicateurs porteurs d'effets pervers, soit en leur associant un second indicateur.
Par exemple, le possible effet pervers lié au taux de réponses des écoutantes pourrait être neutralisé en y associant un autre indicateur mesurant, en valeur absolue, le nombre d'appels reçus par l'association. Cela permettrait en outre de mesurer la proactivité de l'association pour se faire connaître des publics visés.
Deux indicateurs jugés problématiques par les associations - le taux de réponse des écoutantes et le nombre de femmes reçues par des juristes des CIDFF - figurent d'ailleurs parmi des indicateurs de performance du programme 13730(*), ce qui suggère que la volonté d'inclure ces indicateurs provient de l'administration. La nécessité d'une détermination plus partenariale des modalités d'évaluation de l'action associative apparaît donc renforcée.
Les indicateurs qualitatifs, sans être totalement ignorés par l'administration, ne sont que peu utilisés. Certaines associations entendues par les rapporteurs spéciaux ont en effet déploré l'importance, excessive à leurs yeux, donnée par l'administration aux indicateurs quantitatifs. La Fédération nationale des centres d'information sur les droits des femmes et des familles (FNCIDFF) ou encore l'Association nationale des épiceries solidaires (ANDES) ont ainsi indiqué travailler au développement d'indicateurs d'impact social31(*), qu'elles mobilisent en complément des indicateurs quantitatifs traditionnels. La FNCIDFF mesure ainsi l'évolution de l'audience de ses réseaux sociaux et la fréquentation de son site Internet.
De tels indicateurs sont de nature à valoriser des aspects difficilement quantifiables de l'action associative. Le changement des mentalités, crucial en ce qui concerne les droits des femmes et la lutte contre les violences faites aux femmes, ne se laisse guère saisir par des indicateurs quantitatifs.
Recommandation n° 5 : Approfondir l'évaluation des actions menées dans le cadre des conventions, selon des modalités partenariales.
- rendre plus réguliers les échanges dans le cadre du dialogue de gestion, afin de suivre en continu la progression des projets menés et d'en tirer en temps réel les enseignements pour le futur ;
- procéder à l'harmonisation des pièces justificatives et des indicateurs d'activités afin de garantir la qualité du reporting et l'identification des bonnes pratiques ;
- faire systématiquement porter la négociation sur la définition d'un « excédent raisonnable » de gestion qui pourra être conservé par l'association ;
- éviter les effets pervers associés à certains indicateurs quantitatifs et développer l'utilisation d'indicateurs permettant de rendre compte de l'impact non quantifiable de l'action associative.
* 23 Article L. 242-2 du code des relations entre le public et l'administration.
* 24 Réponse de la DGCS au questionnaire des rapporteurs spéciaux.
* 25 Voir à ce sujet l'annexe n° 30 « Solidarité, insertion et égalité des chances » au Rapport général n° 115 (2022-2023) fait au nom de la commission des finances, déposé le 17 novembre 2022.
* 26 Réponse de la DGCS au questionnaire des rapporteurs spéciaux.
* 27 Lorsque la subvention est accordée par une décision unilatérale, cette dernière inclut également des objectifs et des indicateurs fixée par l'administration seule.
* 28 Réponse de l'ANDES au questionnaire des rapporteurs spéciaux.
* 29 Rapport d'information du 2 mars 2005, fait par M. Jean Arthuis au nom de la commission des Finances, du contrôle budgétaire et des comptes économiques de la Nation sur les objectifs et les indicateurs de performance de la LOLF du 2 mars 2005.
* 30 Rapport annuel de performance de la mission « Solidarité, insertion et égalité des chances » 2023.
* 31 Le Conseil supérieur de l'économie sociale et solidaire (CSESS), dans un rapport sur « La mesure de l'impact social paru en 2011 », définit l'impact social comme « l'ensemble des conséquences (évolutions, inflexions, changements, ruptures) des activités d'une organisation tant sur ses parties prenantes externes (bénéficiaires, usagers, clients) directes ou indirectes de son territoire et internes (salariés, bénévoles, volontaires), que sur la société en général ».