C. LE SUIVI ET LA MESURE DE L'IMPACT DES PROJETS FINANCÉS PAR L'AGENCE NATIONALE DE LA RECHERCHE, DEUX ENJEUX ESSENTIELS POUR ÉVALUER L'EFFICACITÉ DE L'AGENCE
Si l'Agence nationale de la recherche avait mis en place un suivi des projets financés dès sa création, elle ne s'est lancée que récemment, à la demande du ministère chargé de la recherche, dans l'évaluation de l'impact sur la société de ces projets .
1. Le suivi très rigoureux des projets financés par l'Agence nationale de la recherche a été allégé ces dernières années
L'ANR réalise un suivi administratif et financier exigeant des projets qu'elle finance.
Ce suivi repose notamment sur :
- un compte rendu intermédiaire simplifié sur l'état d'avancement du projet à mi-parcours, qui est transmis par l'équipe de chercheurs à l'ANR ;
- un ou plusieurs relevés récapitulatifs intermédiaires simplifiés des dépenses exécutées au titre du projet , pour les bénéficiaires à statut de droit privé et les entreprises. Ces relevés conditionnent les versements ;
- un relevé final de dépenses pour l'ensemble des bénéficiaires .
À cela s'ajoute un suivi scientifique des projets financés qui se décompose en deux étapes :
- pour certains projets, un suivi à mi-parcours est organisé sous forme de revues individuelles ou dans le cadre de journées thématiques à Paris ou en région. Il repose notamment sur le rapport à mi-parcours ;
- un rapport scientifique final est également demandé aux porteurs de projet.
Ce dispositif de suivi a été simplifié dans le cadre de la refonte récente du règlement financier de l'ANR (voir infra ).
Selon les responsables d'organismes de recherche entendus par votre rapporteur spécial, il pourrait sans doute être encore allégé , en particulier le relevé final de dépenses, sans pour autant renoncer à un haut niveau d'exigences en termes d'évaluation .
Il pourrait également être pertinent de confier aux mêmes équipes le suivi des projets financés par l'ANR et l'étude de leur impact sur la société , en mettant davantage l'accent sur le bilan des projets financés.
2. La difficile analyse de l'impact des projets financés par l'Agence nationale de la recherche nécessite au préalable un important travail méthodologique
Le décret de 2014 a confié pour nouvelle mission à l'ANR « d'analyser l'évolution de l'offre de recherche et de mesurer l'impact des financements alloués par l'agence sur la production scientifique nationale ». Cette mission constitue également l'un des axes forts sur lesquels s'est engagée l'agence dans le cadre de son contrat d'objectifs et de performance 2016-2019 .
Or, selon les responsables de l'agence, la tâche est considérable et va réclamer un important travail de méthodologie pour permettre de caractériser et de mesurer les impacts de l'action de l'ANR sur le paysage de la recherche française .
De fait, après avoir mené des études comparatives auprès d'autres agences de financement étrangères, les dirigeants de l'ANR ont pu constater qu'il n'existait pas de modèle unique d'analyse d'impact du financement de la recherche sur projets mais que de nombreux outils pouvaient être mobilisés : bibliométrie, études de cas, études économétriques, analyses contrefactuelles, etc.
Surtout, l'analyse d'impact réclame un recul temporel important , estimé à environ une vingtaine d'année minimum , alors que l'ANR n'a été créée qu'en 2005 7 ( * ) .
En dépit de ces difficultés, l'agence a élaboré une feuille de route , reprise notamment dans son contrat d'objectifs et de performance, qui s'étale sur trois ans .
D'un point de vue opérationnel, elle souhaite consacrer à cette nouvelle mission une unité dédiée associant les agents qui procéderont effectivement aux analyses et ceux de la direction des systèmes d'information , seuls à même de réaliser la collecte, le traitement et l'exploitation des données.
D'un point de vue méthodologique, trois axes sont privilégiés .
L'ANR va tout d'abord mettre en place de manière systématique des indicateurs à différents moments clés de la vie des projets financés : directement en fin de projet, puis deux ans, cinq ans ou dix ans après la fin des projets, afin de suivre leurs effets académiques et non académiques dans la durée.
Deuxième axe, l'analyse de données au sens large , qu'il s'agisse des données ANR ou des données extérieures, afin de connaître et de contextualiser les effets des financements de l'agence dans le paysage scientifique français et international (données sur les publications, les brevets, les carrières, les financements, etc.). Les statistiques, le Data et Text Mining (DTM), les cartographies, ainsi que des nouveaux outils de visualisation des données (notamment ceux issus de l'analyse sociologique et de la scientométrie) sont actuellement en cours de test et développement afin d'exploiter les grands jeux de données d'ores et déjà disponibles à l'ANR et dans le Web of science .
Enfin, l'ANR va procéder à des enquêtes et à des études de cas . Pour compléter les analyses quantitatives évoquées supra , des approches qualitatives doivent être développées en parallèle . Plusieurs enquêtes pilotes sont en cours actuellement afin d'interroger les chercheurs financés par l'ANR sur les effets de leurs projets .
Ces axes méthodologiques reposent en parallèle sur un important travail sur les données , puisqu'il est nécessaire de :
- faciliter leur collecte auprès des chercheurs en simplifiant les formulaires (lors de la soumission, du suivi, des enquêtes) et en mutualisant le plus possible les pratiques en relation avec les organismes de recherche, les universités, d'autres agences (HCERES) ;
- finaliser leur contenu , en utilisant davantage de référentiels ;
- favoriser l'interopérabilité des données ;
- mettre à disposition les données de l'ANR afin de mieux partager l'information (« open data »).
|
Recommandation n° 7 : poursuivre les travaux destinés à doter l'Agence nationale de la recherche d'instruments de mesure de l'impact de ses projets sur la société . |
* 7 En revanche, d'autres effets liés à la création de l'agence peuvent être observés : sur l'emploi (doctorants et jeunes chercheurs), sur l'économie (partenariat public-privé), sur la réorganisation de la recherche (montage de projet), sur la mobilisation des chercheurs (proposants et experts), sur l'émergence de thématiques (en réponse aux appels ciblés) ou encore sur les success stories .