b) Classer : dans quel cadre ?
(1) En France ou en Europe ?
La ministre de l'enseignement supérieur et de la recherche, a plusieurs fois réaffirmé son souhait de profiter de la présidence française de l'Union européenne pour jeter les bases d'un classement sur des critères communs européens.
Votre rapporteur approuve cette orientation susceptible d'améliorer l'information du public , tout en favorisant la mobilité des étudiants et des chercheurs .
Il souligne néanmoins que la transparence du système d'enseignement supérieur français pourrait être considérablement améliorée, dans des délais assez rapides, sans attendre la production d'indicateurs harmonisés européens .
L'élaboration d'un classement européen implique de trouver un accord sur la méthode, puis de mettre au point des indicateurs fiables, susceptibles de refléter la diversité de l'enseignement supérieur du continent, sans défavoriser un pays en raison de ses spécificités nationales.
Ce processus risque d'être long et, s'il est utile de le lancer, il convient de ne pas attendre qu'il soit réalisé pour améliorer la transparence de l'information sur l'enseignement supérieur au niveau français. Cette démarche nationale contribuera, au demeurant, à alimenter la réflexion européenne.
(2) Renforcer les moyens de l'agence d'évaluation
La plupart des classements d'universités sont aujourd'hui produits par des organismes privés , à vocation commerciale, notamment des médias et des cabinets de conseil, ou par des organismes non gouvernementaux (laboratoires de recherche, think-tanks, organisations professionnelles...).
Or les intérêts en cause, et les risques de dérives, justifient un minimum de régulation publique de l'information délivrée sur l'enseignement supérieur .
Il est donc souhaitable que les indicateurs publiés soient construits et/ou vérifiés par des instances publiques, c'est-à-dire en France par le Ministère de l'enseignement supérieur et de la Recherche ou par l'Agence d'évaluation de la recherche et de l'enseignement supérieur (AERES). De nombreux indicateurs existent, ou sont en cours de réalisation, mais leur publicité demeure restreinte et dispersée.
Votre rapporteur rappelle que la loi précitée du 10 août 2007 relative aux libertés et responsabilités des universités (article 20) a rendu obligatoire la publication par les établissements d'indicateurs relatifs d'une part à la réussite aux examens, d'autre part à la poursuite d'études et enfin, à l'insertion professionnelle des étudiants.
Pour l'exploitation de ce type d'informations, un cadre harmonisé existe déjà en France, mais il mériterait d'être davantage exploité au service du public. Il se constitue de deux composantes qui s'enrichissent mutuellement :
- En premier lieu, le cadre contractuel a été renforcé par la loi précitée du 10 août 2007 relative aux libertés et responsabilités des universités, qui rend obligatoire la signature de contrats pluriannuels entre l'État et les établissements d'enseignement supérieur. Ces contrats mettent en oeuvre une logique de performance, et retiennent des indicateurs qui sont, soit communs à l'ensemble des établissements dans la mesure où ils déclinent les indicateurs figurant au projet annuel de performance (PAP) de la mission Recherche et enseignement supérieur du budget de l'Etat, soit spécifiques car se rapportant à l'un des axes stratégiques majeurs de l'établissement.
- En second lieu, les évaluations réalisées par l'Agence d'évaluation de la recherche et de l'enseignement supérieur (AERES), mise en place par la loi de programme pour la recherche du 18 avril 2006, doivent servir de cadre aux futurs contrats. Elles sont publiques et se fondent sur les principes suivants :
« L'AERES conduit ses évaluations selon les principes conformes aux orientations européennes : évaluation interne, évaluation externe, rapport public et évaluation par les pairs.
L'évaluation d'un établissement repose sur l'analyse des stratégies qu'il met en oeuvre pour atteindre ses objectifs. Cette analyse se fonde sur un petit nombre de mesures et d'indicateurs qui rendent compte des résultats des différentes actions de l'établissement au triple niveau local, national et international.
C'est pourquoi il convient de repérer la nature et la qualité de ces stratégies dans plusieurs domaines : la recherche, la formation, la valorisation, les relations avec l'environnement, les relations internationales et la politique étudiante. » 75 ( * )
L'AERES tient compte de la diversité des établissements, de leurs environnements et de leurs missions, mais s'attache également à favoriser les comparaisons intra- et inter-établissements pour conduire « à la fois à une saine émulation et à une logique d'amélioration continue ».
Dans cette optique, un certain nombre d'indicateurs sont examinés pour chaque établissement , relativement aux stratégies déployées dans les domaines considérés comme prioritaires (stratégie scientifique et valorisation de la recherche, stratégie en matière de formation, vie de l'étudiant, stratégie en matière de relations internationales, relations extérieures, gouvernement et gestion).
L'AERES souffre néanmoins d'un manque de moyens pour produire des indicateurs au service de l'évaluation stratégique.
Les indicateurs lui sont fournis d'une part, par le Ministère de l'enseignement supérieur et de la recherche (Direction générale de l'enseignement supérieur, Direction de l'évaluation, de la prospective et de la performance), et d'autre part, par l'Observatoire des Sciences et Technologies (OST).
Or il serait souhaitable que la production d'indicateurs sur l'enseignement supérieur soit plus directement au service de l'évaluateur , en sorte qu'il n'en soit pas seulement l'usager, mais aussi le concepteur. Une telle évolution permettrait de mieux optimiser l'adéquation entre les objectifs de l'évaluation et les indicateurs existants. Elle est cohérente avec l'idée que chaque indicateur doit être mis au service d'un objectif précis. Une telle évolution ne ferait, au demeurant, que poursuivre la logique ayant abouti à la mise en place d'une évaluation indépendante .
Pour s'effectuer à moyens identiques et éviter les redondances, elle devrait se faire par la mise à disposition de l'agence des services producteurs d'indicateurs.
(3) Rassembler les indicateurs existants ou en construction
Une telle centralisation de la production d'indicateurs devrait faciliter leur mise à la disposition du public, dans des délais rapides , sous la forme d'un portail Internet fournissant des données comparables entre établissements et permettant des classements « à la carte », en fonction des priorités des utilisateurs.
Votre rapporteur estime anormal que des informations qui existent ne soient pas publiée s, ainsi que l'ont souligné l'Institut Montaigne et l'Express, en révélant la liste des unités de recherche ayant obtenu la note « A+ » auprès de l'ancienne Mission scientifique, technique et pédagogique (MSTP), dont l'AERES a repris aujourd'hui les missions. Ces évaluations, réalisées entre 2002 et 2006, étaient demeurées confidentielles. La liste des unités de recherche ayant obtenu de moins bons résultats demeure d'ailleurs secrète. Il est souhaitable que l'ensemble des résultats des prochaines vagues d'évaluations des unités de recherche, qui doivent intervenir entre 2008 et 2012, soit rendu public, de même que les évaluations d'établissements, avec les indicateurs associés.
Plus largement, le système d'information à disposition du public devrait comporter :
- des données factuelles sur les établissements (informations sur les programmes et services proposés, taux de réussite...) ;
- des indicateurs de performance, s'inspirant des indicateurs contractuels actuellement existants, accompagnés éventuellement de quelques indicateurs d'opinion, comme le fait, en Allemagne, le CHE, ainsi que d'indicateurs concernant la vie universitaire (vie étudiante, bibliothèque...).
|
LISTE DES INDICATEURS CONTRACTUELS DE PERFORMANCE VAGUE C (2009-2012) 1- Indicateurs relatifs à la formation 1.1 : Part des licences obtenues 3 ans après une 1 ère inscription en L1 dans le total des licenciés ; 1.2 : Réussite en DUT par bac d'origine ; 1.3 : Suivi des étudiants en cursus L (taux d'abandon, réorientation, redoublement) ; 1.4 : Réussite en cursus Master : ratio diplômés / inscrits ; 1.5 : Réussite en doctorat : part des doctorants allocataires soutenant leur thèse en trois ans au plus ; 1.6 : Part des mentions à faibles effectifs en fin de cursus L et M et effectifs concernés ; 1.7 : Devenir des étudiants diplômés (Licence à Master) : insertion, durée d'obtention du 1 er emploi, poursuite d'étude ; 1.8 : Devenir des docteurs : insertion professionnelle après 3 ans ; 1.9 : Réussite comparée des étudiants étrangers et des étudiants français en cursus L et M ; 2- Indicateurs relatifs à la recherche 2.1 : Part des publications de l'établissement dans la production scientifique (française, européenne, mondiale) ; 2.2 : Indice de citation à deux ans des publications de l'établissement ; 2.3 : Participation aux projets ANR (Agence Nationale de la Recherche) : part des financements obtenus par l'établissement dans les moyens attribués par l'ANR, taux de participation dans les projets ANR ; 2.4 : Part des publications de l'établissement dans les domaines scientifiques définis comme prioritaires ; 2.5 : Performance des brevets et des activités contractuelles : - Part de brevets déposés par l'établissement, parmi les brevets français et européens inventés en France ou en Europe ; - Part des ressources apportées par les redevances sur titres de propriété intellectuelle dans les ressources totales de l'établissement ; - Part des contrats de recherche passés avec des entreprises publiques ou privées, françaises ou étrangères, dans les ressources totales de l'établissement ; 2.6 : Part des articles co-publiés avec un pays membre de l'UE dans les articles de l'établissement ; 2.7 : Taux de participation de l'établissement dans les projets financés par les programmes cadres de R&D de l'UE (PCRD) ; 2.8 : Taux de coordination de l'établissement dans les projets financés par les programmes cadres de R&D de l'Union européenne ; 2.9 : Proportion d'étrangers parmi les chercheurs, enseignants-chercheurs, post-doctorants et ingénieurs de recherche rémunérés par l'établissement. |
Votre rapporteur souhaite préciser quelques-unes de ces orientations, s'agissant des indicateurs relatifs à l'enseignement et à la recherche :
• S'agissant de
l'enseignement
,
il insiste sur l'intérêt de pouvoir juger de la
valeur
ajoutée d'un établissement
, en fonction des
caractéristiques de ses élèves. Si des études et
données permettent actuellement d'analyser globalement la valeur
ajoutée du système d'enseignement supérieur, celles-ci ne
sont pas utilisées pour l'évaluation de chaque
établissement. Ceci implique de pouvoir exprimer certains indicateurs de
réussite en fonction des niveaux d'entrée des étudiants.
Votre rapporteur insiste également sur la nécessité d'harmoniser les indicateurs relatifs à l'insertion professionnelle des diplômés. Ces indicateurs sont d'un très grand intérêt pour les étudiants, même s'ils ne permettent pas toujours de juger un établissement, en raison de problèmes de comparabilité entre disciplines, entre marchés locaux du travail, en fonction du niveau des étudiants à leur entrée dans l'établissement. Il faudrait également tenir compte de la qualification de l'emploi obtenu au regard du niveau de diplôme. Ces difficultés d'interprétation ne doivent toutefois pas empêcher la diffusion d'informations utiles .
• S'agissant de la
recherche
,
votre rapporteur se félicite des efforts
actuellement réalisés par l'Observatoire des Sciences et
Technologies (OST) en vue de produire des indicateurs fiables,
réellement représentatifs de la production scientifique de nos
établissements d'enseignement supérieur.
Il
souhaite que le résultat de ces travaux, réalisés par
établissement et par discipline, soit rendu public dès que
possible.
|
LES INDICATEURS BIBLIOMÉTRIQUES
Une convention a été signée en novembre 2005 entre le ministère en charge de la Recherche et de l'Enseignement supérieur et l'Observatoire des Sciences et Techniques (OST), afin de mettre en place des indicateurs de production scientifique et technologique des établissements d'enseignement supérieur. Ce projet, baptisé IPERU (indicateurs de production des établissements de recherche universitaire) est considéré, à ce stade, comme expérimental. Les données produites ne seront pas publiées avant 2009. Ce dispositif repose sur un effort louable pour améliorer la reconnaissance de ses articles par chaque université et permettre la comparaison des résultats entre établissements. Les résultats de certains établissements sont en effet fortement sous-estimés, en raison de difficultés de repérage des publications, et du fait d'usage très différents en matière de citations et de publications, selon les disciplines. Les sciences humaines et sociales sont notamment très sous-représentées dans les bases utilisées par l'OST, qui sont celles du « Web of Science » de l'Institute for scientific information (ISI). L'OST développe ainsi : - des routines pour contrôler la qualité des données et leur comparabilité ; - des procédures de normalisation des indicateurs permettant de comparer entre eux des établissements dont la composition disciplinaire est différente ; - des tests statistiques pour aider à l'analyse de la significativité des résultats (analyse des fluctuations annuelles, établissement d'une typologie des établissements). Les indicateurs ne sont, à l'heure actuelle, pas considérés comme suffisamment fiables pour être publiés. Ces indicateurs sont les suivants : - La part mondiale (ou française) de publication : la part mondiale de publication est égale au nombre d'articles publiés par l'établissement rapporté au nombre d'articles publiés par l'ensemble des acteurs du monde (ou de France), dans le domaine de référence ; - L'indice d'impact relatif à 2 ans est égal au rapport entre la part mondiale de citations reçues pendant 2 ans par les publications de l'établissement (de l'année n) et sa part mondial de publication (de l'année n). Cet indice mesure la visibilité des publications. Lorsqu'il est supérieur à 1, les publications ont une meilleure visibilité que moyenne mondiale. Ce dispositif doit, par ailleurs, permettre la comptabilisation des demandes de brevet, auprès de l'Institut National de la propriété industrielle (INPI) et de l'Office européen des Brevets (OEB). Cet aspect, négligé par les classements internationaux, est pourtant essentiel pour juger des réalisations d'un établissement. |
Votre rapporteur souhaite que la recherche ne soit pas jugée uniquement à l'aune du nombre de publications et de citations, comme dans les classements internationaux actuels, mais aussi au regard de la performance des établissements en termes de brevets et d'activités contractuelles.
Il souhaite, plus précisément, que soit davantage mis en lumière l'impact des établissements sur le développement territorial.
* 75 « Repères pour l'évaluation des établissements d'enseignement supérieur (AERES, 15 juin 2007)