Oublier Shanghai : Classements internationaux des établissements d'enseignement supérieur - Actes du colloque organisé le 6 mai 2010

Rapport d'information n° 577 (2009-2010) de MM. Jacques LEGENDRE et Joël BOURDIN , fait au nom de la commission de la culture et de la Délégation à la prospective, déposé le 23 juin 2010

---

N° 577

SÉNAT

SESSION ORDINAIRE DE 2009-2010

Enregistré à la Présidence du Sénat le 23 juin 2010

RAPPORT D'INFORMATION

FAIT

au nom de la commission de la culture, de l'éducation et de la communication (1) et de la délégation sénatoriale à la prospective (2) sur les classements internationaux des établissements d' enseignement supérieur ,

Par MM. Jacques LEGENDRE et Joël BOURDIN,

Sénateurs.

(1) Cette commission est composée de : M. Jacques Legendre , président ; MM. , Ambroise Dupont, Serge Lagauche, David Assouline, Mme Catherine Morin-Desailly, M. Ivan Renar, Mme Colette Mélot, MM. Jean-Pierre Plancade , Jean-Claude Carle vice-présidents ; M. Pierre Martin, Mme Marie-Christine Blandin, MM. Christian Demuynck, Yannick Bodin, Mme Béatrice Descamps , secrétaires ; MM. Jean-Paul Amoudry, Claude Bérit-Débat, Mme Maryvonne Blondin, M. Pierre Bordier, Mmes Bernadette Bourzai, Marie-Thérèse Bruguière, M. Jean-Claude Carle, Mme Françoise Cartron, MM. Jean-Pierre Chauveau, Yves Dauge, Claude Domeizel, Alain Dufaut, Mme Catherine Dumas, MM. Jean-Léonce Dupont, Louis Duvernois, Jean-Claude Etienne, Mme Françoise Férat, MM. Jean-Luc Fichet, Bernard Fournier, Mme Brigitte Gonthier-Maurin, MM. Jean-François Humbert, Soibahadine Ibrahim Ramadani, Mlle Sophie Joissains, Mme Marie-Agnès Labarre, M. Philippe Labeyrie, Mmes Françoise Laborde, Françoise Laurent-Perrigot, M. Jean-Pierre Leleux, Mme Claudine Lepage, M. Alain Le Vern, Mme Christiane Longère, M. Jean-Jacques Lozach, Mme Lucienne Malovry, MM. Jean Louis Masson, Philippe Nachbar, Mme Monique Papon, MM. Daniel Percheron, Jean-Jacques Pignard, Roland Povinelli, Jack Ralite, Philippe Richert, René-Pierre Signé, Jean-François Voguet.

(2) Cette délégation est composée de : M. Joël Bourdin, président ; MM. Bernard Angels, Yvon Collin, Mme Evelyne Didier, MM. Jean-Claude Etienne, Joseph Kergueris, Jean-François Le Grand, Gérard Miquel, vice - présidents ; MM. Philippe Darniche, Christian Gaudin, Mmes Sylvie Goy-Chavent, Fabienne Keller, M. Daniel Raoul, Mme Patricia Schillinger, M. Jean-Pierre Sueur, secrétaires ; Mme Jacqueline Alquier, MM. Pierre André, Denis Badré, Gérard Bailly, Mmes Nicole Bonnefoy, Bernadette Bourzai, MM. Jean-Pierre Caffet, Gérard César, Alain Chatillon, Jean-Pierre Chevènement, Marc Daunis, Jean-Luc Fichet, Mmes Marie-Thérèse Hermange, Élisabeth Lamure, MM. Philippe Leroy, Jean-Jacques Lozach, Jean-François Mayet, Philippe Paul, Mme Odette Terrade, M. André Villiers .

OUVERTURE DU COLLOQUE

M. Jacques LEGENDRE, président de la commission de la culture, de l'éducation et de la communication du Sénat

Je voudrais dire le plaisir que nous avons au Sénat d'accueillir cet après-midi une réflexion sur les classements internationaux des établissements d'enseignement supérieur. Fidèle à sa réputation de chambre de réflexion et de prospective, le Sénat suit tout particulièrement ce sujet essentiel.

Désormais, l'évaluation est entrée dans les moeurs et avec elle les comparaisons internationales ont fait basculer notre vision du monde de l'enseignement supérieur et de la recherche.

Avec le classement de Shanghai, ô combien médiatisé, nous avons découvert que nos établissements - même les meilleurs d'entre eux - étaient peu connus, voire mésestimés aux yeux du monde. Nous avons donc mesuré à quel point l'enseignement supérieur et la recherche, tout comme les autres secteurs, étaient mondialisés. Aujourd'hui, il nous semble évident que l'évaluation joue un rôle d'aiguillon utile. Encore faut-il cependant avoir bien conscience de ses limites. Notre collègue M. Joël Bourdin l'a parfaitement exposé dans un rapport passionnant sur le défi des classements dans l'enseignement supérieur qu'il a présenté en 2008 au nom de la délégation du Sénat pour la planification, organisme qui a précédé la création de l'actuelle délégation à la prospective, dont le nom correspond davantage à la mission.

Comme il l'a écrit, évaluer l'enseignement est une tâche complexe et les indicateurs risquent de ne constituer qu'un pâle reflet de la réalité ou, pire encore, susciter des effets pervers, car il est évident qu'un classement ne peut pas être scientifiquement neutre. C'est pourquoi il est nécessaire que tous - médias, élus inclus - s'attachent à prendre en compte la diversité des classements existants. La délégation à la prospective et la commission de la culture, de l'éducation et de la communication que j'ai l'honneur de présider ont entrepris d'organiser conjointement ce colloque pour inciter notre pays à approfondir ses réflexions sur ce sujet, à le prendre - si je puis dire - à bras le corps. Quoi que l'on pense de tel ou tel classement, ils existent et ils sont utiles. Il appartient aux acteurs concernés de participer à la définition de leur utilité. Ils doivent aider les auteurs des évaluations à comprendre leurs spécificités et à répondre à leurs attentes. Notre première table ronde doit nous permettre notamment d'approfondir ce point de vue. Elle sera animée par notre collègue M. Jean-Léonce Dupont, qui est le rapporteur de la commission de la culture et de l'éducation pour le secteur de l'enseignement supérieur.

Nous avons intitulé notre colloque d'une façon peut-être un peu provocatrice « Oublier Shanghai », pour susciter un élan. Il ne s'agit pas de subir les classements internationaux et de se lamenter sur leurs résultats : il faut agir. Agir, pour faire évoluer notre système d'enseignement supérieur et de recherche et ma commission s'y attelle avec énergie aux côtés du gouvernement. Agir pour encourager l'émergence d'autres initiatives et être davantage force de proposition, en particulier au niveau européen. L'observatoire des sciences et des techniques est l'un des acteurs de ce changement et sa directrice, Mme Ghislaine Filliatreau, animera notre seconde table ronde.

Je tiens cependant à remercier très chaleureusement les intervenants, dont certains sont venus de bien loin, ainsi que toutes les personnes présentes. Nous avons prévu à la fin de chaque table ronde un temps d'échange avec la salle. Je vous donne maintenant la parole pour les échanges fructueux. Je forme le voeu que ce colloque du Sénat marque une étape dans la mobilisation des uns et des autres sur un sujet essentiel pour notre pays, pour l'Europe, pour l'avenir.

« OUBLIER SHANGHAI » : CLASSEMENTS INTERNATIONAUX DES ÉTABLISSEMENTS D'ENSEIGNEMENT SUPÉRIEUR

I. PREMIÈRE TABLE RONDE - CLASSER ET ÉVALUER LES ÉTABLISSEMENTS D'ENSEIGNEMENT SUPÉRIEUR : POUR QUOI FAIRE ?

A. INTERVENTIONS

M. Jean-Léonce DUPONT, rapporteur pour avis des crédits de l'enseignement supérieur à la commission de la culture, de l'éducation et de la communication

Merci, Monsieur le président. J'ai aujourd'hui l'immense plaisir d'animer la première table ronde de notre après-midi. Nous l'avons intitulée « Classer et évaluer les établissements d'enseignement supérieur : pour quoi faire ? ». En effet, il ne s'agit pas de remettre en cause leur existence, mais d'étudier leur utilité au travers d'un prisme à la fois critique et constructif.

Qu'observons-nous depuis quelques années ? Une multiplication des classements, dans tous les domaines, qu'il s'agisse de ces établissements mais aussi, par exemple, des lycées voire des hôpitaux. Les médias les relayent avec beaucoup de gourmandise et l'appétit de l'opinion publique à cet égard ne se dément pas. Certes, cette évolution présente des risques car elle donne un pouvoir certain aux initiateurs de classements, le comportement des acteurs concernés étant alors influencé. Ceci alors même qu'aucune approche comparative n'est neutre puisqu'un classement dépend à la fois du choix des critères retenus et de leur pondération. Cette situation révèle aussi un souhait d'information de nature à éclairer les décisions individuelles. Au-delà, les classements ont aussi un impact collectif. Ils influencent les politiques nationales. Je pense notamment aux réflexions de l'Allemagne sur sa politique éducative à la suite des classements de l'OCDE. Ils influencent aussi les professionnels concernés qui ne peuvent être indifférents aux rangs qu'ils occupent même si l'essentiel tient sans doute à l'évolution de leur position dans le temps.

Ils influencent enfin les étudiants, dont la mobilité internationale a fortement augmenté, d'à peu près 50 % depuis 2000. Ainsi en est-il du classement international de Shanghai. Il est fortement critiqué et on en connaît les travers liés à un parti pris anglo-saxon qui conduit notamment à accorder une place importante aux prix Nobel et médailles Fields. Mais il a le mérite, de par son existence même, d'obliger les États et les établissements d'enseignement supérieur à s'interroger sur leurs résultats. Il a suscité dans notre pays des prises de conscience dont l'effet mobilisateur a permis d'engager une importante évolution du paysage de l'enseignement supérieur et de la recherche.

Au regard de ce qui se pratique dans de nombreux pays étrangers, la France était, jusqu'à l'arrivée du classement de Shanghai dans une situation atypique. Il n'y existait aucun classement des universités et très peu d'indicateurs à disposition des étudiants pour le choix de leur cursus. Classer induit de fait une forme de publicité comparative à laquelle notre pays n'est pas toujours accoutumé. En tant que rapporteur pour le secteur au nom de la commission de la culture, de l'éducation et de la communication du Sénat, je mesure bien cet élan transformateur. Mais le classement de Shanghai n'est pas seul et c'est heureux. Il est important que d'autres développent des prismes différents afin d'appréhender pleinement la réalité et la diversité des écosystèmes concernés.

Il nous faut toutefois bien admettre que malgré les différences de méthodes existant entre classements, on observe des convergences dans leurs résultats : domination des pays anglo-saxons et place relativement médiocre obtenue par la France. Les universités des États-Unis occupent 54 des 100 premières places du classement de Shanghai et 37 des 100 premières places du classement du Times higher education . La France est sixième du classement de Shanghai par pays et dixième du classement anglais par pays.

Les résultats des universités françaises ne sont pas meilleurs si on considère par ailleurs les classements européens établis par l'université de Leyde sur des critères strictement bibliométriques. C'est dire si une pluralité des classements est nécessaire, y compris sur des critères communs européens, afin d'améliorer l'information du public tout en favorisant la mobilité des étudiants et des chercheurs.

Toute évaluation doit répondre à des objectifs. Elle assume ainsi en quelque sorte un rôle de boussole et aide à la décision. C'est pourquoi nous avons souhaité nous interroger en premier lieu sur la raison d'être et l'utilité de ces classements internationaux.

Mon rôle est de donner la parole aux intervenants à cette table ronde. Nous avons le plaisir d'accueillir M. Jamil Salmi, coordinateur de la Banque mondiale dans le domaine de l'enseignement supérieur, qui vient de publier un ouvrage intitulé Le défi d'établir des universités de rang mondial . Nous le remercions chaleureusement d'être venu de si loin pour nous parler de l'évaluation des systèmes d'enseignement supérieur.

M. Philippe Aghion, professeur à l'université d'économie de Paris et à l'université de Harvard, retenu dans une université étrangère, nous a malheureusement informés de son impossibilité de nous rejoindre. Il participera à notre table ronde par le biais d'un échange téléphonique.

Je propose ensuite que M. Benoît Legait, directeur de l'École des Mines de Paris, prenne la parole pour nous faire part de ses propres analyses ; puis M. Nunzio Quacquarelli, directeur de QS world university rankings , nous présentera le paysage des classements académiques mondiaux. Ensuite Mme Sylvie Cresson, présidente de Personnel association, pourra nous exposer le point de vue des entreprises via celui des directeurs de ressources humaines qu'elle représente. Je suis désolé que la confirmation de sa participation à notre table ronde ne soit pas arrivée dans les délais nous permettant de la faire figurer dans le programme et nous sommes heureux qu'elle ait pu se rendre disponible. Enfin, je remercie également M. Jean-Marc Monteil, professeur des universités, chargé de mission auprès du Premier ministre, qui pourra conclure notre première table ronde. Je demanderai à chaque intervenant de pouvoir le faire entre huit et dix minutes afin de laisser naturellement le temps aux échanges avec l'ensemble des sénateurs et avec l'ensemble de la salle.

Je passe donc la parole à M. Jamil Salmi et je vous en remercie.

M. Jamil SALMI, coordonnateur enseignement supérieur à la Banque mondiale

Je voudrais vous remercier de m'avoir invité à participer à ce débat aujourd'hui. Il y a quelques années, j'ai lu un roman nigérian, dont le titre était Ma Mercedes est plus grande que la vôtre . Aujourd'hui, quand on voit la prolifération des classements d'universités, j'ai l'impression que lorsque deux présidents d'universités se rencontrent, ils se regardent en coin, en se demandant « est-ce que son université est mieux classée que la mienne ? ». L'an dernier j'ai fait un petit recensement des classements que j'ai pu observer. Je ne vais pas faire circuler la liste car nous n'avons pas le temps mais je laisserai ma présentation à ceux qui sont intéressés. Ce qu'il est intéressant d'observer, ce sont deux dimensions que j'ai essayé de capturer dans le graphique suivant. D'abord géographiquement et, deuxièmement, en se posant la question : qui fait les classements ? Géographiquement, il est intéressant de voir que l'Afrique sub-saharienne, l'Afrique du Nord, le Moyen-Orient ont peu de classements. Il y en a juste deux : en Tunisie et au Nigeria. Il y a moins de classements en Amérique latine. Pour le reste, pour toutes les régions, on constate une explosion du nombre de classements avec une croissance très rapide.

Selon les régions, on observe un équilibre entre une initiative de faire des classements prise soit par des gouvernements, ce qu'on voit plus en Asie, soit par les médias, comme aux États-Unis ou en Angleterre avec le classement international du Times higher education . Il y a aussi des classements effectués par des organismes indépendants : des universités, l'École des Mines ou encore des institutions de recherche comme le CHE en Allemagne.

Je vais passer rapidement sur les limites méthodologiques de ces classements, ensuite poser la question de leur utilité ou non, des dangers qu'ils peuvent représenter et proposer une nouvelle démarche qui consisterait à aller au-delà des classements individuels d'institutions, en faisant des systèmes d'évaluation de la performance des systèmes d'enseignement dans leur ensemble.

Je passe rapidement sur les problèmes méthodologiques qui sont très bien décrits dans le rapport établi par la délégation du Sénat.

En 1990, le président de l'université de Stanford avait réagi à la publication annuelle du classement des États-Unis dans le US news & world report , en dénonçant l'imprécision statistique. Les questions qu'il posait étaient : entre le 1 ^er et le 2 ^e , le 1 ^er et le 5 ^e , le 1 ^er et le 10 ^e , y a-t-il finalement vraiment une différence ? Il y a des problèmes de validité des critères, comme cela a été souligné dans l'intervention en introduction aujourd'hui. Le classement de Shanghai, par exemple, c'est le classement de la recherche dans les disciplines scientifiques fondamentales, mais pas du tout dans les sciences sociales et c'est un classement qui privilégie les publications en anglais. Le classement a les inconvénients du classement du Times higher education supplement ou bien de certains des classements nationaux. Il y a l'opinion des pairs, qui sont consultés. Une série d'articles récemment publiés souligne bien le degré d'imprécision, de subjectivité et parfois même de malhonnêteté dans ces jugements, le problème de la validité du poids attribué aux différents critères ainsi que les problèmes de validité statistique au niveau de la pondération et de l'agrégation des indicateurs, qui font que, souvent, une petite variation sur l'un des indicateurs pris en cause va entraîner une grande différence dans les classements.

Les différents indicateurs pris ensemble représentent-ils vraiment une bonne mesure de la qualité de l'enseignement et de la recherche ?

Les écarts au niveau des résultats traduisent-ils ou représentent-ils de vraies différences dans la qualité de l'enseignement de la recherche dans les institutions en question ?

Est-ce que l'on compare le même type d'institution et de programme ?

Je me rappelle il y a trois ans, à la réunion annuelle à Shanghai sur les classements, Mme la directrice de l'ENS était venue expliquer la spécificité d'une grande école comme l'ENS par rapport aux universités généralement prises en compte dans ces classements.

S'ils sont si mauvais d'un point de vue méthodologique, on peut s'interroger sur leur utilité et se demander s'ils ne peuvent pas même être dangereux. Il y a trois ou quatre ans, alors que j'étais en Malaisie, le nouveau classement du Times higher education supplement a indiqué un recul de 90 places pour la meilleure université du pays, l'université de Malaya. Cela a causé un scandale national et le président de l'université a dû démissionner. C'était essentiellement un changement méthodologique d'une année sur l'autre qui expliquait ce grand bouleversement dans le classement. On se rend compte qu'il y a des comportements au niveau des institutions qui sont très négatifs. Aux États-Unis, par exemple, certaines études ont démontré que les universités ciblent une clientèle différente parce que l'un des critères retenu est le degré de sélectivité. Du point de vue de l'équité, cela pose un grand problème. Du point de vue de la répartition des ressources, on donne de plus en plus de ressources à l'aspect recherche et moins à l'enseignement. Des universités en Irlande recrutent des chercheurs étrangers en leur garantissant qu'ils n'auront pas à enseigner une seule heure. Ce qui est important c'est la recherche, la publication et c'est cela qui va permettre d'augmenter le score dans les classements.

Dans beaucoup de pays on s'aperçoit que les institutions font des fusions, se rapprochent parce qu'il y a un effet taille dans certains des classements. Plus on est grand, mieux c'est pour avoir de la visibilité. Il y a des cas de fraude. En Angleterre, l'administration de l'établissement faisait pression sur les élèves pour qu'ils répondent positivement dans une enquête qui était prise en compte par le gouvernement pour ensuite distribuer des ressources.

Même au niveau des gouvernements il y a des réactions parfois hâtives. Les Russes étaient très en colère de voir que leurs universités étaient mal classées, donc ils ont leur propre classement mondial et tout d'un coup l'université de Moscou se trouve bien meilleure que Harvard, Stanford ou la Sorbonne.

Certains gouvernements eux-mêmes, y compris le gouvernement russe, le gouvernement danois, le gouvernement chinois poussent vers des fusions ou des regroupements. Partout dans le monde, on voit que les gouvernements - parfois même en temps de crise - donnent des ressources supplémentaires. Il y a une grande question qui se pose : va-t-on distribuer ces ressources de manière équitable ou bien va-t-on les concentrer en faisant des paris sur les institutions qui vont être les meilleures institutions ? En Australie, il y a un groupe des huit universités principales au niveau de la recherche et c'est une citation du secrétaire général de cette organisation, qui explique que l'Australie ne peut pas se permettre de distribuer ces ressources de manière équitable. Il faut cibler des domaines prioritaires, des disciplines prioritaires. Si on ne donne pas un traitement préférentiel à ces universités phares, le pays va prendre du retard. Il y a l'initiative d'excellence en Allemagne, en Espagne. Vous avez le plan Campus en France et il y a eu des tas d'initiatives pour donner plus de ressources aux universités nationales.

Je pense que ces comparaisons internationales peuvent avoir leur utilité dans la mesure où elles nous permettent d'avoir un regard extérieur par rapport à notre propre situation. Si je vous montre cette institution et si je vous demande si elle est bonne, grande, petite, ce n'est qu'en comparant avec les autres que l'on peut commencer à porter un jugement. Il y a des aspects positifs au niveau des institutions elles-mêmes, dans la mesure où, pour commencer, elles doivent publier des données qui sont vérifiables et justes. Le gouvernement pakistanais a lancé un classement en collaboration avec les présidents d'universités. Aux premiers résultats, certains présidents d'universités se sont plaints de manière très véhémente en disant que ces données étaient fausses. Le gouvernement a répondu : « peut-être, mais ce sont les données que vous nous avez données ». Il y a donc une obligation. L'un des avantages qu'il faut reconnaître au classement de Shanghai, c'est qu'il n'utilise que des données qui sont dans le domaine public et qui peuvent être vérifiées.

Ces classements peuvent pousser à une interrogation et à une réflexion sur les raisons pour lesquelles on est bien classé ou mal classé. Si je suis mal classé, tant pis, ce ne sont pas les facteurs qui sont importants pour moi ; ou bien oui, j'ai bien un problème à ce niveau et il faut que je réagisse. Cela peut permettre de fixer des objectifs concrets pour orienter le pilotage stratégique des institutions et de former des alliances qui permettent de constituer des synergies. L'important est de se demander comment je peux améliorer la qualité d'enseignement et de la recherche de mon institution, si c'est une institution qui essaye de faire les deux.

Au niveau des pays, je crois qu'il y a un effet salutaire de réflexion et de remise en cause. Je vais parler un peu du système français. Je suis très fier d'avoir fait une grande école, j'ai fait l'Essec ; je ne crache pas sur le système qui m'a formé, j'en suis très fier et très content, mais je pense que lorsqu'on le regarde de l'extérieur, l'effet du classement de Shanghai est assez intéressant. C'est le titre du Monde « Grandes misères des universités françaises ». La première réaction est de se dire que l'on n'a pas assez d'argent et que si on en avait plus, cela permettrait de résoudre tous les problèmes. Je voudrais attirer l'attention sur un article très intéressant qui a été publié par le professeur Orivel de Dijon, qui insiste sur certains aspects du système français, qui sont uniques au monde : le fait que les grandes écoles reçoivent - en général - les meilleurs élèves d'une génération. La principale mission de ces grandes écoles est de former des cadres de haut niveau, même si certaines d'entre elles font de la recherche. Par ailleurs, les universités reçoivent les autres étudiants tout en ayant la vocation de la recherche, avec cette particularité qu'en France, en Allemagne, en Russie et certains pays, il y a une séparation très marquée entre les instituts qui font de la recherche en dehors des universités et la recherche dans les universités.

Pour illustrer le point sur l'une des caractéristiques du système d'enseignement français, imaginez que j'aie une compagnie d'aviation et que je vous offre un vol Paris-Londres pour dix euros. Je suis sûr qu'il y aurait beaucoup de preneurs, mais je dirai qu'il y a un petit détail : seuls 77 % de mes passagers arriveront à destination vivants. J'exagère peut-être, mais il y a un grand problème d'efficacité et d'égalité des chances, puisque 23 % des entrants à l'université n'obtiendront pas de diplôme, selon l'état de l'enseignement supérieur publié par le ministère.

La probabilité d'obtenir un diplôme est de 31 % si vous êtes enfant de cadre et seulement de 9 % si vous êtes enfant d'ouvrier. Dans le cadre des grandes écoles, la différence est encore plus élevée pour les enfants de cadres. Au niveau de la répartition des ressources, d'un côté certaines personnes pensent qu'il ne faut pas discriminer, il faut traiter toutes les universités de la même manière. En même temps, au niveau des subventions publiques, un élève d'une école préparatoire va avoir 50 % de ressources publiques en plus qu'un élève d'université.

Comment aller au-delà des classements ? Avec un groupe de chercheurs, nous essayons de réfléchir à un système de benchmarking des systèmes d'enseignements dans leur ensemble plutôt que de se fixer sur les classements d'universités individuelles.

Que ce soit avec le classement de Shanghai ou avec le Higher education supplement , la plupart des meilleures universités se situent aux États-Unis et en Angleterre ; il y en a deux ou trois au Japon, dans d'autres pays de l'Ouest et du Canada. Si on regarde, par exemple, sur ce graphique ^{1 ( * )} , on voit la richesse des pays en abscisse et les publications rapportées à la population du pays en ordonnées. Toutes proportions gardées, on s'aperçoit que les États-Unis et le Royaume-Uni n'ont pas des résultats aussi bons qu'on pourrait le penser. Des pays beaucoup plus petits - la Suisse, la Suède, la Finlande... - ont des résultats bien plus importants.

On obtient le même résultat si on rapporte le nombre d'universités d'un pays parmi les 500 premières du classement de Shanghai à la population de ce pays. Là aussi, vous avez des petits pays qui n'ont pas d'université parmi les 50 meilleures, mais qui, globalement, ont un score bien plus élevé. La France n'est pas représentée ici, mais il y a une étude qui vient d'être publiée en Angleterre sur les inégalités de revenus et tous les problèmes sociaux que l'on trouve dans les pays. La thèse que défend ce livre avec des données à l'appui, c'est que les pays où il y a plus d'inégalités sociales ont aussi le plus de problèmes sociaux, aussi bien au niveau de la criminalité, de la santé... Sur ce graphique nous pouvons voir que les États-Unis et le Royaume-Uni, les pays qui ont le plus d'universités bien classées, ont un score bien moins élevé que les pays scandinaves, le Canada ou bien même l'Allemagne en ce qui concerne la mobilité sociale.

Le fait d'avoir des universités bien classées ne veut pas dire que les pays ont une bonne performance aussi bien du point de vue de la croissance économique que du développement social. Les pays les mieux classés pour l'économie du savoir d'après le classement de la Banque mondiale ne sont pas ceux qui ont les meilleures universités. Ce sont des pays comme la Finlande, comme la Suède, le Danemark, qui n'ont peut-être pas d'universités très bien classées, mais qui ont une homogénéité et des résultats qui, au niveau national, sont beaucoup plus performants.

On s'aperçoit aussi que des systèmes peuvent obtenir des résultats similaires avec des niveaux d'investissements différents ou vice-versa , avec le même niveau d'investissements, vous pouvez avoir des résultats différents. J'ai pris quelques pays pour illustrer cette proposition.

Nous avons ici les dépenses publiques destinées à l'éducation en pourcentage du PIB et la proportion d'adultes dans ces pays qui ont terminé les études supérieures. On voit, par exemple, que le Japon - dont les dépenses publiques destinées à l'éducation sont bien moins élevées que la France - a un résultat bien supérieur. Pour le même niveau d'investissement, la France a des résultats bien meilleurs que le Portugal mais le Canada a un meilleur résultat.

Qu'est-ce que les classements ne nous disent pas ? Ils ne nous disent rien sur la performance du système dans son ensemble. Ils ne parlent pas du problème de l'équité. Ils ne parlent pas de la qualité ou de la pertinence de l'enseignement. Ils ne parlent pas d'un aspect qui est pour moi très important : la différenciation institutionnelle, le fait d'avoir différents types d'institutions pour différents besoins, pour différentes clientèles. Personnellement, je dirais qu'aux États-Unis, ce ne sont pas les Harvard, Stanford et Yale de ce monde qui sont vraiment importants mais le fait qu'il y ait un réseau de collèges communautaires très important et une fluidité au niveau des passerelles entre ces collèges communautaires et les universités. Les classements ne parlent pas de la contribution des établissements au développement économique et social des régions.

Le modèle que je propose regarde les résultats au niveau national, avec six variables :

• le niveau de formation atteint par les adultes ;

• l'équité au niveau de cette formation ;

• la qualité de l'apprentissage ;

• les résultats de la recherche ;

• le transfert de technologie pour contribuer à l'innovation économique et sociale ;

• les valeurs qui sont transmises par ces institutions.

Certains de ces aspects sont très difficiles à mesurer, mais je pense qu'on ne peut pas privilégier un aspect, car tous les résultats contribuent au système d'enseignement. Voici les facteurs qui contribuent tous ensemble à ces résultats : une vision au niveau national et la capacité de mettre en place des réformes, la gouvernance, la garantie de la qualité, la diversification du système d'articulation et ses passerelles, les ressources financières et les incitations et finalement l'infrastructure digitale qui est de plus en plus importante pour le système d'enseignement supérieur. Il ne faut pas avoir une vision figée. Vous pouvez avoir deux pays qui ont des résultats équivalents aujourd'hui. Mais si on regarde les progrès au cours des dernières années, la situation est différente. C'est aussi une dimension qui doit être très importante de comparer ce que les classements ne nous permettent pas de faire aujourd'hui.

Un exemple : l'État du Minnesota, qui n'est pas l'un des États les plus riches aux États-Unis, mais qui a décidé, il y a quatre ans, de faire des progrès au niveau de l'économie de la connaissance. Ils ont défini cinq objectifs et ils font chaque année ce benchmarking , où ils comparent leurs résultats aux trois meilleurs États des États-Unis, à trois États pairs, similaires du point de vue des caractéristiques économico-sociales et aux meilleurs pays de l'OCDE, à la moyenne de l'OCDE.

Qu'est-ce que cela nous dit ? Il ne faut pas arriver à un monde où tout sera classifié et où on ne prendra pas de décision sans regarder le classement. Il faut reconnaître que la prolifération de ces classements n'est pas une coïncidence. C'est parce qu'il y a une soif d'information parmi les usagers, une culture de la transparence. Les classements sont une manière parmi d'autres d'évaluer et de rendre des comptes sur les performances de l'enseignement supérieur. L'utilité des comparaisons internationales est que cela nous permet d'avoir un regard objectif pour stimuler les débats sur les défis auxquels nos institutions font face. Il faut, comme principe de base, comparer des institutions similaires, des programmes plutôt que des institutions et plutôt par indicateurs qu'en utilisant des scores, des classements qui sont très attirants pour vendre des magazines mais qui ne sont pas représentatifs de la réalité. Il faut comparer les résultats plutôt que les intrants et il faut utiliser les classements de manière positive, pour améliorer notre performance et non pas uniquement pour essayer de battre la concurrence. Je propose que l'on utilise le benchmarking , parce que c'est une analyse au niveau du système national et non pas des institutions à titre individuel ; c'est multidimensionnel. Cela nous permet de regarder s'il y a un alignement des facteurs-clé et d'identifier des leviers de politiques nationales pour transformer les systèmes. Cela nous évite d'être complaisants. Souvent les institutions se comportent comme ce chat qui se regarde dans le miroir et qui s'imagine être beaucoup plus puissant et fort que ce qu'il est dans la réalité.

Je vous rappelle la citation d'Einstein qui nous dit sagement que tout ce que l'on peut mesurer n'est pas nécessairement important et tout ce qui est important ne peut pas nécessairement être compté.

M. Jean-Léonce DUPONT, rapporteur pour avis des crédits de l'enseignement supérieur à la commission de la culture, de l'éducation et de la communication

Merci beaucoup. Je pense que nous avons au téléphone M. Philippe Aghion. Vous connaissez le thème général de cette première rencontre et je vous laisse la parole.

M. Philippe AGHION, professeur d'économie à Harvard (par téléphone)

Je voulais aborder quatre points. D'abord, le critère d'évaluation de Shanghai a été critiqué pour mélanger les pommes et les poires. On mélangeait des indices de citation d'articles, les prix Nobel ou des médailles Fields. C'est mélanger des choses qui ne sont pas vraiment comparables pour faire un indice agrégé. Ce sont des indices qui donnent un certain poids à la taille, qui favorisent les gros établissements et les sciences dures, comme cela a été très bien expliqué auparavant. J'ai fait plusieurs études sur l'enseignement supérieur. Comme je n'aurai pas le temps de parler longtemps, ceux qui sont intéressés peuvent regarder dans Bruegel : j'avais fait un document « Why reform Europe's universities » avec quelques collègues. J'ai un article qui est paru dans Economic policy , une revue d'économie sur les déterminants du succès universitaire. Shanghai n'est pas le seul critère. On pourrait considérer, par exemple, un critère qui repose sur les publications et les citations des publications. On pourrait considérer un autre critère qui est celui des brevets qui émanent des universités, ou un autre critère qui est la contribution à la croissance du pays ou de la région. J'ai fait des études utilisant les quatre indicateurs. Les conclusions auxquelles on arrive sont les mêmes que l'on utilise un indicateur ou l'autre. Peut-être que le classement changerait un peu, mais quand on arrive à des conclusions de politique économique, que l'on prenne n'importe lequel de ces quatre indicateurs, cela vous donne une bonne idée des universités qui ont une bonne ou une moins bonne performance. Si vous vous intéressez à ce qui détermine le classement en termes de n'importe lequel de ces indicateurs, on trouve de manière invariable qu'il y a trois éléments essentiels. Ces indicateurs varient de façon co-monotone et ils ont les mêmes déterminants, qui sont les moyens. Sans argent, on n'y arrive pas. La deuxième chose est l'autonomie budgétaire et l'autonomie dans la décision d'embaucher, la détermination des salaires, des professeurs, des programmes. C'est très important.

Le troisième pilier est la concurrence pour les bourses, une AMR, une MSF aux États-Unis, une Open research council en Europe et qu'une partie des financements de l'université provienne du recours à la concurrence pour avoir des bourses. Ces trois éléments sont les clés de la réussite. C'est vrai, quelle que soit la mesure de succès que l'on utilise. Des moyens, de l'autonomie, de l'autonomie bien comprise. Je suis assez critique d'une autonomie où le président a tous les pouvoirs. Je suis très en faveur d'un président qui soit contrôlé par un Conseil d'administration, comme on le fait pour les entreprises. Les Canadiens l'ont fait pour les entreprises publiques. Ils ont mis en place des Boards of trustees publics, des gens de la région, mais il y a quand même un contrôle, des gens qui se réunissent chaque année et qui disent « alors, le budget, les publications », parce que sinon, vous tombez dans le danger qu'un président médiocre nomme des professeurs médiocres qui élisent eux-mêmes un président médiocre. On voulait éviter un cercle vicieux de ce genre. Une autonomie bien conçue et un aspect concurrence. Ce sont des éléments très importants pour s'assurer que l'on va avoir de bonnes performances de recherche, quelle que soit la manière dont c'est mesuré.

Le troisième élément, ce sont les classements eux-mêmes et tout dépend si on veut être dans les 50 premiers de Shanghai, dans les 100 premiers ou dans les 200 premiers. Si vous regardez les 100 premiers, vous avez les États-Unis à 100, l'Angleterre à 86 mais également la Suisse. Vous n'avez pas beaucoup d'autres pays, un peu la Finlande. Dans les 100, vous avez également la Suède, le Danemark, les Scandinaves, un peu moins l'Allemagne et la Hollande. Si vous vous référez aux 100 premiers de Shanghai, vous avez des systèmes plus privés comme l'Angleterre ou les États-Unis et des systèmes plus publics comme la Suède, où l'on ne paye pas de droits d'inscription et où la sélection se fait une fois dans l'université. C'est intéressant car il y a des modèles sociaux différents qui peuvent tous deux conduire à de bonnes performances dans les 100 premiers de Shanghai. Dans les deux cas, vous avez des moyens pour l'université, vous avez de l'autonomie et une concurrence pour les bourses. Je crois qu'il est très intéressant de savoir que différents systèmes sociaux peuvent conduire à de très bons classements de Shanghai parce qu'ils ont ces trois éléments.

Si on regarde dans les Shanghai top 50, là c'est surtout l'Angleterre, la Suisse et les États-Unis qui sont dans les 50 premiers. Les Scandinaves veulent améliorer leur système pour passer de très bons dans les 100 premiers à une présence parmi les 50 premiers. Nous sommes très loin derrière et comme je le dis à chaque fois, heureusement qu'il y a l'Italie pour nous donner un bon visage. Les Italiens sont toujours pires que nous, un peu nous en pire. C'est donc toujours bien de les avoir comme bonne conscience pour nous.

En France, il y a de bons établissements et avec des regroupements intelligents, on pourrait faire beaucoup mieux dans ces classements. Là, on peut revenir à la réforme du grand emprunt qui peut permettre très rapidement d'améliorer la situation chez nous.

La quatrième remarque que je voulais faire : les critères de Shanghai sont des critères de recherche. On peut penser à d'autres critères d'excellence qui sont notamment l'insertion professionnelle. On peut se dire que l'on considère que de bons critères de réussite d'une université, c'est l'aptitude à préparer les gens à une vie professionnelle. Là, on peut se demander quels en sont les déterminants. Je pense que ce serait bien d'avoir aussi de bons indicateurs d'insertion et d'introduire dans le système français une culture du placement des étudiants, de se soucier du placement des étudiants, de leur avenir. Souvent, les gens se plaignent que l'université ne se soucie pas de leur devenir. Je pense qu'il y a une bonne raison à cela, c'est qu'il n'y a pas les moyens. On ne peut pas demander à des professeurs mal payés, qui partagent leur bureau à quatre personnes, comme je l'ai vu à Besançon, qui sont dans des conditions lamentables, à des professeurs qui sont aussi mal lotis, mal payés, de s'occuper du placement des étudiants. Aux États-Unis, on le fait parce qu'on dispose de très bons moyens. Chacun a son bureau. Nous avons un secrétariat, toute une infrastructure et une charge de cours qui n'est pas excessive, qui nous permet de passer beaucoup de temps à donner des coups de téléphone et à conseiller les étudiants et à nous occuper de leur insertion. Je pense que l'une des premières clés de l'insertion, ce sont les moyens. En France, on dépense en moyenne 8 000 euros par an par étudiant, alors qu'aux États-Unis on dépense en moyenne 36 000 euros par an par étudiant. C'est une énorme différence et je crois qu'on ne peut pas sérieusement s'occuper d'insertion professionnelle tant que les moyens n'auront pas été considérablement augmentés.

Il y a eu aussi d'autres idées qui ont été émises pour le premier et le second cycle : c'était de retarder la spécialisation. Aux États-Unis, on se spécialise plus tard. Les gens choisissent plusieurs disciplines au début et après ils choisissent un major , une spécialisation. La spécialisation se fait progressivement. Cela réduit le taux d'échecs. Cela veut dire qu'on peut réaliser qu'on n'est pas aussi bon qu'on le pensait dans ce que l'on voulait faire au départ ou bien on découvre qu'il y a d'autres matières que l'on préfère. Il y a eu des comparaisons inter-pays qui montrent que les pays qui se spécialisent un peu plus tard ont tendance à former des gens plus adaptés ou adaptables sur le marché du travail. Là, il y a une réflexion à mener qui est très importante à mon avis. Il y a un autre aspect qui a été soulevé : on prépare les grandes écoles au lycée, ce qui fait que l'un des gros problèmes est que le premier cycle universitaire voit très peu des gens brillants qui préparent les grandes écoles. J'aimerais que l'on évolue, mais cela prendra du temps et ce sera une révolution culturelle qui se fera petit à petit. J'aimerais que, petit à petit, les classes préparatoires se déplacent des lycées vers les universités, que l'on prépare les grandes écoles dans l'université et que les grandes écoles fassent partie d'ensembles universitaires, un peu comme on prépare la Kennedy school, la Law school à Harvard, dans une université. Je sais que c'est quelque chose qui prendra du temps parce qu'il faut préserver ce qui existe et qui marche bien, mais je pense qu'il faut quand même songer à une évolution qui ferait que, de plus en plus dans les universités, au niveau du premier cycle, on verrait les étudiants excellents qui, pour le moment, passent le premier cycle au lycée.

Il y a un certain nombre de révolutions à faire, certainement dans la gouvernance des universités pour améliorer les performances de recherche. Il faudrait également réfléchir à une manière de transformer le premier et le second cycle universitaire, de façon à réduire l'échec.

M. Jean-Léonce DUPONT, rapporteur pour avis des crédits de l'enseignement supérieur à la commission de la culture, de l'éducation et de la communication

Je voudrais, peut-être pas au nom des Italiens mais au nom de la salle, vous remercier pour la qualité de la synthèse. Je vais passer la parole à M. Benoît Legait. On disait que, quels que soient les systèmes d'évaluation, on arrivait pratiquement toujours aux mêmes résultats. Je sais que vous initiez une démarche et nous allons vous écouter.

M. Benoît LEGAIT, directeur de l'École des Mines de Paris

Je vais parler du classement de l'École des Mines. Le terme de classement est sans doute un peu avancé. C'est le classement que nous avons réalisé il y a trois ans et que nous tenons à jour tous les ans. Le titre de cette conférence est « Oublier Shanghai ». Je vais vous décevoir car je vais beaucoup parler de Shanghai. Le principe même de ce classement est en réaction au classement de Shanghai qui, comme cela a été souligné tout à l'heure, reste essentiellement fondé sur des critères académiques, des critères de performance de recherche. C'est le nombre de publications, de publications dans Science et Nature , le nombre de scientifiques extrêmement cités, le nombre de prix Nobel, des critères très académiques et très orientés recherche. Or il nous semblait qu'un établissement d'enseignement supérieur a pour vocation première de former des jeunes et de les préparer pour la vie économique ou la vie académique. À ce titre, je voudrais vous faire part d'un échange que j'ai eu avec le président de l'université de Harvard, qui réagissait sur le classement que nous avions proposé. Dans le rapport lui-même, nous indiquions qu'il nous semblait que la vocation première d'un établissement supérieur était de former, préparer des jeunes à une insertion professionnelle. Sa réaction a été de dire « non, ce n'est pas vrai, vous ne pouvez pas dire cela. La vocation première d'une université est de créer de la connaissance et de diffuser de la connaissance ». Dès le départ, il y a une controverse sur les objectifs des établissements d'enseignement supérieur. Je ne voudrais pas m'arrêter là mais je voudrais vous décrire très brièvement la méthodologie que nous avons utilisée. Notre classement s'appelle Professional ranking ; c'est un clin d'oeil à Shanghai, qui était Academic ranking .

Nous avons voulu regarder et avoir des critères sur l'insertion professionnelle des étudiants. Plusieurs possibilités. L'une par exemple est de regarder les salaires d'embauche et les délais d'embauche des diplômés. C'est un critère qui est souvent utilisé par les magazines français quand il s'agit de classer les grandes écoles. Il n'y a pas de base de données en dehors des MBA, qui classent plutôt la différence entre le salaire d'entrée et le salaire de sortie.

Ce genre de données repose sur des données déclaratives des établissements d'enseignement supérieur. Quelle que soit la confiance que l'on peut y porter, des données déclaratives doivent être prises avec des pincettes. Cela dépend du taux de réponse, si on parle du salaire net, si on inclut les primes... Les coûts de vie sont très différents entre les pays. Comment fallait-il prendre en compte des différences de taux de change ? Comment prendre en compte les différences du coût de la vie entre les différents pays ?

Autre solution : les anciens qui ont des postes de direction, mais la notion de dirigeant est très variable suivant que l'on dirige une grande entreprise de 100 000 personnes ou une PME de dix personnes. Cela n'a pas de sens. Comment classer le numéro trois ou le numéro dix d'un très grand groupe par rapport à un numéro un d'un petit groupe ?

Nous avons choisi - et c'est discutable - de nous fonder sur une base de données objective, existante, qui est celle d'un magazine qui s'appelle Fortune global 500 et qui classe les 500 premières entreprises mondiales sur le critère du chiffre d'affaires. Il y a 500 premières entreprises. Ce chiffre nous a semblé assez raisonnable, car c'est assez comparable au nombre de prix Nobel et des médailles Fields vivants.

Il y a 500 premiers chief executive officers et pour chacun, nous avons reconstitué le parcours académique. Nous avons été regarder dans le Who's who , sur le web, nous avons interrogé les entreprises elles-mêmes et avons retrouvé l'origine universitaire, au sens large du terme, de ces différents patrons.

Ici, par exemple, nous avons cherché le patron de General Motors. C'est peut-être un mauvais choix compte tenu de l'actualité, mais il est originaire de Duke university et il avait un MBA de Harvard. Cela fait un demi-point pour Duke et un demi-point pour Harvard. Quand on cumule les points par établissement supérieur, on trouve un ranking .

En réalité, il y a 506 PDG de ces 500 premières entreprises. Le 506 peut vous étonner, mais cela tient au fait que certaines entreprises sont bicéphales. Quand il y a deux PDG, nous avons pris un demi comme point et non pas un point complet. Nous avons retrouvé l'origine académique de 475 d'entre eux. Je cite tous ces chiffres pour vous montrer un peu la complexité de ce genre de travail. 377 établissements ont été classés, puisque plusieurs ont plusieurs PDG dans les 500 premiers. Vous voyez, parmi les 60 premiers établissements d'enseignement supérieur, il y en a 23 aux États-Unis. Cela confirme la prépondérance américaine des classements académiques. Le Japon s'en sort très bien, la France aussi, la Grande-Bretagne... C'est assez différent du classement académique.

J'arrive tout de suite aux conclusions. Tout d'abord, le poids des formations complémentaires et en particulier des MBA. Pour le classement 2009, sur 24 personnes ayant apporté des points à Harvard, six seulement étaient en formation initiale et tous les autres étaient issus de la business school . Il y a une idée assez couramment admise en France qui est que pour être PDG aux États-Unis, il faut avoir un PhD. Non, c'est faux, au moins parmi les 500 premières sociétés américaines, il y a peu de détenteurs de PhD.

Le Japon est un cas spécifique. Sur les 31 dirigeants non-renseignés de notre étude, la majorité sont des dirigeants d'entreprises japonaises. Nous avons fait une étude en langue japonaise. Nous avons utilisé nos professeurs de langues japonais pour essayer de trouver sur Internet l'essentiel des données complémentaires, mais c'est parfois très opaque et il est très difficile d'obtenir des informations. Le classement japonais, qui est déjà excellent, souffre un peu de cette situation. En France, parmi ces 377, il y a 28 établissements qui sont classés et il y a 41 points pour 36 entreprises françaises.

Cela veut dire qu'il y a 36 entreprises françaises parmi les 500 premières mondiales. En gros, c'est le CAC 40, un peu moins, mais il y a 41 PDG d'origine française ou qui sont passés par des établissements d'enseignement supérieur français. Quelque part, la France est exportatrice de managers. Il y a des managers français en Grande-Bretagne, aux États-Unis...

Le facteur de taille n'est pas pris en compte dans notre étude. Je voudrais dire un mot sur ParisTech dont le nom est maintenant Mines ParisTech. Nous sommes intégrés dans cet établissement de coopération scientifique. ParisTech classé serait numéro trois, quasiment à égalité avec l'université de Tokyo et l'université de Harvard, qui occupent les deux premières places à l'heure actuelle.

Je n'ai pas insisté sur l'aspect classement car ce n'est pas l'essentiel. Néanmoins, pour les curieux, on retrouve les grandes universités américaines dans les premières, en particulier Stanford, qui est troisième. Mais on trouve également de grandes écoles françaises, HEC est sixième, l'ENA est dixième, l'École Polytechnique est quatorzième, Sciences Po est quinzième et Mines ParisTech est dix-huitième.

Je voudrais terminer par un clin d'oeil au classement de Shanghai. L'idée initiale était que cette étude s'intègre complètement dans le classement de Shanghai. J'ai donc été discuter avec le professeur qui est l'inventeur et le concepteur du classement de Shanghai pour promouvoir cette étude et qu'il l'intègre dans son classement. Il trouve le critère excellent, mais comme pour les prix Nobel, il prend un historique sur 100 ans et il prendra mon étude quand elle portera sur les PDG des 500 premières entreprises au cours des 100 dernières années. Comme il n'existe aucune base de données sur la question, la discussion a été rapidement close.

Ce que nous avons cherché à reprendre dans cette étude, ce sont les valeurs du classement de Shanghai. Je pense qu'il faut insister sur quelques éléments qualitatifs qui me semblent importants. Ce classement ne dépend pas de données déclaratives mais il relève de données qui sont extraites de bases de données, donc qui peuvent être vérifiées. À partir du moment où l'on a les critères, on peut retrouver et vérifier les critères. C'est une approche que je qualifierais de scientifique.

Je vous remercie pour votre attention.

M. Jean-Léonce DUPONT, rapporteur pour avis des crédits de l'enseignement supérieur à la commission de la culture, de l'éducation et de la communication

Merci. On voit bien qu'il y a pluralité des démarches. Je vais donc demander à M. Nunzio Quacquarelli, qui est directeur de QS world university rankings, de nous présenter le paysage des classements.

M. Nunzio QUACQUARELLI, directeur de QS world university rankings

Merci pour votre invitation à prendre part à cette table ronde aujourd'hui. Je parle anglais et italien et je dirais que mon français est limité. Parfois, je vais utiliser des mots anglais. J'ai étudié à Cambridge et à l'Université de Wharton (Pennsylvanie) et je dirige aujourd'hui QS , qui fait de la recherche auprès des établissements d'enseignement supérieur depuis 2004 et des business schools depuis 20 ans.

Je vais exposer les QS world university rankings qui sont ceux du Times higher education depuis 2004.

Les rankings sont controversés. Vous pouvez lire la citation de Howard Davies. Notre mission est de permettre aux personnes motivées de réaliser leur potentiel à travers l'éducation, la mobilité internationale ainsi que le développement professionnel. Plus de 20 millions de personnes ont vu nos classements sur le web et les sites de nos partenaires en 2009 et plus de quatre millions durant les trois derniers mois de cette année ont visité Topuniversities.com. Il y a une demande importante pour cette information et je peux dire que les meilleures universités sont les rock stars de la nouvelle génération.

Aucun classement n'est idéal pour les stratégies universitaires. Tous ont des limites. Je ferai un peu d'histoire, mais vous connaissez tous cette information : le premier ranking mondial, c'était Shanghai en 2003. Nous avons lancé avec le Times higher le QS university ranking en 2004. Il y a aussi HEEACT en 2007, Leiden en 2009, Global university ranking en Russie en 2009. Cette année, QS va avoir de nouveaux partenaires de médias comme US News et Le Nouvel Observateur . Nous avons également établi un conseil international de seize experts académiques pour vérifier les statistiques de notre classement en Argentine, Australie, France, Chine, Inde, au Japon, au Mexique, aux États-Unis et au Royaume-Uni. En 2010, nous avons lancé la poursuite de notre partenariat à long terme avec Scopus, la base de données bibliométriques d'Elsevier que nous utilisons pour notre ranking . C'est une base de 18 000 journaux académiques, dans toutes les langues.

Nous nous concentrons sur les missions les plus adéquates pour les universités qui aspirent à l'excellence mondiale. La qualité de recherche, la qualité de l'enseignement mais aussi l'employabilité et la dimension internationale. Nous avons fait beaucoup de recherches avec les directeurs d'universités et ils nous ont dit que c'étaient les missions les plus importantes. Ce n'est pas exhaustif. Il y a d'autres missions pour les universités, mais ces missions sont les plus importantes.

Les critères pour QS sont : revue par les pairs 40 %, revue par les employeurs 10 %, ratio étudiants-professeurs 20 %, ratio international 5 %, étudiants internationaux 5 %, citations par facultés 20 % (source Scopus). Tous les critères métriques sont ajustés à la taille des facultés et nos sondages sont en langue locale : allemande, française, chinoise... Nous n'utilisons pas le critère du prix Nobel. Je n'ai pas le temps de faire une comparaison avec les autres classements.

Le top 100 des universités du classement QS fait apparaître plus de vingt pays : trente-six universités d'Amérique du Nord, trente-neuf d'Europe et vingt-cinq d'Asie et d'Australie. Par comparaison, dans le classement de Shanghai, il y a soixante universités en Amérique, trente-et-une en Europe et neuf en Asie et Australie. Il y a dix-huit universités françaises dans le Top 400 du QS Ranking .

Nous produisons aussi des indicateurs de force par pays et la France est septième après les États-Unis, l'Allemagne, le Royaume-Uni, le Canada, l'Australie et le Japon. Nous pourrons expliquer ce classement plus tard.

Nous avons aussi une classification des universités qui permet de connaître la diversité des institutions. Cela montre qu'elles ne sont pas partout les mêmes. C'est une classification par taille, niveau de recherche et spécialisation. Les dirigeants des universités et des gouvernements pourront ainsi comprendre les positions par rapport à des institutions similaires. Pour nous, cela est très important. Ce n'est pas une bonne idée que les dirigeants d'universités prennent des décisions stratégiques seulement sur un ranking . Ils devraient utiliser cette classification et les autres recherches et informations pour cette décision stratégique.

Je n'ai pas le temps d'expliquer toute la classification, mais je peux donner l'exemple des écoles spécialisées dans un ou deux domaines d'enseignement, qui sont de petite taille et qui ont un niveau de recherche modéré ou non existant. Vous pouvez comparer tous les types d'universités.

Nous travaillons toujours avec notre groupe d'experts académiques pour identifier de nouveaux critères et de nouveaux systèmes pour connaître la diversité des institutions. Par exemple, nous pouvons utiliser l'évaluation de la satisfaction des étudiants pour évaluer la qualité de l'enseignement. Il y a d'autres critères pour évaluer d'autres missions, comme les brevets et les publications.

Cette année, nous produisons des classements par discipline pour les départements mais aussi pour toutes les disciplines.

Nous avons commencé un nouveau projet qui s'appelle QS Stars , un système d'évaluation basé sur un audit volontaire qui inclut la transmission des savoirs, la contribution à la société, l'infrastructure et la spécialisation au niveau mondial. Nous avons fait treize années de recherches pour le développement de ce système. Nous commençons avec 70 universités dans le monde entier pour cette année.

En conclusion, nous faisons ceci afin de servir les besoins des jeunes diplômés qui veulent étudier dans les universités de « classe mondiale », partout dans le monde, afin de les aider à trouver la bonne université qui corresponde à leurs besoins spécifiques. En 2011, nous pourrons proposer aussi des classements personnalisés pour ces jeunes diplômés. C'est la raison de l'importance de ce ranking . Merci beaucoup.

M. Jean-Léonce DUPONT, rapporteur pour avis des crédits de l'enseignement supérieur à la commission de la culture, de l'éducation et de la communication

Merci. Nous allons maintenant changer d'angle d'analyse et je passe la parole à Mme Sylvie Cresson, présidente de Personnel association, pour nous donner un autre point de vue, celui des entreprises.

Mme Sylvie CRESSON, présidente de Personnel association

Je vous propose de ne pas donner le point de vue des entreprises, mais celui des DRH et notamment de l'association que je représente. Je vous propose de vous présenter notre association pour que vous sachiez quel type de DRH nous sommes.

Nous sommes une association de DRH qui existe depuis une quarantaine d'années et qui regroupe principalement des DRH de sociétés internationales. Nous sommes environ une soixantaine de toutes origines : américaine, européenne, japonaise, française. Les personnes qui constituent l'association sont en général les numéros un ou deux de la fonction au sein des DRH, puisqu'en fonction des structures, on peut être numéro deux. Ils anticipent les événements, conduisent des changements et des évolutions et ils sont membres à part entière du comité de direction ou du comité exécutif. C'est un lieu d'échange et de convivialité, de solidarité. Nous organisons des travaux en groupe, notamment sur le DRH international, sa formation, qui il est, quel est son rôle, sur le capital humain et les indicateurs, l'évolution des types de rémunération et bien entendu nous faisons intervenir des personnalités. Nous partageons des valeurs communes que nous avons décrites dans une charte. Je ne vous la présente pas, je vous donne simplement les titres :

• donner du sens à notre responsabilité professionnelle ;

• aider au développement professionnel de tous ;

• renforcer l'éthique et le respect de la personne ;

• promouvoir l'équité et la diversité ;

• prévenir les conflits d'intérêts ;

• garantir la confidentialité.

Nous avons réfléchi à ce sujet des classements universitaires et nous avons souhaité l'aborder sous les effets pervers du classement de Shanghai.

Le premier effet pervers - et vous verrez que cela va recouper ce qui a été dit précédemment - c'est que plus on est important comme université, mieux c'est. La taille de l'université et le nombre d'étudiants et de chercheurs ne sont pas étrangers à son classement.

Le deuxième effet pervers a été également décrit : c'est publier ou mourir. Je crois que c'est très clair puisque dans le classement de Shanghai c'est ce qui vient en premier. Avec cette approche, il nous semble qu'il en résulte une focalisation outrancière sur les travaux académiques au détriment de la compréhension des organisations et de leurs modèles académiques. Pour nous, ce n'est pas un critère intéressant.

Le troisième effet pervers est que ce qui est important, c'est l'apparence et non la réalité. On en vient à ce qu'une université soit bien placée et non pas par rapport au contenu des enseignements qui peuvent être dispensés. On s'aperçoit aujourd'hui que beaucoup de jeunes s'interrogent plus sur des classements, pas forcément celui de Shanghai, mais je pense notamment aux business schools , sur leur classement avant de les choisir. Or, derrière, ce n'est pas forcément une bonne orientation.

Le quatrième effet pervers concerne la valeur ajoutée : est-ce que nous, DRH, on peut considérer que le fait d'embaucher un collaborateur sortant du numéro un ou du numéro deux de ce classement est un gage de valeur ajoutée de la personne dans nos organisations ? Je n'en suis pas certaine.

Le cinquième effet pervers, c'est « jugez-moi par mon futur » mais il manque pour nous une analyse du devenir. Je vais rejoindre tout ce qui a été dit sur l'employabilité, sur la possibilité de trouver un emploi à la sortie des universités. Je pense que ce sont des facteurs importants.

Le sixième effet pervers, the brain and the heart , le coeur et la raison : c'est un classement qui est, par définition, restrictif et qui nous amène à passer sous silence de nombreux indicateurs. Tout le monde en a parlé tout à l'heure objectivement. Qu'en est-il du ratio nombre d'étudiants / nombre d'enseignants ou de professeurs, qui est un gage de proximité et d'écoute ? Quid des indicateurs de diversité, de nationalité... ? Comment mesure-t-on la culture générale apportée aux étudiants ?

Le dernier effet pervers noté est le capitalisme karaoké. Il ne reste plus à nos universités qu'à se conformer aux modèles et ce serait vraiment triste pour nous. Je pense qu'on a beaucoup de valeurs autres. Je trouve que ce classement peut conduire à une certaine uniformité.

Nous avions été questionnés uniquement sur le classement de Shanghai et c'est un peu restrictif car c'est celui des universités, avec tous les effets pervers que j'ai mentionnés précédemment. C'est une approche académique avec toute la limite qu'elle peut présenter. Par rapport à l'entreprise, on est plutôt dans des domaines de recherche et de sciences. Dans l'entreprise, il n'y a pas que ces métiers qui sont importants.

Pire que tout, si on devait se baser sur ce type de classement pour élaborer nos politiques de recrutement, on se priverait de beaucoup de talents qui existent dans nos universités et dans d'autres.

Je terminerai en disant que je ne pense pas que ce type de classement s'adresse réellement aux entreprises.

M. Jean-Léonce DUPONT, rapporteur pour avis des crédits de l'enseignement supérieur à la commission de la culture, de l'éducation et de la communication

Pour conclure ces premières interventions, je vais passer la parole à M. Jean-Marc Monteil, ancien directeur de l'enseignement supérieur du ministère de l'Éducation nationale supérieure et de la recherche ; il est aujourd'hui chargé de mission auprès de Premier ministre.

M. Jean-Marc MONTEIL, chargé de mission auprès du Premier ministre

Merci, Monsieur le président. Très brièvement et si possible en essayant de poser des questions plutôt que d'apporter des réponses, car c'est très complexe. Nous avons eu une excellente illustration de ce que pouvaient être des classements. On a vu qu'en fonction des critères que l'on introduisait dans le dispositif, on avait des résultats et nous sommes passés de la 100 ^e ou 150 ^e place à la troisième ou quatrième place derrière Harvard et Stanford. Si on rajoute dans votre classement, à côté des 500 plus grandes entreprises et des 500 managers, les prix Nobel et les médailles Fields, il y a les responsables d'entreprises et les médailles Fields à Harvard et à Stanford et à ce moment-là on redégringolerait à nouveau dans le classement. Cela signifie que si on a la possibilité de contrôler les entrants, on devrait avoir une petite idée sur ce que seront les sortants. C'est à peu près ce qui s'est produit à Shanghai. Quand on connaît l'histoire du classement de Shanghai, on a pu rencontrer ceux qui l'ont fabriqué et ils le disent d'ailleurs avec beaucoup d'intérêt : « on a fabriqué le classement de Shanghai parce que nous voulions savoir en Chine comment on pouvait situer l'espace mondial et comment on pouvait demain entrer en compétition avec cet espace mondial. C'est-à-dire s'approprier un certain nombre de critères, les métaboliser dans notre propre culture et les apporter au devant de la scène », ce qui est la meilleure façon d'arriver à exister en soi. Cela a été une réussite totale puisque, dès la publication du classement de Shanghai, on a eu un débat très intéressant. À l'époque, on se demandait comment on pourrait faire l'année prochaine pour monter brutalement dans le classement. Il y a des gens qui ont réussi à faire cela très bien. Je le dis très tranquillement avec Mme Monique Canto-Sperber, qui est la directrice de l'École normale supérieure. Elle est allée en Chine et elle leur a dit : « les prix Nobel et les médailles Fields sont presque tous normaliens supérieurs et ils ont été formés à l'Ecole normale. Si vous intégrez ce classement dans le dispositif, il n'y a plus aucun problème, on est devant. » Qu'est-ce qu'on mesure avec cela ? Une histoire institutionnelle ? La qualité intrinsèque des gens qui rentrent dans un système ou la production scientifique d'un pays ? C'est un peu plus compliqué. On mesure probablement tout à la fois.

Je voudrais dire par expérience que nous sommes dans un moment de notre histoire qui est très important et on ne peut pas laisser les classements se développer comme s'il s'agissait d'une culture résiduelle. C'est, hélas, devenu quelque chose qui a tendance à devenir prescriptif et qui a donc des conséquences à la fois culturelles, économiques et sociales. Ou nous les regardons avec une distance très critique, en disant que nous sommes au-dessus de cela ou bien nous allons nous en mêler sérieusement pour défendre un système de valeurs dans tous les sens du terme : la valeur éthique, la valeur culturelle, la valeur économique. Pour défendre un système de valeurs, il s'agit de se demander - puisque le périmètre de ce colloque est « quel classement pour les dispositifs d'enseignement supérieur ? » : qu'est ce que nous mettons comme objectif dans l'enseignement supérieur et la recherche ? Quels sont les objectifs que nous poursuivons ? Quels sont les objectifs que nous voulons partager dans notre vieille Europe, autour de notre enseignement supérieur et de notre recherche ? Quels sont les objectifs que nous poursuivons et par quelles valeurs sont-ils saturés pour que demain, quand nous allons entrer en compétition notamment avec l'Asie, nous allons pouvoir défendre ce système de valeurs et pouvoir être un attracteur international, de sorte que la mixité des cultures à l'échelle du monde puisse continuer à exister ? Ou bien serons-nous dans un standard qui sera le standard nord-américain qui aura été métabolisé par le dispositif asiatique - et on peut le prévoir assez facilement - et nous serons en train d'adapter nos systèmes et nous allons terminer par avoir une compétition intra-européenne ou intra-nationale ? D'ailleurs, nous sommes déjà dans un dispositif de compétition intra-national. Mais tout cela nous donne quoi dans la compétition mondiale, réellement, culturelle, économique et sociale ? C'est un sujet important.

Je crois que pour définir un système de valeurs, il faut essayer de réfléchir à la fois à nos pratiques, à l'état du monde dans l'évolution de l'enseignement supérieur et de la recherche et se demander ce qui est susceptible de structurer nos pratiques, de sorte à rendre comparables ce qui ne l'est pas nécessairement aujourd'hui.

Comparer deux établissements aujourd'hui qui sont composés de manière très différente est quelque chose de très difficile, pour des raisons qui tiennent au fait que les accents qui sont mis ici ne le sont pas ailleurs. Une université de recherche et une université pluridisciplinaire avec une grande orientation insertion professionnelles, ce n'est pas tout à fait la même chose. On peut se demander si une valeur à défendre, ce n'est pas la formation adossée à la recherche. Cela pourrait être une valeur. Ce n'est pas absurde, cela peut se défendre de manière importante, puisque la formation est l'actualisation permanente des connaissances soutenue par une méthodologie solide. La recherche est nécessairement une méthodologie solide, si on veut produire de la connaissance. Est-il absurde de vouloir adosser la formation à la recherche ?

Si nous considérons que ce n'est pas absurde, cela ne veut pas dire former des chercheurs ; cela veut dire former des managers, des chefs d'entreprise, des producteurs, tout ce que nous voudrons, mais sur la base qui est une pratique de la science avec les valeurs qui structurent la science, notamment celle qui consiste à dire que pour avancer une idée, il faut la confronter à l'épreuve du fait. Qu'est-ce que cela veut dire, faire de la recherche ? Cela veut dire apprendre l'échec. Ce n'est pas profondément inutile. Si on ne fait qu'apprendre l'échec, il y a un vrai sujet.

Il y a un certain nombre de valeurs qui vont très au-delà des indicateurs qui en rendent compte, qui sont susceptibles de structurer une histoire économique, culturelle et l'histoire d'un pays, voire d'un continent. Cette question est posée : les classements pour quoi faire, les classements pour quels objectifs dans la mesure où, aujourd'hui nous savons que, parce qu'ils sont nécessairement publics et utilisés de manière systématique, ils deviennent prescripteurs d'un certain nombre d'actions. Il faut être très attentif, parce que si les classements deviennent notamment prescripteurs des politiques publiques, il faut savoir ce à quoi ils renvoient. Pour le savoir, il faut savoir à quoi on veut arriver. Là, la notion de politique au sens le plus fort et le plus noble du terme est indispensable. Que voulons-nous former pour demain ? Que voulons-nous faire de notre système d'enseignement de recherche pour demain ? Évidemment, nous voulons tous faire un système compétitif, mais qu'est-ce que cela veut dire ? Cela veut dire que nous ne voulons pas être métabolisés dans des cultures et être appendiculaires mais nous voulons être des acteurs autonomes et responsables. J'ai entendu M. Philippe Aghion qui définit les choses et qui dit que dans tous les classements nous sommes toujours au même endroit et qu'il faut des moyens. Bien entendu. La question est qu'il faut des moyens, mais pour quoi faire ? Faut-il des moyens pour être en tête des classements mondiaux ? Si oui, pourquoi ? Que réfractent-ils ? C'est une question de fond. Est-ce qu'ils réfractent les valeurs que nous partageons et la politique que nous voulons conduire ou est-ce qu'ils réfractent un certain nombre de normes internationales auxquelles nous avons décidé de nous adapter ? Dès lors, nous sommes dans une situation suiviste. Je crois que c'est une réflexion fondamentale et je crois que nous - et j'en suis comme un des acteurs du monde de l'enseignement supérieur et de la recherche profondément responsable - avons abandonné cette réflexion. Nous ne l'avons jamais véritablement engagée. Nous avons un dispositif d'évaluation, nous avons les obsessionnels de l'évaluation et les phobiques de l'évaluation et nous sommes toujours dans un débat pour savoir s'il faut évaluer ou pas. On évalue bien évidemment beaucoup trop parce que l'on évalue mal, c'est un truisme. Quand on s'est mis à réfléchir, on l'a fait en défense. Shanghai était là, comment réagir face à Shanghai ? Le deuxième classement de Shanghai a évacué une partie des universités françaises. Jusqu'à 500, il y en avait quelques-unes entre la 400 ^e et la 500 ^e place puis, tout d'un coup, elles ont été éjectées. On a Paris VI, 47 ^e , Paris XI, 60 ^e après ils ont gagné huit places... Ce n'est pas le sujet mais c'est un indicateur de notre état social. Je dis les choses comme je les pense, je crois que cela mérite d'être dit comme cela. On peut être en opposition frontale avec ce que je dis, ce n'est pas un sujet, mais il s'agit bien de débattre. Je crois qu'il y a une fenêtre qui peut être intéressante car la popularisation des classements qui a été faite a permis d'ouvrir du débat. Allons jusqu'au bout et demandons-nous, en France, en Europe, ce que nous voulons faire demain dans l'espace mondial pour pouvoir avoir une réelle consistance à la fois culturelle, scientifique et économique. Dès lors, cela va déterminer un certain nombre de démarches pour définir les objectifs et regarder les indicateurs les plus adaptés à ces objectifs.

D'une certaine façon il faudra essayer de rendre comparable ce qui peut être comparé. Ensuite, on a des problèmes techniques. Les biais statistiques sont nombreux ; on pourrait discuter à l'infini. On a des données et on pourrait les faire parler différemment mais on le fera d'autant plus que l'on ne s'est pas mis d'accord sur le système de valeurs paramétré par quelques indicateurs forts sur lesquels nous sommes d'accord. Évidemment, on ne peut pas ne pas être d'accord sur un système de valeurs pour élaborer les classements. Cela voudrait dire que, comme nous travaillons dans le même espace, nous travaillons avec des objectifs différents. Il n'y a aucune raison que l'on arrive à un résultat commun. Le hasard peut nous conduire au même endroit, mais c'est simplement le hasard.

Pour conclure, il y a probablement aujourd'hui un moment possible pour qu'en Europe, il y ait une réflexion qui ne soit pas une réflexion qui nous fabrique un classement qui serait satisfaisant pour tout le monde mais qui nous amènerait à réfléchir profondément à l'évolution des temps en disant par quoi faut-il marquer nos démarches et nos progrès dans l'enseignement supérieur et la recherche. On voit bien que l'enseignement supérieur et la recherche dépassent leur propre périmètre intellectuel. Il s'agit de savoir qu'est-ce qu'on pèse dans l'espace économique mondial et il y a des indicateurs comme ceux que vous avez indiqués. Je crois qu'on a un vrai chantier scientifique et c'est comme cela qu'il faut le poser. Si les scientifiques ne sont pas capables de poser le problème en des termes scientifiques et d'essayer de résoudre méthodologiquement de manière scientifique, ce n'est pas la peine de parler de classement. Il vaut mieux utiliser les méthodes totalement aléatoires.

B. DÉBAT AVEC LA SALLE

M. Jean-Léonce DUPONT, rapporteur pour avis des crédits de l'enseignement supérieur à la commission de la culture, de l'éducation et de la communication

Merci d'apporter votre pierre à ce débat. Nous allons échanger ensemble. Je vous demanderai de vous présenter lorsque vous prendrez la parole pour intervenir.

M. Philippe NASZÁLYI, directeur de La revue des sciences de gestion

En entendant le professeur Aghion, j'avais l'impression de cette phrase de Léon Blum qui me revenait « Le libéral est celui qui pense que son adversaire a raison . » Nous n'avons pas évoqué le classement des revues, il est parti comme cela. C'est un classement anglo-saxon. Nous avons une sorte de masochisme français, qui consiste à mettre dans le top A, A+ des revues anglo-saxonnes dans lesquelles nos collègues n'écrivent pas et effectivement ne risquent pas d'être classés. Si je vois les résultats de la Corée du Sud et que je considère qu'il y a eu le bidonnage du clonage dans les revues scientifiques américaines, cela fait-il partie des points qui ont élevé la Corée du Sud dans les classements internationaux ? Il faudrait le vérifier. Même les Américains écrivent sur le plagiat, sur les quantités de plagiats qu'il peut y avoir. Même moi qui dirige une revue, je vois depuis l'arrivée de ces classements combien de professeurs signent, cosignent désormais avec leurs doctorants. Je ne suis pas certain - et je suis désolé pour les professeurs - qu'ils aient réellement écrit ou contribué à ces articles, mais en tous les cas cela leur fera des citations. Le professeur Montagnier, qui est un prix Nobel que j'ai eu l'honneur d'interviewer, me disait que le jugement et les classements des pairs est ce qu'il y a de plus sclérosant et de plus limitatif pour l'innovation. Galilée allait à contre-courant. Le jugement de ses pairs n'était pas le bon et je ne suis pas certain non plus pour Pasteur, qui n'aurait pas existé avec un classement de Shanghai. Peut-être qu'il faut se poser des questions sur l'innovation et j'ai été très impressionné par le rapport de M. Salmi et de M. Monteil sur cette grande ouverture qu'il faut avoir et des réflexions qu'il faut poser.

M. Baki YOUSSOUFOU, président de la Confédération étudiante

Avant d'évoquer les questions que je me pose, je vais commencer par une réponse. Oui, le classement de Shanghai influence le monde étudiant, parce que de plus en plus d'étudiants, lorsqu'ils choisissent leur université - que ce soit en première année ou à l'international - y jettent un coup d'oeil. On veut tous croire que cela ne nous influence pas, mais on ne peut pas s'empêcher de les regarder. Si cela peut faire méditer certains présidents d'universités, ce serait bien. Que constate-t-on dans l'intervention de tous les participants ? Il y a toujours cette dualité en France, que ce soit dans les universités, dans les écoles classées. On a l'impression qu'il y a le système des grandes écoles et des universités. On peut le mettre sous le coup de la culture française, mais il y a aussi la dualité insertion professionnelle - recherche, qui est pour le coup plus grave, dans les universités internationales qui ont été classées dans les meilleurs endroits - car j'assume le fait que je regarde ces classements. Lorsqu'un étudiant se présente à moi pour me demander conseil, je lui dis aussi de regarder ces classements pour aller à l'international. On constate que dans les universités internationales, beaucoup font de la recherche et des placements, alors qu'en France, on a l'impression que lorsqu'on fait du placement, lorsqu'on parle d'insertion professionnelle, on ne peut plus parler de recherche. Ce qu'on a toujours défendu à la Confédération étudiante, c'est qu'en plus de la recherche et de la formation initiale, de la fabrication des connaissances, il faut aussi se battre sur le champ de l'insertion professionnelle.

Pour terminer, lorsqu'on interroge les étudiants français sur un classement de n'importe quelle université, on n'a pas le sentiment d'appartenance. Le seul endroit où ce sentiment d'appartenance existe, c'est dans les grands établissements et dans les grandes écoles. Cela ne nous étonne pas que dans ces établissements il y ait une lisibilité. À l'université, on ne nous donne pas de sentiment d'appartenance, ni nos professeurs ni l'administration. Quand on voit que dans la plupart des universités françaises, notamment les lettres et les sciences humaines, publier les taux de débouchés devient un combat politique, on n'est pas surpris que les étudiants n'aient pas un sentiment d'appartenance. Lorsqu'on voit que créer une association d'anciens est plus facile dans une école que dans une université, cela ne nous étonne pas que les étudiants ne se sentent pas rattachés à ces universités. Pour évoluer dans le classement, nous pensons qu'il faut arrêter d'opposer insertion professionnelle et recherche en France et que l'on construise les deux en même temps, mais que l'on développe aussi le sentiment d'appartenance dans nos universités parce que c'est le lieu, aujourd'hui, qui développe le plus la logique d'ascenseur social. Ce serait dommage de l'oublier et d'inciter les étudiants à n'aller que dans les grands établissements. En regardant ces établissements, il y a plus d'enfants de cadres et d'enfants d'anciens élèves de ces établissements que d'enfants issus des classes populaires.

M. Jean-Léonce DUPONT, rapporteur pour avis des crédits de l'enseignement supérieur à la commission de la culture, de l'éducation et de la communication

Merci, je vais vous demander d'être le plus synthétique possible.

M. Matthieu BACH, vice-président de l'association Promotion et défense des étudiants

Je voulais remercier la commission de la culture, de l'éducation et de la communication pour l'organisation de ce séminaire. Pourquoi faire les classements ? Les étudiants les regardent, c'est certain pour trois aspects : la formation, l'insertion professionnelle et - ce qui a été oublié depuis le début - la qualité de la vie sur nos campus.

Pour la formation, on le voit et on le note, que de plus en plus d'étudiants vont sur le site de l'Agence d'évaluation de la recherche et de l'enseignement supérieur pour regarder la note de la formation pour laquelle ils postulent. Ils peuvent choisir de plus en plus en fonction de cela.

Pour l'insertion professionnelle, l'interlocuteur précédent a précisé que ce n'était pas encore très efficace dans l'ensemble de nos établissements d'enseignement supérieur et que ce serait sans doute une clé importante à mettre en place pour l'avenir.

Enfin, la qualité de vie sur nos campus : un étudiant va s'engager sur trois ans, cinq ans, peut-être huit ans avec le doctorat, sur un campus. De plus en plus d'établissements développent - à l'étranger - une offre de formation couplée avec un logement, une bourse, un job... En France, ce n'est pas du tout la culture. C'est un aspect d'attractivité certain, qui va augmenter dans les années à venir et les étudiants en France recherchent cette information, cette qualité de vie sur nos campus. Il manque encore cela.

Peut-être que dans un classement multidimensionnel à venir, si l'aspect vie étudiante, vie quotidienne pouvait être pris en compte, ce serait un pas en avant pour notre enseignement supérieur de demain.

M. Jean-Pierre NIOCHE, expert en stratégie et évaluation de l'enseignement supérieur

L'universitaire que je suis s'est enthousiasmé aux propos de M. Monteil s'agissant de réfléchir sur les valeurs et les conséquences à en tirer sur les classements. Le problème est qu'il me semble que réfléchir est certainement nécessaire mais il faudrait aussi voir les actions qui sont en marche. À la question posée par M. Monteil : que faire face à Shanghai ? La réponse a été : « il faut être gros ». L'opération a été d'abord lancée par M. Goulard, avec les Pôles de recherche et d'enseignement supérieur (PRES) en 2004, puis à partir de l'arrivée du nouveau gouvernement, par une série d'incitations qui ont été le plan Campus et maintenant le plan Grand Emprunt. On voit se construire à coup d'incitations financières ou de promesses du ministère des monstres ingouvernables, des PRES, des futures universités qui vont faire 80 000, 100 000, 120 000, 160 000 étudiants. Je parle de choses qui sont en marche. M. Monteil a l'air d'avoir des doutes, mais si on prend le rapport de M. Larrouturou sur l'université à Paris, les deux PRES qui suscitent son enthousiasme c'est un PRES qui a changé plusieurs fois de nom mais qui est composé des universités Paris III, Paris V, Paris VII et quelques autres établissements, qui va faire plus de 130 000 étudiants. Un deuxième PRES intitulé HESAM, avec Paris I, le CNAM et plusieurs écoles, qui va totaliser 140 000 étudiants. J'ai lu dans la presse récemment qu'un homme politique du Nord-Pas-de-Calais s'est prononcé pour la fusion des six universités de la région, ce qui va donner une magnifique université de 160 000 étudiants. Revenons au classement de Shanghai : il faut dépasser les 250 ^e pour trouver des universités dépassant 1 000 étudiants. Les 20 premières font une moyenne de 25 000 étudiants. On est en pleine folie entre cette machine infernale poussant à la taille et des propositions de réfléchir sur les classements.

M. Grégoire POSTEL-VINAY, mission stratégie, direction générale de la compétitivité de l'industrie et des services

Deux remarques. L'une concerne les alumni (anciens élèves), qui sont un élément important dans la valorisation et la création de valeur ultérieure à partir de formation et d'enseignement supérieur. MIN par exemple, est au départ l'association des anciens élèves de Stanford. Il est très commode, lorsqu'on a besoin d'un renseignement rapide dans la vie industrielle, d'avoir des réponses faciles par ce genre de réseau. Ils sont plus ou moins structurés s'agissant de la France et plutôt moins que plus s'agissant des universités. Je pense qu'il y a une voie d'amélioration. Les différentes sortes de classements qu'on nous a présentés donnent généralement le loto de la veille et pas nécessairement celui du lendemain. A contrario , juger les universités ou les grandes écoles sur leurs résultats futurs est un exercice un peu périlleux et autoprédictif. Il y a, néanmoins, des efforts à faire en matière scientifique - et là je rejoins ce qu'a dit M. Monteil - sur les bonnes pratiques qui permettent de penser qu'on progresse dans certaines directions plutôt que seulement sur ce qui est le résultat d'efforts conduits vingt ans auparavant.

Mme Sandrine ROUSSEAU, vice-présidente du conseil régional Nord-Pas-de-Calais en charge de l'enseignement supérieur et de la recherche

Je voudrais faire deux remarques. La première sur le graphique que nous a montré M. Salmi sur la place des pays en fonction de l'investissement public qu'ils réalisaient dans l'enseignement supérieur. Je voulais m'assurer que l'investissement privé était aussi pris en compte, car il est très différent selon les pays. En France, il est particulièrement faible et l'investissement privé est de deux types : soit par les entreprises, soit par les étudiants eux-mêmes qui financent une partie de leurs études. Le principe de l'enseignement en France est la gratuité, au moins pour l'enseignement public. Donc ce ne sont pas des investissements égaux.

Ce que rompent les classements, c'est une équité de traitement entre les étudiants. Un étudiant qui suit une licence de sciences économiques jusqu'à présent à Besançon, à Montpellier, à Lille ou à Paris avait un diplôme de même valeur sur le marché du travail. Le fait de classer les universités, rompt cette équité et cela va de pair avec l'assurance que les étudiants puissent être mobiles sur le marché des universités. En France, actuellement, on est dans un double système : une concurrence accrue des établissements supérieurs et on ne donne que partiellement, ou pas du tout, les moyens aux étudiants d'être mobiles. Ils sont captifs d'une université pour une grande partie et subissent la concurrence internationale, ce qui me semble être deux effets pervers.

M. Jean-Léonce DUPONT, rapporteur pour avis des crédits de l'enseignement supérieur à la commission de la culture, de l'éducation et de la communication

Merci. Nous sommes contraints par le temps. Je ne vais pas pouvoir faire réagir tout le monde, mais pour terminer cette première table ronde, Monsieur Monteil, est-ce que vous pourriez réagir à deux arguments qui ont été énoncés ? Le premier concerne la taille et la course à la grosseur et l'oubli du fait que small est parfois beautiful . Le deuxième porte sur les conséquences sur l'équité.

M. Jean-Marc MONTEIL, chargé de mission auprès du Premier ministre

Sur le premier point, je crois qu'il y a un contresens, par rapport à ce que l'on a pu faire et dire. Lutter contre le classement de Shanghai ou avoir une position défensive à son endroit, ce n'est pas créer de grands ensembles de 160 000 étudiants dans une université. Je crois aussi que c'est ingouvernable. Il y en a quelques-unes dans le monde, mais elles sont décomposées en ensembles de dimension inférieure. L'université de Californie est considérable, mais sous la Californie il y a Berkeley, San Diego, Davis...

Je crois que ce qui est important dans l'histoire des pôles de recherche et d'enseignement supérieur, c'est qu'en France, il y a une caractéristique importante : on a une centaine d'établissements d'enseignement supérieur, hors écoles d'ingénieurs. C'est assez considérable.

À Bordeaux, il y a quatre universités : il y a une fac de lettres, une fac de sciences, une fac de médecine, une fac de droit. On a découpé les universités. Il y avait deux universités et on en a fait quatre, pour des raisons contraires à celles d'aujourd'hui et on a fait de la délocalisation multiple. Il ne s'agit pas de créer de grands ensembles ingouvernables. Il s'agit de faire en sorte qu'il y ait des structures de coopération qui permettent des mutualisations minimales sur des espaces.

Vous prenez Paris et vous vous demandez où est la bibliothèque accessible à tout le monde et repérable. Elle n'existe pas. Vous regardez ce qui se passe sur les grands sites universitaires géographiques : vous avez autant de dispositifs d'accès pour les étudiants que vous avez d'universités. Quand vous commencez à mutualiser un certain nombre de choses, vous augmentez la probabilité de satisfaire un certain nombre de besoins et d'exigences du monde étudiant. Cela vaut aussi pour la recherche.

Je vais prendre un exemple simple : quand vous avez trois universités dans une même ville et dans lesquelles vous avez trois fois de la physique dans chacune des universités, vous pouvez vous poser la question de savoir s'il ne serait pas utile d'avoir une petite coopération et d'avoir une seule faculté des sciences plutôt que d'en avoir trois. Quand vous cumulez l'effectif de chacune de ces facultés des sciences, vous n'arrivez pas à atteindre la démographie qui existait il y a dix ans dans les mêmes UFR. C'est un vrai sujet. La question n'est pas la taille, mais la coopération possible entre des établissements pour optimiser un certain nombre de situations qui sont invariantes pour tous les établissements. Quand on regarde les services communs interuniversitaires, c'étaient des structures de coopération : la médecine préventive, les services université-culture. Aujourd'hui, il faut regarder à la fois dans l'espace formation, dans l'espace recherche, la pluridisciplinarité. On disait que l'on se spécialise beaucoup plus tard aux États-Unis. On a tendance à se spécialiser dès la fin de la classe de troisième. C'est un vrai sujet. L'intérêt, pour avoir une ouverture pluridisciplinaire, regarder un même objet sous des points de vue différents, c'est de créer des coopérations qui sont susceptibles d'exister grâce aux disciplines différentes qui sont sur un site. Faciliter une coopération mais une coopération opérationnelle. Vous pouvez avoir ensuite un certain nombre d'opérations qui sont réalisées parce que les sites locaux ont considéré que c'était pertinent.

Strasbourg a créé seule une université de 47 ou 48 000 étudiants. À mes yeux, on est à la limite maximale de ce que l'on peut faire. On en avait d'autres. Nanterre était à ce niveau, Nantes était très élevée parce qu'il n'y en avait qu'une. Il y a des démographies relativement importantes. Au-delà d'un certain seuil, les choses deviennent plus compliquées. C'est un chapeau. L'université de Californie est un chapeau et en dessous il y a les établissements autonomes. Ce n'est pas la peine de créer de grands dispositifs si en dessous vous créez des structures filialisées et les articles dérogatoires au dispositif général. J'ai le sentiment qu'il y a une mauvaise interprétation de ce qui est en train d'essayer de se faire. J'ajoute quelque chose qui est important et qui est passé inaperçu aux yeux du grand public : on a annoncé il y a peu de temps que le CNRS était le premier organisme mondial de production scientifique. Personne ne s'est levé pour dire que le CNRS n'existait pas au sens d'organisme mondial de production scientifique, puisqu'il est une mixité avec tous les établissements universitaires et les écoles. Personne n'a pensé à dire que cela représentait autour de 70 % de la production scientifique française, mais tout le monde a trouvé cela normal. Le CNRS est le premier organisme du monde. On est dans une situation de mixité. Il est important sur un site universitaire - les collègues qui sont dans cette salle le savent - dans le domaine scientifique vous avez des endroits où les publications... À Saint-Martin-d'Hères, est-ce que c'est l'université de Grenoble ? Est-ce que le laboratoire CNRS, unité mixte 6 024 à Aubière, est l'université de Clermont-Ferrand ? Personne ne sait ce qu'est Aubière. À Stanford ou Berkeley ou dans les grandes bases de connaissances, on ne sait pas que cela existe et dans cette salle non plus. Pourtant il y a une unité mixte qui signe dans ce sens. C'est une publication CNRS, ce n'est pas une publication de l'une des deux universités. Cet exemple est important. Il est utile d'avoir une intégrale sur un site pour donner à voir l'université de Bordeaux, par exemple. Ensuite il y a I, II, III, IV. L'étudiant qui est à Stanford, se demande : je vais à Bordeaux I, Bordeaux II ? Non, je vais à l'université de Bordeaux et sous l'université de Bordeaux, j'ai quatre établissements autonomes. J'ai un chapeau coopératif qui peut être un pôle de recherche et d'enseignement supérieur.

Quant à l'équité, ce que vous avez dit est très vrai. Mais les universités à plusieurs vitesses on n'est pas en train de les créer, elles existent. Le problème n'est pas tellement les différences qui sont susceptibles d'exister mais d'optimiser la qualité de ce qui se fait dans chacun des dispositifs au bénéfice même des étudiants. Vous avez raison quand vous parlez de la mobilité à l'intérieur de l'espace national, la culture de la mobilité est un vrai sujet dans notre pays, mais bien sûr que c'est un problème de moyens. La mobilité pour accéder à des études à Paris, la question est comment je me loge. C'est une question fondamentale.

M. Jean-Léonce DUPONT, rapporteur pour avis des crédits de l'enseignement supérieur à la commission de la culture, de l'éducation et de la communication

Nous allons en rester là pour cette première table ronde et je voudrais remercier l'ensemble des intervenants.

II. DEUXIÈME TABLE RONDE - LE CLASSEMENT EUROPÉEN DES ÉTABLISSEMENTS D'ENSEIGNEMENT SUPÉRIEUR : DES PROPOSITIONS POUR AGIR

A. INTERVENTIONS

Mme Ghislaine FILLIATREAU, directrice de l'Observatoire des sciences et techniques (OST)

Nous allons démarrer la seconde table ronde, si vous le voulez bien, que j'ai l'honneur d'essayer d'animer, l'honneur étant aussi le privilège d'essayer de faire que tout le monde tienne les huit minutes. Le titre nous montre que cette table ronde va s'orienter autour du classement européen des établissements d'enseignement supérieur. C'est un classement U-Multirank, qui est donné comme un exemple. Ce classement dans son contexte va nous occuper et surtout le futur : comment continuer à travailler, comment se positionner pour l'avenir par rapport à ce classement.

Je vais présenter les intervenants dans l'ordre, ce qui vous permettra de voir le fil conducteur.

Nous allons entendre tout d'abord M. Jean-Pierre Finance, président de l'université Poincaré Nancy, directeur du PRES de l'université de Lorraine et membre du comité directeur de l'European university association. En tant que président de la conférence des présidents d'universités à l'époque, il a été associé aux réflexions qui ont eu lieu au cours de la présidence française de l'Union européenne et qui ont abouti à ce classement dont on va vous parler. Il va vous présenter le point de vue et l'analyse d'un responsable universitaire sur tous ces outils et le point de vue des observés en live sur ce qui se passe autour des classements.

Ensuite, nous entendrons M. Robin van Ijperen, chargé de mission à la direction générale de l'éducation et de la culture de la Commission européenne. C'est au sein de cette direction générale qu'il a la responsabilité du suivi du projet U-Multirank. Il va nous expliquer les attentes de la commission, les motifs qui l'ont amenée à proposer un appel d'offres pour soutenir ce projet de classement européen. M. van Ijperen a une expérience des politiques pour la promotion de la formation continue, de l'innovation et du développement d'entreprises au ministère néerlandais de l'Éducation.

Ensuite, je ferai une présentation du point de vue de l'Observatoire des sciences et des techniques, c'est-à-dire du point de vue d'un opérateur impliqué dans un exercice de ce type et ce que nous apprenons dans U-Multirank, les difficultés auxquelles nous nous confrontons et quel est notre point de vue sur l'avenir des systèmes d'information sur les établissements d'enseignement supérieur. Nous sommes engagés dans de nombreux exercices et nous voulons qu'il y ait une grande participation et une bonne connaissance par tout le monde de tous les enjeux de ces exercices.

M. Jean-François Dhainaut, président de l'Agence d'évaluation de la recherche et de l'enseignement supérieur, présentera plusieurs travaux de l'agence qui sont des exercices de comparaison, de benchmarking notamment sur les facultés de médecine françaises qu'il connaît bien comme praticien hospitalier, comme ancien président de l'université Paris V Descartes.

Enfin, M. Patrick Hetzel, directeur général de l'enseignement supérieur et de l'insertion professionnelle nous expliquera comment ces outils nouveaux, dont la 1e table ronde a permis de décrire la diversité et les limites, s'insèrent dans les politiques impulsées par le ministère. M. Hetzel connaît bien U-Multirank en tant que directeur mais aussi parce qu'il est professeur des sciences de gestion à l'université Panthéon-Assas et que la gestion est l'un des domaines qui a été choisi pour faire le test qui est actuellement en cours.

Comme vous le savez, on va essayer de tenir sur des présentations d'environ huit à dix minutes de manière à vous laisser ensuite intervenir autant que possible.

M. Jean-Pierre FINANCE, directeur du Pôle de recherche et d'enseignement supérieur (PRES) de l'Université de Lorraine, ancien président de la Conférence des présidents d'université (CPU)

Bonjour à toutes et à tous. Je vais retracer l'évolution de la réflexion que l'on peut avoir quand on est responsable d'établissement et qu'apparaissent ces nouveaux outils de comparaison. Dans le Landernau français, l'arrivée du classement de Shanghai en 2003-2004 a été un coup de tonnerre qui a suscité la surprise, l'interrogation, le besoin de comprendre de quoi il s'agissait, la contestation qui fait partie de notre comportement. L'attitude adoptée par la conférence des présidents d'universités a été de dire qu'on ne pouvait pas se contenter de suivre, d'être suivistes. Je me souviens du colloque que nous avions tenu à Bruxelles en avril 2008, nous étions plutôt favorables à soutenir l'initiative de la présidence française de l'Union en faveur de la mise en place de classements qui reflétaient davantage les valeurs que nous pouvons porter et dans lesquelles nous nous retrouvons davantage. La multiplicité est tellement grande qu'il faut réussir à choisir un peu. Je mettrais en perspective le fait qu'à côté de cet aspect de classement, il y a une autre culture qui s'est fortement développée au cours des dernières années, qui est celle de l'évaluation. C'est une culture qui a été acceptée depuis plus longtemps et plus facilement aujourd'hui dans le cadre des établissements universitaires.

Se pose la question aujourd'hui de savoir entre évaluation, démarche qualité, classement, quelles sont les relations. Pour avoir participé à des réunions à l'échelle européenne avec des personnes portant l'idée de classement, de ranking et les personnes portant les démarches qualité, je me suis rendu compte assez clairement que les deux communautés n'étaient pas sur la même longueur d'ondes. Si nous voulons faire avancer la réflexion en France, nous devons trouver la bonne relation entre des méthodes d'évaluation concernant chaque établissement et cette volonté de classer, de comparer des établissements.

Mieux comprendre les classements. Les attentes sont multiples et il y a un mouvement général de la société, des étudiants, des familles, des financeurs, le rôle de la presse dans la publication des classements, tout un contexte qui s'est mis en place et qui fait qu'il est aujourd'hui impossible de fermer la porte et de dire « c'est un phénomène qui passera, ne nous en occupons pas ». Il est nécessaire de comprendre. Cela a été bien présenté par M. Salmi, c'est identifier l'ensemble des difficultés et des défauts que l'on peut croiser lorsque l'on rencontre les classements. Il y en a de très nombreux, très importants et la littérature commence à devenir abondante sur ces sujets : sur la non-transparence des méthodes de calcul, sur l'insuffisance de la définition de ce que l'on veut mesurer...

Ceci conduit vis-à-vis d'un certain nombre de responsables d'établissements ou d'universitaires à disqualifier une bonne partie des classements en disant que ces classements ne sont pas fondés scientifiquement, n'ont pas de consistance réelle, avec la crainte que des objets mal formés soient utilisés à charge ou dans un mauvais sens dans un certain nombre de cadres, par exemple, dans le cadre du financement des établissements. Au sein de l'Association de l'université européenne, de l'EUA, pendant presque deux ans - et on n'a pas encore complètement vidé le sujet - il y a eu des discussions, des échanges et des confrontations fortes entre différentes conférences de présidents, de recteurs sur le point de vue de tels ensembles universitaires par rapport à la logique de classement. Nos collègues britanniques sont vent debout contre le risque que de tels classements pourraient demain leur être imposés en termes de mécanisme de financement ou d'existence même de certains établissements. Ces débats ont eu lieu à l'échelle européenne. Comme les valeurs et la vision des choses n'est pas la même, malgré l'espoir que nous fondons dans la construction de cette cohérence européenne, je crois qu'il y a aujourd'hui une vraie interrogation pour la communauté universitaire européenne de se positionner par rapport à cette logique de classement.

Malgré tout, on ne peut pas rejeter d'un revers de main les classements mais on doit avancer de manière scientifique, de manière solide. Cela signifie analyser et comprendre, si on veut comprendre ce que sont ces classements. Il y a des travaux sérieux qui ont été faits. Par exemple, l'initiative du Center for higher education du CHE allemand ne visant pas à comparer l'ensemble des établissements qui ne sont pas toujours comparables, mais travaillant par grands secteurs disciplinaires ayant une capacité non pas de classer d'une manière unique sur une seule échelle l'ensemble des facultés travaillant en Allemagne dans le domaine de la physique, mais ayant des éléments d'appréciation sur ce qu'apporte chacune des facultés par rapport à la qualité de l'enseignement, de l'accueil des étudiants... Ce type d'approche est apprécié dans un certain nombre de pays. Par exemple, en Allemagne, le CHE a une vraie réputation. On a essayé de l'étendre à la Suisse et à l'Autriche. L'extension à la Suisse s'est mal passée. Une partie des informations sont des informations d'opinion. Quand on demande à un professeur de physique ou de droit germanique quelle est l'université suisse qui lui semble la plus appropriée pour envoyer ses enfants, il aura plutôt tendance à parler de Suisse alémanique que de Suisse francophone. L'extension de ce type d'outil - même si c'est intéressant - pose un certain nombre de questions et on ne peut pas utiliser des démarches, les transposer de manière très brutale.

Une autre question pour l'université est de chercher à contribuer, cela veut dire apporter des pierres dans la construction éventuelle de classements. Quand on va parler de l'expérience européenne, l'interaction entre les promoteurs et ce que l'université peut apporter sera un élément important.

Il faut communiquer. C'est difficile. Il n'est pas facile pour une conférence de présidents ou pour une université d'expliquer très simplement au grand public, aux étudiants les précautions à prendre dans l'usage des classements qui peuvent paraître dans la presse. Cette notion de communication apparaît comme une notion très difficile.

Par rapport à cela, les deux grandes démarches que l'université peut adopter sont les suivantes :

L'une est sans aucun doute exprimer les valeurs et un certain nombre d'éléments de méthodes intégrables dans un classement objectif. C'est aussi faire que ces classements puissent être adaptés à différents usages. Les étudiants, de manière interactive ou les futurs étudiants, pouvaient définir leurs propres paramètres pour choisir ce qui les intéressait davantage.

Une deuxième chose à faire, c'est ce qui est fait au niveau de l'EUA : comprendre l'évolution du monde des classements. La décision prise au niveau de l'EUA a été de construire un observatoire des classements, avec une volonté de faire des analyses scientifiques réelles de ce que sont ces classements, de compléter cela par des propositions de contributions de certains auteurs et d'arriver à cette démarche scientifique.

M. Robin van IJPEREN, chargé de mission à la direction générale de l'éducation et de la culture de la Commission européenne

Merci de m'avoir invité. Ce n'est pas tous les jours que je peux faire une présentation au Sénat français. Je vais essayer de présenter la position de la Commission européenne sur les classements internationaux. La dernière fois que j'ai parlé français c'était en 1993, quand j'étais étudiant Erasmus à Sciences Po Grenoble. Dans les dix prochaines minutes, je vais dire quelques mots sur le contexte européen, pourquoi la Commission s'est mêlée de ce sujet après quelques mots sur quelques initiatives que l'on soutient aussi pour augmenter la transparence sur la performance des universités et je terminerai par le U-Multirank.

Quelques mots sur le contexte européen. Si quelqu'un peut dire où se trouve cette université, il peut gagner une barre en chocolat. C'est l'université de Chypre, à Nicosie. C'est un bon exemple d'université moderne. C'est aussi un peu communiste.

Pour passer aux choses plus sérieuses, nous trouvons que la transparence est importante. Dans l'agenda pour la modernisation des universités publié en 2006 mais toujours très pertinent, il y a 4 000 universités en Europe, avec des budgets de plus en plus réduits et une concurrence croissante au niveau international. Les institutions doivent se concentrer plus sur leurs points forts. Nous croyons que partout, les universités ont besoin d'offrir des mélanges de programmes de recherche et d'éducation. Par contre, nous pensons que l'on doit se diversifier davantage sur les points forts et trouver plus de partenaires sur ces points forts dans les autres institutions mais aussi dans les entreprises.

Nous croyons aussi que les institutions doivent être plus transparentes sur leurs points forts et leurs missions. Cela est important pour bien informer les étudiants sur les missions d'une institution mais aussi sur les vraies performances. Le ranking devient de plus en plus important pour les étudiants comme instrument d'information. Nous croyons aussi que c'est important pour le management de l'université. Il y a beaucoup de résistance auprès des universités et c'est logique. Le but est que l'on utilise davantage le ranking comme outil stratégique dans les universités, car on peut se comparer aux autres universités. C'est le cas dans tous les autres secteurs et pourquoi pas l'enseignement supérieur. Nous croyons à l'utilité de cet instrument.

Quelques autres initiatives que l'on soutient pour augmenter la transparence : on a commencé le European data collection project avec nos collègues de la DG Recherche. Le rassemblement des données est un facteur-clé pour produire des rankings de bonne qualité. Beaucoup de limites des rankings existants sont à expliquer par le manque de données. Il y a beaucoup de données auprès des universités mais il y a aussi beaucoup de confidentialité et beaucoup de données ne sont pas publiques. On essaye de collecter plus de données pour faire de meilleurs rankings .

Le projet AHELO est géré par l'OCDE. Son but est de mesurer mieux la qualité de l'éducation en termes des learning outcomes . C'est un projet très prometteur, mais en ce moment il y a un manque de finances et le projet n'a pas encore démarré, mais la Commission européenne est concernée par ce projet.

Il y a l'assurance-qualité de l'éducation. Je crois que c'est un instrument très important qui donne beaucoup d'informations sur la qualité de l'éducation. Je crois que le problème est que l'information n'est pas très transparente. C'est une langue d'experts, difficile à comprendre pour les étudiants, pour les employeurs. L'autre problème est aussi que les résultats de cette assurance-qualité sont difficiles à comparer au niveau européen puisque c'est basé sur les systèmes nationaux. Cela empêche de comparer la qualité entre les institutions venant d'autres pays et cela explique aussi le succès des autres instruments de cette liste.

La classification. On a soutenu le projet U-map géré par une organisation néerlandaise et c'est un projet très important pour rendre plus transparentes ces 4 000 universités en Europe. Comme cela a été dit auparavant, il n'est pas très utile de comparer des petites institutions régionales avec une grande institution, avec un grand département de recherche. Dans ce projet, on a fait entrer les 4 000 institutions dans cinq catégories : l'enseignement, la recherche, l'innovation, l'internationalisation, le rôle régional.

C'est un bon projet et on est dans la phase consistant à remplir le modèle qui est développé pour les universités. Ce U-map sera la base de l'autre projet. Quand vous savez quelles sont les différentes catégories d'universités, les pommes, les poires, les fraises, vous pouvez comparer les fraises avec les fraises et les poires avec les poires. C'est un exercice neutre, qui ne catégorise que les missions des universités. On va développer un ranking multidimensionnel qui va mesurer les performances des institutions similaires dans une certaine dimension. C'est un peu compliqué à expliquer, mais j'espère que c'est clair.

Je voudrais dire que pour nous, le ranking est important mais on le regarde aussi comme l'un des instruments pour mesurer la transparence. Je suis aussi surpris par l'influence des rankings . Quelques indicateurs. C'est un instrument utile mais c'est également un instrument très simple. Il est fondé sur quelques données. C'est un instrument très quantitatif. Pour moi, son but principal est de signaler des différences entre institutions dans les différents pays européens. Cela ne donne que quelques informations et je crois qu'il est important de trouver davantage d'informations qualitatives pour expliquer ces différences. Cette liste est un instrument complémentaire.

Les rankings peuvent être utiles, même si ceux qui existent ont des défauts. Pour nous, il y avait deux options. Une option était de dire que les rankings existants sont mauvais. On ne fait rien, on évite la discussion. C'est souvent un peu la position des universités. Je trouve cela un peu pauvre comme réaction car les rankings sont là et on ne peut pas éviter le débat. Pour cela on a dit que l'on allait rejoindre le débat et essayer d'améliorer les rankings qui existent. C'est la raison pour laquelle nous avons commencé ce projet de multirank .

Les défauts principaux à résoudre, c'est que le ranking de Shanghai met l'accent sur la recherche. L'autre ranking connu est largement basé sur une revue des pairs et donne des résultats très subjectifs. On demande à des pairs, des experts du secteur de l'enseignement supérieur de juger les autres institutions. C'est une famille très proche et le groupe de pairs était réduit, c'est admis par le Times higher ranking . Pour cette raison, ils vont changer leur système cette année et ils vont diminuer l'importance des revues par les pairs, qui passeront de 40 % à 25 %. Ils vont également enrichir le groupe des pairs pour qu'il soit plus représentatif.

Ce sont les raisons pour commencer notre projet. Tout d'abord, on essaye de construire un ranking multidimensionnel, qui inclut l'employabilité, la qualité de l'enseignement. L'autre point très important est qu'on ne va pas créer des league labels , on ne va pas cumuler des scores sur les différentes dimensions. Le modèle sera construit d'une manière que l'utilisateur puisse choisir sa propre priorité. Si je fais mon ranking , je peux dire que pour moi la recherche et l'internationalisation sont importantes alors que l'enseignement l'est moins. Je peux cliquer dessus et me baser sur ces priorités. J'obtiendrai un ranking personnel. Notre modèle va créer des classements multiples, pas des league labels , ce qui est une grande différence avec les rankings existants. Les autres caractéristiques sont que l'on ne regarde pas seulement au niveau institutionnel, comme le Times ranking qui renforce la réputation des institutions, mais aussi au niveau des disciplines. Cette information est plus pertinente pour un étudiant par exemple. Vous voulez connaître la qualité d'une institution dans une certaine discipline mais pas la réputation générale d'une institution.

Pour finir, si c'est un succès, parce que c'est une étude de faisabilité - on ne sait pas encore si cela sera un succès, si cela entrera en vigueur - ce ne sera pas fait par la Commission. L'idée n'est pas que l'on produise un ranking chaque année, on ne produit que le modèle et on ne soutient que le développement du modèle. Si cela entre en vigueur, ce sera fait par une organisation indépendante et non pas géré par un gouvernement ou une université. On a des négociations avec un consortium de fondations européennes. Cela pourrait être une possibilité. Cela doit être aussi un ranking mondial, donc on va aussi comparer avec des institutions hors Europe.

C'est le planning du projet. En mai 2011, le rapport final. J'espère que cela va produire de la haute qualité. Je ne pense pas que cela donnera la solution absolue. Cela dépendra des indicateurs et les données qui sont accessibles, ce qui pose déjà des limitations. Je le vois comme un puzzle. Petit à petit, on rassemble plus de pièces pour augmenter la transparence. Je crois que c'est dans l'intérêt de tous. On ne peut pas être contre plus de transparence.

Merci beaucoup.

Mme Ghislaine FILLIATREAU, directrice de l'Observatoire des sciences et techniques (OST)

M. Robin van Ijperen a déjà présenté le cadre de l'exercice U-Multirank dans lequel l'OST est impliqué. Je vais faire une présentation en quatre points. Lors de la première table ronde, on a largement parlé des classements, de leur raison d'être : mentionner le fait qu'ils sont à la fois en diversification très rapide mais qu'ils font tous un peu la même chose. Il y a un foisonnement et une grande vitalité et beaucoup de difficultés à essayer de voir ce qui se passe dans le monde des classements.

Je vais vous présenter très brièvement et, de manière plus opérationnelle que Robin, ce qui est fait dans l'U-Multirank, ce pilote, ce test, qui est actuellement en cours grâce à un financement de la Commission européenne, et conclure sur l'idée qu'oublier Shanghai ne consiste pas à l'oublier mais à aller plus loin et à travailler.

Pour revenir sur le premier point, qui est le fait que les classements sont de plus en plus incontournables, je rappelle le slogan de l'IREG - l'Observatoire international des classements - qui a été créé en 2004, qui regroupe plusieurs des acteurs très connus des tout premiers classements et qui a édicté les principes de Berlin dont vous avez eu tout à l'heure mention ; les principes de Berlin sont une tentative pour donner un certain nombre de règles méthodologiques minimales quant à la qualité et à la déontologie des classements quand ils sont mis en place. L'IREG s'est auto-constitué pour essayer de donner un certain nombre de règles et pour faire une surveillance, une sorte d'accréditation des classements. Sur la diapositive précédente, j'avais mis le site de l'IREG que vous pouvez aller consulter. L'IREG essaye de produire un matériau très intéressant pour montrer que les rankers ne sont pas fous et ne tirent pas avant de réfléchir mais essayent réellement de voir comment leur pratique peut s'améliorer.

Il y a des besoins croissants et multiples. Le slogan est Rankings are here to stay . L'idée est qu'ils répondent à des besoins incontournables de publics très divers. Ils sont un objet frontière entre beaucoup de demandes et ils ne vont cesser de s'imposer et de jouer un rôle pour beaucoup de publics.

L'idée est aussi que sous la pression de la concurrence - parce que l'idée est d'être le classement de référence car être un classement parmi tant d'autres est bien mais il faut aussi être un classement qui existe - il y a une multiplicité de réponses, de tentatives et de convergences qui se créent autour de classements. Tout le monde apprend les mêmes leçons, toutes les limites que vous avez entendues, tout le monde les a perçues et essaye de les dépasser. On assiste à beaucoup de propositions de systèmes d'information. Il devient aussi très important d'essayer de remettre du sens et de recadrer quand on commence à essayer d'avoir des travaux dans ce domaine et d'en revenir à des systèmes de valeurs, à des objectifs, à des tendances, à ce que l'on veut faire, pourquoi on le fait, dans quel cadre on s'inscrit. Les principes de Berlin essayent de donner ce genre de cadre et je pense qu'il est important de savoir qu'ils existent en ce moment pour s'y appuyer.

U-Multirank, qui est fait par plusieurs des organismes qui sont dans l'IREG, se range dans la catégorie des classements multicritères personnalisés. Cela consiste à ne pas classer en faisant un seul chiffre à partir de différents critères mais à garder séparés les éléments d'information.

La notion de personnalisation consiste en ce que l'utilisateur puisse choisir les clés qui vont orienter le classement et qui lui serviront à s'orienter. Un message de base est que les classements ne sont pas des outils pour vous dire exactement qui est mieux que qui. Ce sont des outils d'information et d'orientation. C'est comme cela qu'il faut les utiliser et c'est comme cela que ceux qui en font essayent de plus en plus de les enrichir. Ils doivent rester simples, mais porteurs de valeurs perceptibles et qui permettent de s'orienter.

Si on regarde U-Multirank - vous avez en haut l'adresse du site du projet - il y a cinq partenaires. Les deux co-coordinateurs sont le CHEPS et le CHE. Vous avez entendu parler de ces deux institutions, notamment le CHE qui fait depuis très longtemps au niveau national allemand un classement qui a été le prototype des classements personnalisés et multicritères et puis le CHEPS qui a fait cet outil de classification des universités européennes, de manière à essayer de commencer à s'orienter dans un univers où les choses sont comparables. C'est sur les travaux déjà antérieurs de ces deux co - coordinateurs que le projet actuel se développe.

Les autres partenaires sont l'OST, l'Observatoire des Sciences et des Techniques, Incentim, un département de l'université de Louvain, spécialisé plutôt dans les indicateurs d'innovation et le CWTS, une structure de l'université de Leyde spécialisée dans la bibliométrie.

Le travail est fait en ingénierie, en business , en sciences de management. Il y a deux associations européennes qui participent à ce test. Pour vous donner une impression de la tentative, l'idée est de capitaliser sur les expériences antérieures, sur Shanghai aussi bien que sur tout ce qui a été fait. On a tous vu qu'il est très difficile de comparer des choses qui ne sont pas comparables. Il faut donc s'orienter dans l'ensemble des établissements. U-map est un outil de classification qui va permettre d'établir des profils de chacun des établissements qui sont observés. À partir de ces profils, on a une perception des orientations majeures des établissements et une idée de ceux qui sont plus comparables aux autres. On a un premier outil d'orientation qui permet d'essayer de respecter la diversité des établissements. La seule façon de le faire c'est d'en prendre compte et de la connaître. Comme vous l'a dit Robin, il y a un certain nombre de dimensions - internationalisation, recherche, insertion professionnelle - qui sont utilisées pour caractériser les établissements. À partir de ce premier outil d'orientation, il y a un certain nombre de données qui vont permettre d'établir non pas tant un classement qu'un rangement ou qu'un deuxième outil d'orientation qui suit le modèle du CHE. L'idée est que c'est un rangement multicritères, on garde les critères séparés, on ne fait pas un seul chiffre qui résumerait plein de choses très différentes. On a une multiplicité d'informations qui restent accessibles séparément. C'est un outil contextuel, parce qu'on ne va pas donner de note individuelle et faire un classement type palmarès, mais on va simplement donner l'appartenance à trois groupes - vert, orange, rouge - qui sont trois grandes catégories dans lesquelles on va vous permettre de ranger l'université que vous êtes en train d'observer. C'est un classement personnalisé, puisqu'on peut choisir les critères et les priorités sur lesquels on va apprécier la façon dont les établissements sont ensuite présentés.

Enfin, c'est un classement qui cherche à être pertinent, à parler au niveau du département pour les établissements, au niveau des disciplines pour les étudiants. L'idée est d'orienter, pour le monde entier, puisque ce classement se veut international, notamment pour l'Europe, mais aussi pour le reste du monde, de s'orienter avec différents points de vue sur les établissements. Si vous allez sur le site du CHE, qui est un très bon modèle, vous avez le résultat d'une série de clés de tri. En tant qu'utilisateur, vous avez choisi toute une série de critères et on vous donne le résultat par université. Là, c'est par ordre alphabétique et on vous dit si elle est verte, orange ou rouge. Il y a la dimension notamment des études, de conditions d'études, sur la façon dont sont organisées les formations, sur l'insertion professionnelle. C'est un outil qui est largement orienté vers les étudiants. L'idée est de donner aux étudiants l'occasion de connaître mieux un univers qui est large, pour lequel ils ont très peu d'informations et de commencer à avoir un certain nombre de clés d'orientations sur un ensemble très vaste d'universités.

Le test se fait sur deux domaines qui sont les sciences de gestion et les sciences pour l'ingénieur. Vous voyez en bas les grandes dimensions qui sont prises en compte par toute une série d'informations.

D'autres caractéristiques essentielles de l'exercice sont simplement liées au fait que l'on apprend très vite à partir des limites des exercices précédents. Il y a une consultation permanente des parties prenantes et il y aura sans arrêt des dispositifs d'amélioration par consultation de l'ensemble des différents types d'utilisateurs. Il y a une explicitation complète des méthodes utilisées ; on peut toujours remonter vers les données, pourquoi et comment elles sont utilisées. On se rend bien compte que les difficultés sont importantes puisqu'il s'agit, dans un cadre international, d'obtenir des données qui touchent notamment à la formation, à des choses qui sont incluses dans les systèmes nationaux. Il y a donc tout un travail de traduction à faire entre pays et entre opérateurs des différents pays pour essayer de les rendre comparables. Il faut que les données soient de qualité. Pour qu'elles soient comparables, c'est leur signification même qui doit être traduite, qui doit être reprise et c'est au vu des systèmes de valeurs et des objectifs que l'on a, en prenant telle ou telle donnée, que l'on va pouvoir l'interpréter dans chacun des systèmes. Il y a donc un travail qui va dans le sens de mieux connaître les différents systèmes et qui est une pierre apportée à l'édifice de l'intégration européenne notamment.

Un autre point, qui est un vrai défi et dont on a tous un peu mais pas assez parlé, c'est la capture des dynamiques. C'est de ne pas faire des photos figées de choses qui sont certes intéressantes mais peu sensibles aux dynamiques des établissements.

Je conclus.

L'idée est qu'actuellement, les systèmes d'information sur les établissements d'enseignement supérieur sont en train de construire une sphère d'information internationale qui est encore très peu structurée, très évolutive. C'est le moment pour contribuer à ces outils, qui sont des outils informationnels. Si on veut être apprécié, si on veut être pris en compte, il faut contribuer. C'est en participant que non seulement on apprend mais qu'en plus on peut faire passer un certain nombre de messages et de réalités.

Il y a un public essentiel qui est à prendre en compte, c'est celui des étudiants. Il reste beaucoup à faire, tout le monde a vu à quel point c'était difficile. L'idée est que ce test n'est que le début et il faut être conscient que si on n'avance pas vite, la mauvaise information, qui s'obtient très rapidement, remplit très facilement cette sphère d'information. Travailler devient crucial en recherche, en s'appuyant sur la recherche, en ayant des programmes, des exercices pilotes, à l'échelle nationale mais aussi internationale pour coordonner les efforts et pour améliorer la qualité des données, améliorer la capacité d'action, rassembler des données de qualité, travailler, apprendre en travaillant.

L'OST, qui est soutenu dans cette action par le ministère, souhaite animer une coordination des acteurs français, tous ceux qui sont intéressés. L'idée est de donner une dynamique, d'au moins s'informer, de comprendre et de faire des exercices. On va organiser un atelier à la fin de l'année. Vous avez ici notre site, mon adresse mail en bas. Contactez-nous et nous vous tiendrons au courant. Tenez-vous informés. Vous avez l'adresse de U-Multirank et l'adresse de l'IREG qui sont sur cette dernière diapositive.

Merci beaucoup.

M. Jean-François DHAINAUT, président de l'Agence d'évaluation de la recherche et de l'enseignement supérieur (AERES)

Mesdames, Messieurs les sénateurs, je citerai une phrase de la présidente pour commencer, qui parlait des classements et qui disait que ce n'est pas parce que les couteaux coupent et que l'on peut se couper les doigts avec, qu'il faut supprimer tous les couteaux ; cela s'applique parfaitement aux classements. Ce n'est pas parce que les classements présentent plein d'effets pervers que l'on ne doit pas s'en servir. Le problème est de savoir bien s'en servir. Ce qui m'intéresse dans les classements, ce sont les insuffisances. Quand on essaye de faire des comparaisons, des classements, il faut comparer des choses comparables. On a commencé. Comme on devait évaluer les centres hospitaliers universitaires, on a commencé à jouer avec les outils de comparaison. On a pris les facultés de médecine en France. Les études médicales en France durent une douzaine d'années en fonction des spécialisations. On commence par le fondamental et on finit par le clinique. Au départ, il y a des connaissances qui permettent au début de sélectionner les étudiants en fonction d'un numerus clausus . Le nombre d'étudiants est limité. C'est une vraie sélection. Le problème est de savoir ce qu'on fait ensuite avec les étudiants qui n'ont pas été sélectionnés par la filière. Quand on travaillera l'efficience, on verra le nombre d'enseignants sur le numerus clausus . Ensuite, on passe de la connaissance à la compétence et au milieu de tout cela, il y a un examen de classement national qui permet de choisir sa spécialité et le lieu où on fera cette spécialité. Ensuite, il y a la spécialisation.

Quand on se sert des indices pédagogiques, ce n'est pas très facile. Si on parle de l'insertion des médecins, ils sont tous insérés. En revanche, on a essayé de voir ce que l'on pouvait faire avec l'examen national classant. C'est l'autre indicateur, les résultats de l'examen classant. On a pris le pourcentage d'étudiants classés dans les 1 000 premiers, moyenné sur trois ans pour tenir compte de la variabilité annuelle, en fonction des ressources humaines. Cela veut dire le nombre d'enseignants hospitalo-universitaires titulaires sur le nombre d'étudiants en deuxième année, à savoir le numerus clausus . C'est un indicateur qui en vaut un autre. Quand on regarde ce que cela donne sur les facultés, le nombre d'hospitalo-universitaires sur le numerus clausus , c'est-à-dire sur le nombre d'étudiants, on s'aperçoit que les facultés sont très différentes. Si on prend les résultats à l'examen classant, on s'aperçoit qu'il y a un certain nombre de facultés de médecine, bien que n'ayant pas beaucoup d'hospitalo-universitaires en fonction de leur numerus clausus , qui ne s'en sortent pas si mal et qui ont des performances relativement bonnes. Quand on essaye de faire une corrélation statistique entre ces deux données, finalement elle n'est pas très bonne. Cela veut dire que le nombre d'enseignants hospitalo-universitaires par rapport à la pédagogie n'est pas si statistiquement significatif que cela. Même avec un effectif relativement faible, on peut faire des choses intéressantes.

Si on prend l'indicateur recherche, on en avait pris trois et je vous en donne un, parce que cela donne quasiment la même chose. C'est un indice bibliométrique, qui tient compte du facteur d'impact des revues. En fonction des ressources humaines, on ne prend plus en compte le nombre d'étudiants mais le nombre d'hospitalo-universitaires titulaires. Quand on regarde la corrélation qui existe entre ce score bibliométrique et le nombre d'hospitalo-universitaires, là on trouve une excellente corrélation. Cela veut dire que, globalement, l'effet masse joue un rôle très important. La corrélation la plus importante est le nombre d'unités reconnues. C'est un point très important. C'est difficile d'arriver à avoir de grosses performances en recherche quand on n'est pas nombreux et qu'on n'a pas beaucoup d'unités à son service.

Si on rapporte ce score en fonction du nombre d'hospitalo-universitaires, de l'examen classant, on s'aperçoit que ceux qui ont beaucoup d'hospitalo-universitaires réussissent bien en recherche et certains bien en pédagogie, d'autres moins bien, pour des tas de raisons qui sont conjoncturelles et qui sont les limites.

Ce qui m'intéresse, c'est cette diapositive : de voir les limites de cela. L'intérêt pour nous d'avoir fait un classement des facultés de médecine - on l'a fait en travaillant avec les doyens de médecine - ce sont les réactions des gens. Elles sont importantes, car il y a des choses intéressantes et on doit faire des études secondaires. Quand on regarde les limites, est-ce que, dans notre indicateur pédagogique, c'est le rôle ou la responsabilité de la démarche de la faculté ou y a-t-il un rôle des aides privées ? On sait très bien qu'en médecine, les aides privées jouent un rôle non-négligeable. Est-ce que la motivation des étudiants dans les régions moins demandées joue un rôle ? Quand on est dans une région qui est moins demandée, on a moins d'efforts à faire pour y rester puisqu'elle est moins demandée.

Est-ce que l'impact des conditions sociales et environnementales joue un rôle ? Si vous avez regardé la fac de Bobigny, elle n'a pas de très bons résultats à l'examen classant national, mais en fait elle prend des étudiants qui n'ont pas du tout le même niveau que les autres. Elle fait certainement aussi un effort pédagogique plus important que les autres pour amener ses étudiants à avoir des capacités et des compétences en médecine aussi bonnes que les autres et former d'aussi bons médecins. Il faut tenir compte de ce genre de choses. Finalement, c'est l'intérêt des classements de dire que l'on pointe du doigt des choses importantes. Par exemple, l'évolution des compétences des étudiants par des examens théoriques. On sait très bien que les compétences des étudiants en médecine sont mal étayées. On pointe les insuffisances. Cela permet ensuite de faire d'autres études et l'on a commencé à faire deux études, l'une pour montrer quel est le rôle de la faculté dans cet indicateur pédagogique et le rôle des aides privées. On l'a fait pour l'ensemble des facultés. On a aussi étudié les conditions environnementales de vie étudiante au niveau des différentes facultés. Tout cela dans le but d'améliorer ce qui se passe pour que les gens puissent se comparer. Les étudiants réagissent et on est forcés de faire un certain nombre de choses. Les limites du score SIGAPS sont, d'une part, que c'est un indicateur de recherche médicale qui ne prend en compte que les publications et, d'autre part, qu'il ne tient pas compte des publications par des organismes, qui correspondent à 20 %. La plupart des publications proviennent des organismes et des universités mais certaines ne proviennent que d'organismes et ce score n'en tient pas compte.

Il est intéressant de faire des comparaisons internationales. On sait qu'en 2006, la France représentait 5,1 % de la production mondiale. Si on regarde des choses qui nous font un peu plaisir, c'est 6,3 % des articles dans le Top 10 et c'est presque 7 % du Top 20. On se situe au niveau du cinquième rang mondial. Il vaut mieux ne pas regarder 2008 parce que c'est un peu dégradé.

Globalement, pourquoi faire cela ? C'est important de se comparer aux autres parce que cela a un effet stimulant. Il est intéressant de voir comment on évolue dans ce classement. C'est une démarche qui doit être évolutive au niveau des facultés, c'est la tendance à l'autoévaluation, c'est se créer un tableau de bord et c'est suivre le pilotage de son université. Ce qui est important aussi, c'est non seulement l'amélioration des performances mais aussi de permettre de mieux répondre aux attentes des étudiants qui réagissent à un certain nombre de choses et proposer des outils aux universitaires et aux politiques.

Les perspectives sont clairement l'amélioration des données pédagogiques, l'inscription en master, en thèse - qui joue un rôle important, mais qui n'est pas très facile pour des questions techniques -, la qualité de la vie étudiante, l'évaluation des compétences... Tous ces indicateurs doivent être améliorés pour arriver à évaluer ce qui nous paraît important et puis de nouveaux indicateurs au niveau de la recherche.

J'aimerais arriver à fournir aux universités, aux écoles et aux UFR un tableau de bord permettant d'observer l'évolution. Ce que je reproche le plus aux classements, c'est que pour bouger dans le classement, il faut en faire des choses. Quand on parle de la réputation, c'est sur des années, les prix Nobel, c'est strictement la même chose. Les indicateurs doivent arriver à bouger tous les ans, car je pense que c'est intéressant de voir l'évolutivité et la comparaison par rapport aux autres.

Ce sera ma dernière diapositive un peu nostalgique parce que c'est une étude que l'on a commencée et qu'on a beaucoup de mal à finir. Ce n'est pas important de savoir ce qu'il y a là-dedans, simplement cela montre qu'il y a cinq classes d'universités en France, qui sont les scientifiques, santé, SHS, celles qui sont multidisciplinaires. Dans ces cinq classes, il faut trouver des indicateurs qui leur sont spécifiques de façon à ce que l'on puisse suivre ces universités, qu'elles puissent elles-mêmes se suivre et aller plus loin. Je pense que U-Multirank est très important, pouvoir se comparer à des universités européennes de même typologie. Je vous remercie beaucoup.

M. Patrick HETZEL, directeur général de l'enseignement supérieur et de l'insertion professionnelle (DGESIP) au ministère de l'enseignement supérieur et de la recherche

Vous avez pu le noter, la question des classements des universités est devenue un débat passionnel. Je vais essayer de revenir, avant d'entrer sur ce qu'on a pu faire et proposer au niveau européen, sur un élément historique assez frappant. Quand vous regardez la question des classements, elle est intervenue assez récemment. Le premier classement récent est celui que l'on trouve avec US-News en 1983. En fait, nous avons une très longue histoire pendant laquelle nos systèmes d'enseignement supérieur et de recherche étaient fortement ancrés dans des cultures nationales et régionales. La question de la comparaison internationale se posait peu et elle se posait d'autant moins pour l'Europe puisqu'elle était en situation de domination en termes d'idées au niveau mondial. L'un des éléments qu'il ne faut pas ignorer - et j'aurai l'occasion d'y revenir - c'est que ce qui se joue, et cela a été rappelé par différents intervenants : quand on aborde la question des classements, jusqu'à un certain point, ce qui est en jeu c'est la domination des idées et de ceux qui en assurent la production et la diffusion. On est en train de parler du système de valeurs. C'est quelque chose de très profond.

Dans un passé récent, ce qui a eu un autre impact très fort, c'est l'arrivée de la stratégie de Lisbonne, notamment parce qu'elle a montré que pour promouvoir l'innovation, il fallait mettre en place un dispositif qui faisait que les pays mettaient l'accent sur la formation, parce que la formation était un outil de compétitivité. On a mis l'accent à l'intérieur de l'espace européen sur la libre circulation des personnes et des biens, l'ouverture des frontières, l'essor des échanges. Cela a contribué à développer un phénomène, qui est à mettre en perspective avec la question des classements au moins jusqu'à un certain point, que l'on appelle le brain drain , c'est-à-dire le fait que les élites bougent. Nous avons à garder cela à l'esprit. Cela a des conséquences. Cela oblige les nations à développer et à investir de manière massive dans l'enseignement supérieur et la recherche. C'est pour cela que, plus que jamais, les parlementaires posent des questions quant à la performance, quant à l'efficacité de l'investissement des deniers publics, parce que sinon, on va s'épuiser et les investissements ne suffiront pas pour améliorer notre performance et notre efficacité. On voit bien que cela a donné lieu, à l'initiative des pays anglo-saxons, à un véritable marché. Le classement est à mettre en perspective avec la notion de marché. Pour être compétitif dans cet espace, il y a au moins trois choses : alimenter l'innovation par la recherche, assurer des formations pour créer le meilleur vivier possible de talents à tous les niveaux de formation, rendre un espace attractif, qu'il s'agisse de l'espace français ou de l'espace international.

Cela interroge désormais la définition des missions des universités. Quand vous regardez les débats parlementaires au moment de la LRU, on a bien vu que l'article premier sur les missions était très riche. Il faut éviter une lecture trop primaire de l'enseignement supérieur, qui serait uniquement un marché. On voit bien qu'on a d'autres valeurs à défendre. Ce n'est pas qu'un marché. En même temps, on ne peut pas limiter les universités aux seules missions de diffusion et de production de connaissances. Le débat autour de l'insertion professionnelle à cet égard est très intéressant. Cela va encore être présent avec le grand emprunt, puisque se pose la question de la valeur ajoutée, de la valorisation. Lorsque la nation investit dans un système, quel est le degré de retour sur investissement possible ? Ce n'est pas uniquement de nature économique mais de manière globale et sociétale.

Le vrai problème partagé, à mon avis, par tous les États, c'est cette question de l'attractivité du système de l'enseignement supérieur et de la recherche. On voit bien que les classements jouent un rôle dans la plus ou moins grande attractivité. Il y a deux grands types de classements. Il y a des classements qui sont là pour aider les étudiants à faire des choix. À l'autre bout du spectre, il y a des classements pour mesurer l'intensité de la recherche effectuée dans ces universités. Ce n'est pas exactement la même chose. Il faut être très prudent. Cela a été dit très largement. Tous les classements n'ont pas les mêmes objectifs et il faut intégrer cette dimension. Pour nous, en France, l'une des ambitions est de construire un continuum pour les étudiants entre information, orientation et insertion professionnelle et c'est pour cela que nous avons besoin d'un outil multicritères qui permette de mettre les choses en perspective. Quand on veut faire des classements, ce qui est important, c'est la collecte des données. C'est un sujet qui est très sensible parce que, très rapidement, on voit bien que ce qui peut constituer un frein à la collecte des données, c'est lorsqu'on utilise ces données pour attribuer des moyens. C'est typiquement le type de problème auquel les politiques publiques peuvent être confrontées : comment être sûrs d'avoir des données fiables et faire en sorte que l'on ait une acceptabilité sociale de ce que l'on est en train de faire ?

Je pense que cette question des moyens est aussi l'un des freins en France, même si je sais qu'il y a quelques universitaires qui se sont intéressés sous forme de communauté académique à la question de l'évaluation et de l'étude scientifique de l'univers de l'enseignement supérieur et de la recherche... À l'étranger, les pays anglo-saxons et les Pays-Bas ou d'autres nous montrent que les académiques se sont emparés du sujet et font de véritables recherches pour que l'on ait un regard scientifique sur ces questions. Cette approche développée autour des classements et qui concerne l'enseignement supérieur doit aussi répondre à des politiques sociales, comme les questions d'égalité des chances et d'accès du plus grand nombre à l'appareil de formation. Cette question a été évoquée tout à l'heure. L'un des objectifs qui nous est fixé, c'est de faire en sorte que 50 % d'une classe d'âge soit diplômée de l'enseignement supérieur. On est en pleine stratégie de Lisbonne. Pour atteindre cet objectif, il y a un défi pour les politiques publiques et leurs instruments de faire en sorte que l'on puisse créer des conditions favorables pour le développement et le financement de l'enseignement supérieur d'une part mais que d'autre part, on puisse en rendre compte. Les classements sont une manière, dans un certain nombre de cas et lorsque l'on est très multicritères, de rendre compte comment sont mobilisés les deniers publics. On est ici au Parlement et c'est un élément qui revient fréquemment parce que, quand on a un budget de l'enseignement supérieur qui augmente d'un milliard par an, c'est aussi un élément dont il faut tenir compte.

Le dernier point qui me semble essentiel, c'est la structuration actuelle de l'enseignement supérieur français. Il doit intégrer cette question des classements, mais il ne faut pas s'y tromper. Un classement est un indicateur, un outil. Je pense que ce qui est important, c'est de revenir à ce qu'il y a en amont des classements. En amont, ce sont des stratégies d'établissements d'enseignement supérieur et de recherche, ce sont des projets. Ce qui est essentiel c'est de prendre conscience que si nous voulons pouvoir progresser, nous devons plus que jamais nous poser des questions stratégiques. En l'occurrence, le ministère a fait évoluer progressivement sa politique de contractualisation en centrant la discussion sur un certain nombre d'indicateurs et en ayant une discussion sur la stratégie. Il faut pouvoir échanger sur le projet d'un établissement et c'est le projet qui, lorsqu'il sera mis en oeuvre, sera capté par les classements et sera plus ou moins mis en valeur. Il me semble important d'indiquer que si nous avons un énorme travail en amont, si les établissements d'enseignement supérieur améliorent leur stratégie et la construction de leurs choix stratégiques, ipso facto cela aura des conséquences sur les positionnements dans les classements. C'est pour cela que nous avons aussi une action à mener. Le classement européen doit nous aider à faire prendre conscience de la nécessité d'une approche multicritères. Il y a différents acteurs qui peuvent s'en emparer. Les classements doivent être positionnés comme des outils et doivent rester à leur place. Ils ne sont en aucun cas la stratégie. Ils ne peuvent être que des formes de représentation à un instant T de celle-ci. Il y a toute une pédagogie à faire pour les remettre à leur place, dans leur contexte, savoir que ce sont des outils pouvant être mobilisés par les étudiants pour faire leurs choix. Cela peut être des outils pour aider au positionnement stratégique des établissements d'enseignement supérieur. Ce sont des outils, même si - et il ne faut pas être naïf à ce sujet - dans un certain nombre de cas - et je pense que dans le cas du classement de Shanghai c'est assez clair - ce sont aussi des outils de domination culturelle. Notre rôle est de ne pas être naïfs à cet égard. C'est une autre raison pour laquelle, plus que jamais, il est essentiel que l'Europe puisse faire entendre sa spécificité et puisse à nouveau faire part de toute cette richesse. Quelqu'un a dit que nous avons peur de l'uniformité. Je crois que nous avons aujourd'hui la chance d'avoir un système qui a une certaine richesse. Il faut la préserver car elle constitue un levier important pour nous positionner au niveau international par rapport à d'autres systèmes d'enseignement supérieur et de recherche. Je vous remercie beaucoup.

B. DÉBAT AVEC LA SALLE

Mme Ghislaine FILLIATREAU, directrice de l'Observatoire des sciences et techniques (OST)

Quelques questions dans la salle, des remarques, en levant rapidement la main.

M. Denis JÉRÔME, directeur de recherche à Paris Sud-Orsay

Le titre est « Oublier Shanghai » et le remplacer éventuellement par un classement européen ou un travail européen. Est-ce que c'est vraiment là la vraie question qui doit se poser ? Est-ce qu'on ne doit pas se pencher plutôt sur les critères utilisés pour établir ces classements, qu'ils soient Shanghai, Bruxelles ou autres. Actuellement, pour les classements actuels, on met beaucoup trop de poids sur la couverture, sur le contenant par rapport au contenu. Vous achetez des oranges, ce ne seront que des oranges. Si vous les achetez chez Fauchon, ce sera très prestigieux mais pouvez avoir exactement les mêmes sur le marché d'Aligre. En gros, cela revient à cela. Ce qui m'inquiète beaucoup, car quand on regarde les critères utilisés par Shanghai, il y a 30 % du poids de ces critères qui reposent sur une publication dans Nature ou Science . En général, les prix Nobel ont été attribués de manière justifiée. Mais à côté d'un prix Nobel, vous avez cinq ou dix personnes qui ont pratiquement aussi mérité ces prix Nobel mais elles ne sont pas élues parce qu'au prix Nobel, il n'y a qu'une seule personne. Là, il y a des raisons politiques. On y attache beaucoup trop de poids et c'est le défaut des classements.

Il faut, dans l'évaluation qui permet de faire ces classements, avoir recours au quantitatif. Nous nous sommes penchés sur l'utilisation de la bibliométrie justement pour l'évaluation des enseignants-chercheurs et des chercheurs. Le quantitatif est un outil très utile, mais il ne doit pas être un outil de décision. Il doit être un outil qui engage la réflexion. Ce n'est pas forcément le chercheur qui a le meilleur indicateur un temps donné qui est réellement le meilleur chercheur. L'aspect dynamique est très important. Actuellement, avec la puissance des bases de données, l'information est parfaitement accessible à tout le monde quasi gratuitement. Le quantitatif peut aider à la réflexion, mais la décision doit être prise par des comités d'experts scientifiques qui sont les seuls capables de juger de ces classements.

Je peux conclure en disant que ces réflexions ont fait l'objet d'un an de discussions à l'Académie, réunissant toutes les disciplines scientifiques de l'Académie. C'était un groupe de travail extrêmement actif qui a fait un rapport qui a été remis à Mme la ministre en juillet dernier et dans lequel on essaye d'établir un code de déontologie, de bonnes pratiques pour l'évaluation. Ce rapport est d'ailleurs accessible sur le site de l'Académie des sciences soit en français, soit même en anglais.

M. Philippe NASZÁLYI, directeur de La revue des sciences de gestion

Ma question sera très rapide. Elle ne sera pas sur les revues, mais concernera ma deuxième casquette de directeur de formation en apprentissage dans le cadre du LMD dans une université de banlieue à Evry. Je suis interloqué. On a parlé de l'insertion professionnelle, mais comme en Allemagne, il y a beaucoup de gens qui sortent à L. J'ai un peu l'impression qu'ils sont oubliés. Leur insertion professionnelle n'existe pas. Quand je regarde une formation comme la mienne dans l'apprentissage, on a 97 % de réussite à L et 95 % de CDI au sortir. Je n'existe pas. Pour moi, cela n'est pas très grave, mais pour le classement de mon université, cela le devient plus et je me dis qu'il faudrait, si on veut rester dans le LMD qu'a mis en place l'Europe, que le critère à L soit également valorisé.

M. Jean-Pierre RAMAN, délégué général de la SKEMA (School of knowledge economy and management), grande école issue de la fusion entre le CERAM business school et le Groupe ESC Lille

On est soumis, comme les universités, aux aspects de classement, d'évaluation et d'accréditation. Puisque le terme d'insertion professionnelle apparaît encore à l'écran, il y a des accréditations académiques, nationales et internationales, mais favoriser les débouchés de nos élèves s'associe souvent au fait de satisfaire à des accréditations professionnelles. Il est nécessaire, dans ce cas, de marcher sur deux jambes et de satisfaire à la fois ce qui est académique et ce qui est professionnel. Dans ce domaine, que ce soit en management projet, en analyse financière ou en audit, le constat est vite fait que ces accréditations sont souvent d'origine nord-américaine. On souffre aussi de ce point de vue de l'existence d'accréditations professionnelles européennes. Je voulais profiter de la présence d'un représentant de l'Union européenne pour attirer l'attention aussi sur cet aspect des accréditations professionnelles et pas exclusivement des rankings .

Mme Ghislaine FILLIATREAU, directrice de l'Observatoire des sciences et techniques (OST)

Merci beaucoup. Dans le classement U-Multirank, beaucoup d'informations sur l'insertion professionnelle, sur l'insertion locale, etc . sont données. Le message est qu'il faut tout le temps améliorer et c'est cela qu'on essaye de faire. Il y a la possibilité, sur le site, de faire des remarques et le seul secret est l'amélioration continue pour prendre en compte beaucoup de choses.

CLÔTURE

M. Joël BOURDIN, président de la délégation sénatoriale à la prospective

Je vais vous dire le grand plaisir que j'ai eu à participer à ce colloque aux côtés du président Legendre, en tant que président de la délégation sénatoriale à la prospective. Je connais la sensibilité de la commission de la culture, de l'éducation et de la communication à ces problèmes d'évaluation. Cela me fait plaisir de me retrouver avec lui, puisqu'il y a vingt-cinq ans, il était mon ministre, j'étais recteur et on parlait déjà d'évaluation et de l'affectation des moyens. Le sujet a évolué un peu.

Les débats de cet après-midi, riches d'enseignement et de communications diverses, ont montré qu'il ne s'agit pas de tourner le dos à l'évaluation, même quand on intitule notre colloque « Oublier Shanghai ». C'est répondre à plusieurs défis. D'abord, dépasser les polémiques et se tourner vers l'avenir en tenant compte des conséquences inévitables de la mondialisation et de la mobilité. Ensuite, favoriser l'émergence de systèmes d'information transparents, performants, intelligents, c'est-à-dire prenant en compte la diversité des structures et des objectifs de l'enseignement supérieur. Enfin, ne pas se voir imposer de l'extérieur un outil imparfait pour nous, mais construire ensemble dans un cadre européen des indicateurs d'évaluation adaptés à notre histoire et à notre culture.

Au-delà des polémiques, le consensus est possible autour d'un certain nombre de constats.

Au cours des trente dernières années, le monde s'est transformé. La mobilité internationale des étudiants a triplé. Trois millions d'étudiants étudient aujourd'hui en dehors de leur pays d'origine et ils pourraient être entre quatre à six millions d'ici 2025. Plusieurs autres tendances à long terme sont identifiables. La recherche est de plus en plus internationalisée, ce qui se traduit par davantage de coopération mais aussi de compétition. Le leadership américain est progressivement concurrencé par des systèmes d'enseignement supérieur européens ou asiatiques de plus en plus influents. À l'échelle mondiale, l'enseignement supérieur privé progresse. Enfin, toujours au plan mondial, la gouvernance des établissements tend à être soumise à des mécanismes de marché, s'agissant de l'allocation des moyens. Qu'on les approuve ou qu'on les regrette, ces évolutions ne peuvent pas être ignorées. Elles expliquent la multiplication des comparaisons et des classements dont la presse se fait l'écho dans le domaine de l'enseignement comme d'ailleurs dans d'autres domaines comme les hôpitaux. On voit fleurir assez souvent des classements des hôpitaux et cliniques.

Dans ce contexte, il devient indispensable de favoriser l'émergence de systèmes d'information transparents et performants. Il s'agit de donner une image fidèle, non déformée, des systèmes d'enseignement supérieur. La question est politique et la France s'en était emparée lors de sa présidence de l'Union européenne, relayée par la Commission, qui était à l'origine du futur classement européen U-Multirank. Le Parlement ne peut s'en désintéresser. C'est pourquoi l'ancienne délégation à la planification, qui est devenue la délégation à la prospective, avait, en son temps, produit un rapport d'évaluation sur les classements universitaires. Demain, la commission de la culture, de l'éducation et de la communication continuera, dans ce domaine, à veiller et à produire des observations pour que la voix de la France soit entendue.

La question est éminemment aussi scientifique. La recherche française, cela a été souligné, doit se préoccuper de cette question de l'évaluation de l'enseignement, qui est un véritable sujet de recherche. J'ai entendu dire qu'il y avait beaucoup de programmes de recherche dans ce domaine et je m'en réjouis. Il ne peut pas y avoir que les politiques et les journalistes qui répondent à cette question. C'est pourquoi, avec le président Jacques Legendre, nous souhaitons que la communauté scientifique française se mobilise pour qu'émerge une recherche française performante et reconnue dans ce domaine et une véritable force de proposition novatrice mondiale.

Cette recherche nécessite des financements. Nous proposons en tout état de cause de nous retrouver périodiquement pour faire le point sur l'état d'avancement de la recherche française dans ce domaine de la mesure des performances et des mesures concrètes qui pourraient être prises dans ce domaine. Comme la délégation à la prospective s'efforce de le montrer, l'avenir n'est pas écrit. Il se construit à partir d'un certain nombre de contraintes et de tendances du temps présent. Quels sont les scenarii possibles ? Ignorer la problématique de l'évaluation, c'est risquer d'être hors-jeu, de se mettre à l'écart de la compétition. Comme je l'avais montré dans mon rapport en 2008, le classement de Shanghai est très favorable aux universités américaines. Le classement anglais valorise mieux les performances des établissements du Royaume-Uni. Le classement néerlandais, de l'université de Leyde, donne une belle place aux universités néerlandaises, non que ces classements soient délibérément pondérés pour favoriser les établissements nationaux, bien que l'on pourrait se poser la question, mais plutôt en raison du choix d'indicateurs valorisant au mieux les critères communément acceptés au plan national comme reflétant la performance des établissements d'enseignement supérieur et prenant en compte les spécificités des structures nationales de recherche et d'enseignement. C'est pourquoi il faut être présent dans la construction des classements, non seulement pour participer à cet exercice d'évaluation, mais aussi pour promouvoir les qualités de notre enseignement supérieur et assurer sa pérennité, dans un monde de plus en plus mobile, où l'anglais pourrait s'imposer si l'on n'y prend garde, comme langue de l'enseignement et les établissements anglo-saxons attirer toujours davantage d'étudiants issus non seulement des pays en voie de développement mais aussi de la vieille Europe. Tel est le scénario noir à l'horizon des vingt prochaines années. Gageons que nous saurons éviter ce scénario noir - et je suis très optimiste ce soir - en faisant preuve de réalisme et de volontarisme. Plutôt qu'une mondialisation unificatrice, le chemin à suivre est celui d'une internationalisation durable et diversifiée. Ne gommons pas les spécificités propres à chaque système d'enseignement supérieur. À cet effet, des classements multidimensionnels, comme le suggère Mme Filliatreau, à la carte, sont souhaitables. Pour les construire, il faut mettre en place un système d'information public harmonisé, regroupant toutes les informations utiles.

La mobilisation de chacun de nous est nécessaire pour parvenir à ces objectifs. Un premier pas a été accompli ce soir. Je vous remercie.

ANNEXES - PRÉSENTATION DES INTERVENANTS

(a) Mme Sylvie CRESSON, présidente de Personnel association

(b) Mme Ghislaine FILLIATREAU, directrice de l'Observatoire des sciences et techniques (OST)

(c) M. Robin van IJPEREN, chargé de mission à la direction générale de l'éducation et de la culture de la Commission européenne

(d) M. Jean-François DHAINAUT, président de l'Agence d'évaluation de la recherche et de l'enseignement supérieur (AERES)

---

* ¹ Cf. présentations des intervenants en annexe.