« OUBLIER SHANGHAI » : CLASSEMENTS INTERNATIONAUX DES ÉTABLISSEMENTS D'ENSEIGNEMENT SUPÉRIEUR
I. PREMIÈRE TABLE RONDE - CLASSER ET ÉVALUER LES ÉTABLISSEMENTS D'ENSEIGNEMENT SUPÉRIEUR : POUR QUOI FAIRE ?
A. INTERVENTIONS
M. Jean-Léonce DUPONT, rapporteur pour avis des crédits de l'enseignement supérieur à la commission de la culture, de l'éducation et de la communication
Merci, Monsieur le président. J'ai aujourd'hui l'immense plaisir d'animer la première table ronde de notre après-midi. Nous l'avons intitulée « Classer et évaluer les établissements d'enseignement supérieur : pour quoi faire ? ». En effet, il ne s'agit pas de remettre en cause leur existence, mais d'étudier leur utilité au travers d'un prisme à la fois critique et constructif.
Qu'observons-nous depuis quelques années ? Une multiplication des classements, dans tous les domaines, qu'il s'agisse de ces établissements mais aussi, par exemple, des lycées voire des hôpitaux. Les médias les relayent avec beaucoup de gourmandise et l'appétit de l'opinion publique à cet égard ne se dément pas. Certes, cette évolution présente des risques car elle donne un pouvoir certain aux initiateurs de classements, le comportement des acteurs concernés étant alors influencé. Ceci alors même qu'aucune approche comparative n'est neutre puisqu'un classement dépend à la fois du choix des critères retenus et de leur pondération. Cette situation révèle aussi un souhait d'information de nature à éclairer les décisions individuelles. Au-delà, les classements ont aussi un impact collectif. Ils influencent les politiques nationales. Je pense notamment aux réflexions de l'Allemagne sur sa politique éducative à la suite des classements de l'OCDE. Ils influencent aussi les professionnels concernés qui ne peuvent être indifférents aux rangs qu'ils occupent même si l'essentiel tient sans doute à l'évolution de leur position dans le temps.
Ils influencent enfin les étudiants, dont la mobilité internationale a fortement augmenté, d'à peu près 50 % depuis 2000. Ainsi en est-il du classement international de Shanghai. Il est fortement critiqué et on en connaît les travers liés à un parti pris anglo-saxon qui conduit notamment à accorder une place importante aux prix Nobel et médailles Fields. Mais il a le mérite, de par son existence même, d'obliger les États et les établissements d'enseignement supérieur à s'interroger sur leurs résultats. Il a suscité dans notre pays des prises de conscience dont l'effet mobilisateur a permis d'engager une importante évolution du paysage de l'enseignement supérieur et de la recherche.
Au regard de ce qui se pratique dans de nombreux pays étrangers, la France était, jusqu'à l'arrivée du classement de Shanghai dans une situation atypique. Il n'y existait aucun classement des universités et très peu d'indicateurs à disposition des étudiants pour le choix de leur cursus. Classer induit de fait une forme de publicité comparative à laquelle notre pays n'est pas toujours accoutumé. En tant que rapporteur pour le secteur au nom de la commission de la culture, de l'éducation et de la communication du Sénat, je mesure bien cet élan transformateur. Mais le classement de Shanghai n'est pas seul et c'est heureux. Il est important que d'autres développent des prismes différents afin d'appréhender pleinement la réalité et la diversité des écosystèmes concernés.
Il nous faut toutefois bien admettre que malgré les différences de méthodes existant entre classements, on observe des convergences dans leurs résultats : domination des pays anglo-saxons et place relativement médiocre obtenue par la France. Les universités des États-Unis occupent 54 des 100 premières places du classement de Shanghai et 37 des 100 premières places du classement du Times higher education . La France est sixième du classement de Shanghai par pays et dixième du classement anglais par pays.
Les résultats des universités françaises ne sont pas meilleurs si on considère par ailleurs les classements européens établis par l'université de Leyde sur des critères strictement bibliométriques. C'est dire si une pluralité des classements est nécessaire, y compris sur des critères communs européens, afin d'améliorer l'information du public tout en favorisant la mobilité des étudiants et des chercheurs.
Toute évaluation doit répondre à des objectifs. Elle assume ainsi en quelque sorte un rôle de boussole et aide à la décision. C'est pourquoi nous avons souhaité nous interroger en premier lieu sur la raison d'être et l'utilité de ces classements internationaux.
Mon rôle est de donner la parole aux intervenants à cette table ronde. Nous avons le plaisir d'accueillir M. Jamil Salmi, coordinateur de la Banque mondiale dans le domaine de l'enseignement supérieur, qui vient de publier un ouvrage intitulé Le défi d'établir des universités de rang mondial . Nous le remercions chaleureusement d'être venu de si loin pour nous parler de l'évaluation des systèmes d'enseignement supérieur.
M. Philippe Aghion, professeur à l'université d'économie de Paris et à l'université de Harvard, retenu dans une université étrangère, nous a malheureusement informés de son impossibilité de nous rejoindre. Il participera à notre table ronde par le biais d'un échange téléphonique.
Je propose ensuite que M. Benoît Legait, directeur de l'École des Mines de Paris, prenne la parole pour nous faire part de ses propres analyses ; puis M. Nunzio Quacquarelli, directeur de QS world university rankings , nous présentera le paysage des classements académiques mondiaux. Ensuite Mme Sylvie Cresson, présidente de Personnel association, pourra nous exposer le point de vue des entreprises via celui des directeurs de ressources humaines qu'elle représente. Je suis désolé que la confirmation de sa participation à notre table ronde ne soit pas arrivée dans les délais nous permettant de la faire figurer dans le programme et nous sommes heureux qu'elle ait pu se rendre disponible. Enfin, je remercie également M. Jean-Marc Monteil, professeur des universités, chargé de mission auprès du Premier ministre, qui pourra conclure notre première table ronde. Je demanderai à chaque intervenant de pouvoir le faire entre huit et dix minutes afin de laisser naturellement le temps aux échanges avec l'ensemble des sénateurs et avec l'ensemble de la salle.
Je passe donc la parole à M. Jamil Salmi et je vous en remercie.
M. Jamil SALMI, coordonnateur enseignement supérieur à la Banque mondiale
Je voudrais vous remercier de m'avoir invité à participer à ce débat aujourd'hui. Il y a quelques années, j'ai lu un roman nigérian, dont le titre était Ma Mercedes est plus grande que la vôtre . Aujourd'hui, quand on voit la prolifération des classements d'universités, j'ai l'impression que lorsque deux présidents d'universités se rencontrent, ils se regardent en coin, en se demandant « est-ce que son université est mieux classée que la mienne ? ». L'an dernier j'ai fait un petit recensement des classements que j'ai pu observer. Je ne vais pas faire circuler la liste car nous n'avons pas le temps mais je laisserai ma présentation à ceux qui sont intéressés. Ce qu'il est intéressant d'observer, ce sont deux dimensions que j'ai essayé de capturer dans le graphique suivant. D'abord géographiquement et, deuxièmement, en se posant la question : qui fait les classements ? Géographiquement, il est intéressant de voir que l'Afrique sub-saharienne, l'Afrique du Nord, le Moyen-Orient ont peu de classements. Il y en a juste deux : en Tunisie et au Nigeria. Il y a moins de classements en Amérique latine. Pour le reste, pour toutes les régions, on constate une explosion du nombre de classements avec une croissance très rapide.
Selon les régions, on observe un équilibre entre une initiative de faire des classements prise soit par des gouvernements, ce qu'on voit plus en Asie, soit par les médias, comme aux États-Unis ou en Angleterre avec le classement international du Times higher education . Il y a aussi des classements effectués par des organismes indépendants : des universités, l'École des Mines ou encore des institutions de recherche comme le CHE en Allemagne.
Je vais passer rapidement sur les limites méthodologiques de ces classements, ensuite poser la question de leur utilité ou non, des dangers qu'ils peuvent représenter et proposer une nouvelle démarche qui consisterait à aller au-delà des classements individuels d'institutions, en faisant des systèmes d'évaluation de la performance des systèmes d'enseignement dans leur ensemble.
Je passe rapidement sur les problèmes méthodologiques qui sont très bien décrits dans le rapport établi par la délégation du Sénat.
En 1990, le président de l'université de Stanford avait réagi à la publication annuelle du classement des États-Unis dans le US news & world report , en dénonçant l'imprécision statistique. Les questions qu'il posait étaient : entre le 1 er et le 2 e , le 1 er et le 5 e , le 1 er et le 10 e , y a-t-il finalement vraiment une différence ? Il y a des problèmes de validité des critères, comme cela a été souligné dans l'intervention en introduction aujourd'hui. Le classement de Shanghai, par exemple, c'est le classement de la recherche dans les disciplines scientifiques fondamentales, mais pas du tout dans les sciences sociales et c'est un classement qui privilégie les publications en anglais. Le classement a les inconvénients du classement du Times higher education supplement ou bien de certains des classements nationaux. Il y a l'opinion des pairs, qui sont consultés. Une série d'articles récemment publiés souligne bien le degré d'imprécision, de subjectivité et parfois même de malhonnêteté dans ces jugements, le problème de la validité du poids attribué aux différents critères ainsi que les problèmes de validité statistique au niveau de la pondération et de l'agrégation des indicateurs, qui font que, souvent, une petite variation sur l'un des indicateurs pris en cause va entraîner une grande différence dans les classements.
Les différents indicateurs pris ensemble représentent-ils vraiment une bonne mesure de la qualité de l'enseignement et de la recherche ?
Les écarts au niveau des résultats traduisent-ils ou représentent-ils de vraies différences dans la qualité de l'enseignement de la recherche dans les institutions en question ?
Est-ce que l'on compare le même type d'institution et de programme ?
Je me rappelle il y a trois ans, à la réunion annuelle à Shanghai sur les classements, Mme la directrice de l'ENS était venue expliquer la spécificité d'une grande école comme l'ENS par rapport aux universités généralement prises en compte dans ces classements.
S'ils sont si mauvais d'un point de vue méthodologique, on peut s'interroger sur leur utilité et se demander s'ils ne peuvent pas même être dangereux. Il y a trois ou quatre ans, alors que j'étais en Malaisie, le nouveau classement du Times higher education supplement a indiqué un recul de 90 places pour la meilleure université du pays, l'université de Malaya. Cela a causé un scandale national et le président de l'université a dû démissionner. C'était essentiellement un changement méthodologique d'une année sur l'autre qui expliquait ce grand bouleversement dans le classement. On se rend compte qu'il y a des comportements au niveau des institutions qui sont très négatifs. Aux États-Unis, par exemple, certaines études ont démontré que les universités ciblent une clientèle différente parce que l'un des critères retenu est le degré de sélectivité. Du point de vue de l'équité, cela pose un grand problème. Du point de vue de la répartition des ressources, on donne de plus en plus de ressources à l'aspect recherche et moins à l'enseignement. Des universités en Irlande recrutent des chercheurs étrangers en leur garantissant qu'ils n'auront pas à enseigner une seule heure. Ce qui est important c'est la recherche, la publication et c'est cela qui va permettre d'augmenter le score dans les classements.
Dans beaucoup de pays on s'aperçoit que les institutions font des fusions, se rapprochent parce qu'il y a un effet taille dans certains des classements. Plus on est grand, mieux c'est pour avoir de la visibilité. Il y a des cas de fraude. En Angleterre, l'administration de l'établissement faisait pression sur les élèves pour qu'ils répondent positivement dans une enquête qui était prise en compte par le gouvernement pour ensuite distribuer des ressources.
Même au niveau des gouvernements il y a des réactions parfois hâtives. Les Russes étaient très en colère de voir que leurs universités étaient mal classées, donc ils ont leur propre classement mondial et tout d'un coup l'université de Moscou se trouve bien meilleure que Harvard, Stanford ou la Sorbonne.
Certains gouvernements eux-mêmes, y compris le gouvernement russe, le gouvernement danois, le gouvernement chinois poussent vers des fusions ou des regroupements. Partout dans le monde, on voit que les gouvernements - parfois même en temps de crise - donnent des ressources supplémentaires. Il y a une grande question qui se pose : va-t-on distribuer ces ressources de manière équitable ou bien va-t-on les concentrer en faisant des paris sur les institutions qui vont être les meilleures institutions ? En Australie, il y a un groupe des huit universités principales au niveau de la recherche et c'est une citation du secrétaire général de cette organisation, qui explique que l'Australie ne peut pas se permettre de distribuer ces ressources de manière équitable. Il faut cibler des domaines prioritaires, des disciplines prioritaires. Si on ne donne pas un traitement préférentiel à ces universités phares, le pays va prendre du retard. Il y a l'initiative d'excellence en Allemagne, en Espagne. Vous avez le plan Campus en France et il y a eu des tas d'initiatives pour donner plus de ressources aux universités nationales.
Je pense que ces comparaisons internationales peuvent avoir leur utilité dans la mesure où elles nous permettent d'avoir un regard extérieur par rapport à notre propre situation. Si je vous montre cette institution et si je vous demande si elle est bonne, grande, petite, ce n'est qu'en comparant avec les autres que l'on peut commencer à porter un jugement. Il y a des aspects positifs au niveau des institutions elles-mêmes, dans la mesure où, pour commencer, elles doivent publier des données qui sont vérifiables et justes. Le gouvernement pakistanais a lancé un classement en collaboration avec les présidents d'universités. Aux premiers résultats, certains présidents d'universités se sont plaints de manière très véhémente en disant que ces données étaient fausses. Le gouvernement a répondu : « peut-être, mais ce sont les données que vous nous avez données ». Il y a donc une obligation. L'un des avantages qu'il faut reconnaître au classement de Shanghai, c'est qu'il n'utilise que des données qui sont dans le domaine public et qui peuvent être vérifiées.
Ces classements peuvent pousser à une interrogation et à une réflexion sur les raisons pour lesquelles on est bien classé ou mal classé. Si je suis mal classé, tant pis, ce ne sont pas les facteurs qui sont importants pour moi ; ou bien oui, j'ai bien un problème à ce niveau et il faut que je réagisse. Cela peut permettre de fixer des objectifs concrets pour orienter le pilotage stratégique des institutions et de former des alliances qui permettent de constituer des synergies. L'important est de se demander comment je peux améliorer la qualité d'enseignement et de la recherche de mon institution, si c'est une institution qui essaye de faire les deux.
Au niveau des pays, je crois qu'il y a un effet salutaire de réflexion et de remise en cause. Je vais parler un peu du système français. Je suis très fier d'avoir fait une grande école, j'ai fait l'Essec ; je ne crache pas sur le système qui m'a formé, j'en suis très fier et très content, mais je pense que lorsqu'on le regarde de l'extérieur, l'effet du classement de Shanghai est assez intéressant. C'est le titre du Monde « Grandes misères des universités françaises ». La première réaction est de se dire que l'on n'a pas assez d'argent et que si on en avait plus, cela permettrait de résoudre tous les problèmes. Je voudrais attirer l'attention sur un article très intéressant qui a été publié par le professeur Orivel de Dijon, qui insiste sur certains aspects du système français, qui sont uniques au monde : le fait que les grandes écoles reçoivent - en général - les meilleurs élèves d'une génération. La principale mission de ces grandes écoles est de former des cadres de haut niveau, même si certaines d'entre elles font de la recherche. Par ailleurs, les universités reçoivent les autres étudiants tout en ayant la vocation de la recherche, avec cette particularité qu'en France, en Allemagne, en Russie et certains pays, il y a une séparation très marquée entre les instituts qui font de la recherche en dehors des universités et la recherche dans les universités.
Pour illustrer le point sur l'une des caractéristiques du système d'enseignement français, imaginez que j'aie une compagnie d'aviation et que je vous offre un vol Paris-Londres pour dix euros. Je suis sûr qu'il y aurait beaucoup de preneurs, mais je dirai qu'il y a un petit détail : seuls 77 % de mes passagers arriveront à destination vivants. J'exagère peut-être, mais il y a un grand problème d'efficacité et d'égalité des chances, puisque 23 % des entrants à l'université n'obtiendront pas de diplôme, selon l'état de l'enseignement supérieur publié par le ministère.
La probabilité d'obtenir un diplôme est de 31 % si vous êtes enfant de cadre et seulement de 9 % si vous êtes enfant d'ouvrier. Dans le cadre des grandes écoles, la différence est encore plus élevée pour les enfants de cadres. Au niveau de la répartition des ressources, d'un côté certaines personnes pensent qu'il ne faut pas discriminer, il faut traiter toutes les universités de la même manière. En même temps, au niveau des subventions publiques, un élève d'une école préparatoire va avoir 50 % de ressources publiques en plus qu'un élève d'université.
Comment aller au-delà des classements ? Avec un groupe de chercheurs, nous essayons de réfléchir à un système de benchmarking des systèmes d'enseignements dans leur ensemble plutôt que de se fixer sur les classements d'universités individuelles.
Que ce soit avec le classement de Shanghai ou avec le Higher education supplement , la plupart des meilleures universités se situent aux États-Unis et en Angleterre ; il y en a deux ou trois au Japon, dans d'autres pays de l'Ouest et du Canada. Si on regarde, par exemple, sur ce graphique 1 ( * ) , on voit la richesse des pays en abscisse et les publications rapportées à la population du pays en ordonnées. Toutes proportions gardées, on s'aperçoit que les États-Unis et le Royaume-Uni n'ont pas des résultats aussi bons qu'on pourrait le penser. Des pays beaucoup plus petits - la Suisse, la Suède, la Finlande... - ont des résultats bien plus importants.
On obtient le même résultat si on rapporte le nombre d'universités d'un pays parmi les 500 premières du classement de Shanghai à la population de ce pays. Là aussi, vous avez des petits pays qui n'ont pas d'université parmi les 50 meilleures, mais qui, globalement, ont un score bien plus élevé. La France n'est pas représentée ici, mais il y a une étude qui vient d'être publiée en Angleterre sur les inégalités de revenus et tous les problèmes sociaux que l'on trouve dans les pays. La thèse que défend ce livre avec des données à l'appui, c'est que les pays où il y a plus d'inégalités sociales ont aussi le plus de problèmes sociaux, aussi bien au niveau de la criminalité, de la santé... Sur ce graphique nous pouvons voir que les États-Unis et le Royaume-Uni, les pays qui ont le plus d'universités bien classées, ont un score bien moins élevé que les pays scandinaves, le Canada ou bien même l'Allemagne en ce qui concerne la mobilité sociale.
Le fait d'avoir des universités bien classées ne veut pas dire que les pays ont une bonne performance aussi bien du point de vue de la croissance économique que du développement social. Les pays les mieux classés pour l'économie du savoir d'après le classement de la Banque mondiale ne sont pas ceux qui ont les meilleures universités. Ce sont des pays comme la Finlande, comme la Suède, le Danemark, qui n'ont peut-être pas d'universités très bien classées, mais qui ont une homogénéité et des résultats qui, au niveau national, sont beaucoup plus performants.
On s'aperçoit aussi que des systèmes peuvent obtenir des résultats similaires avec des niveaux d'investissements différents ou vice-versa , avec le même niveau d'investissements, vous pouvez avoir des résultats différents. J'ai pris quelques pays pour illustrer cette proposition.
Nous avons ici les dépenses publiques destinées à l'éducation en pourcentage du PIB et la proportion d'adultes dans ces pays qui ont terminé les études supérieures. On voit, par exemple, que le Japon - dont les dépenses publiques destinées à l'éducation sont bien moins élevées que la France - a un résultat bien supérieur. Pour le même niveau d'investissement, la France a des résultats bien meilleurs que le Portugal mais le Canada a un meilleur résultat.
Qu'est-ce que les classements ne nous disent pas ? Ils ne nous disent rien sur la performance du système dans son ensemble. Ils ne parlent pas du problème de l'équité. Ils ne parlent pas de la qualité ou de la pertinence de l'enseignement. Ils ne parlent pas d'un aspect qui est pour moi très important : la différenciation institutionnelle, le fait d'avoir différents types d'institutions pour différents besoins, pour différentes clientèles. Personnellement, je dirais qu'aux États-Unis, ce ne sont pas les Harvard, Stanford et Yale de ce monde qui sont vraiment importants mais le fait qu'il y ait un réseau de collèges communautaires très important et une fluidité au niveau des passerelles entre ces collèges communautaires et les universités. Les classements ne parlent pas de la contribution des établissements au développement économique et social des régions.
Le modèle que je propose regarde les résultats au niveau national, avec six variables :
• le niveau de formation atteint par les
adultes ;
• l'équité au niveau de cette
formation ;
• la qualité de l'apprentissage ;
• les résultats de la recherche ;
• le transfert de technologie pour contribuer
à l'innovation économique et sociale ;
• les valeurs qui sont transmises par ces
institutions.
Certains de ces aspects sont très difficiles à mesurer, mais je pense qu'on ne peut pas privilégier un aspect, car tous les résultats contribuent au système d'enseignement. Voici les facteurs qui contribuent tous ensemble à ces résultats : une vision au niveau national et la capacité de mettre en place des réformes, la gouvernance, la garantie de la qualité, la diversification du système d'articulation et ses passerelles, les ressources financières et les incitations et finalement l'infrastructure digitale qui est de plus en plus importante pour le système d'enseignement supérieur. Il ne faut pas avoir une vision figée. Vous pouvez avoir deux pays qui ont des résultats équivalents aujourd'hui. Mais si on regarde les progrès au cours des dernières années, la situation est différente. C'est aussi une dimension qui doit être très importante de comparer ce que les classements ne nous permettent pas de faire aujourd'hui.
Un exemple : l'État du Minnesota, qui n'est pas l'un des États les plus riches aux États-Unis, mais qui a décidé, il y a quatre ans, de faire des progrès au niveau de l'économie de la connaissance. Ils ont défini cinq objectifs et ils font chaque année ce benchmarking , où ils comparent leurs résultats aux trois meilleurs États des États-Unis, à trois États pairs, similaires du point de vue des caractéristiques économico-sociales et aux meilleurs pays de l'OCDE, à la moyenne de l'OCDE.
Qu'est-ce que cela nous dit ? Il ne faut pas arriver à un monde où tout sera classifié et où on ne prendra pas de décision sans regarder le classement. Il faut reconnaître que la prolifération de ces classements n'est pas une coïncidence. C'est parce qu'il y a une soif d'information parmi les usagers, une culture de la transparence. Les classements sont une manière parmi d'autres d'évaluer et de rendre des comptes sur les performances de l'enseignement supérieur. L'utilité des comparaisons internationales est que cela nous permet d'avoir un regard objectif pour stimuler les débats sur les défis auxquels nos institutions font face. Il faut, comme principe de base, comparer des institutions similaires, des programmes plutôt que des institutions et plutôt par indicateurs qu'en utilisant des scores, des classements qui sont très attirants pour vendre des magazines mais qui ne sont pas représentatifs de la réalité. Il faut comparer les résultats plutôt que les intrants et il faut utiliser les classements de manière positive, pour améliorer notre performance et non pas uniquement pour essayer de battre la concurrence. Je propose que l'on utilise le benchmarking , parce que c'est une analyse au niveau du système national et non pas des institutions à titre individuel ; c'est multidimensionnel. Cela nous permet de regarder s'il y a un alignement des facteurs-clé et d'identifier des leviers de politiques nationales pour transformer les systèmes. Cela nous évite d'être complaisants. Souvent les institutions se comportent comme ce chat qui se regarde dans le miroir et qui s'imagine être beaucoup plus puissant et fort que ce qu'il est dans la réalité.
Je vous rappelle la citation d'Einstein qui nous dit sagement que tout ce que l'on peut mesurer n'est pas nécessairement important et tout ce qui est important ne peut pas nécessairement être compté.
M. Jean-Léonce DUPONT, rapporteur pour avis des crédits de l'enseignement supérieur à la commission de la culture, de l'éducation et de la communication
Merci beaucoup. Je pense que nous avons au téléphone M. Philippe Aghion. Vous connaissez le thème général de cette première rencontre et je vous laisse la parole.
* 1 Cf. présentations des intervenants en annexe.