À l’ère de l’open data, la diffusion d’indicateurs auprès du grand public semble aller de soi. Pour autant, ce choix était loin d’être aussi évident il y a quelques décennies. Les indicateurs de valeur ajoutée des lycées (IVAL) n’étaient à leur création qu’un outil de pilotage interne, mais leur rôle a rapidement été élargi dans un objectif d’éclairage du débat public. Cette « opération transparence » a fait émerger plusieurs interrogations. Quels indicateurs diffuser ? Par quel biais ? Quelle méthode de calcul utiliser ? Comment éviter les erreurs d’interprétation ? Le statisticien est en effet potentiellement confronté au risque que les journalistes utilisent mal les données qu’il produit. Il lui faut alors arbitrer constamment entre la pertinence statistique des indicateurs diffusés et leur facilité de compréhension par un public non initié. Calculer plusieurs indicateurs pour dépasser une vision monolithique de la performance d’un lycée, prendre en compte les disparités sociales entre établissements, ou encore proposer des grilles de lecture pertinentes, sont autant d’éléments qui ont accompagné la mise en œuvre des IVAL.

En 1981, Le Monde de l’éducation frappe les esprits en publiant le premier palmarès des lycées, établi à partir des seuls taux de réussite bruts au baccalauréat. Le numéro étant un succès à la vente, l’exercice sera reproduit chaque année. Lors de sa création en 1987 au sein du ministère de l’Éducation, la direction de l’Évaluation et de la Prospective (DEP) s’empare du sujet et calcule des indicateurs de performance pour chaque lycée de France. Dès le départ, ces indicateurs ne se limitent pas à des taux bruts, mais prennent en compte les inégalités de recrutement entre établissements. À ce stade, ces données ne sont envoyées qu’aux seuls chefs d’établissement, à des fins de pilotage interne au ministère.

Mais tout change en 1993, lorsque L’Express parvient à se procurer un listing incomplet des indicateurs. Le journal en extrait certaines données et intitule son numéro du mois de mars : « Le classement secret du Ministère de l’Éducation ». Le ministère apporte alors la réponse suivante : « Contrairement à ce que vous indiquez, ces indicateurs ne sont pas secrets, puisqu’ils ont été diffusés il y a un an à chaque recteur [...], afin qu’il les mette à disposition des chefs d’établissement et s’en serve comme outils d’animation et de pilotage. [...] Les indicateurs que vous avez publiés, retenus seuls, tronquent et biaisent la réalité de chaque lycée. [...] Que vous ayez réussi à vous les procurer et que vous les ayez diffusés montrent à quel point, à notre regret, vous n’avez pas saisi ce que devaient être les outils d’évaluation et de pilotage, nécessaires par ailleurs, des établissements du second degré ».

Le ministère prend alors les devants. La DEP diffuse, l’année suivante, la première version des indicateurs de valeur ajoutée des lycées (IVAL), obtenus à partir des résultats de la session 1993 du baccalauréat. L’objectif est d’opposer au « sensationnalisme » journalistique la transparence d’une démarche scientifique (Buisson-Fenet, 2019). Les indicateurs fournis par la DEP sont repris en juin 1994 par plusieurs journaux, dont L’Express, qui débute son article par « Finie la politique du silence ! ». L’hebdomadaire indique ensuite avoir reçu de nombreux courriers de proviseurs se plaignant de son précédent classement, qui ne tenait pas suffisamment compte du contexte. L’Express fait amende honorable en précisant : « Le taux de réussite au bac [...] doit être comparé au taux de réussite attendu, c’est-à-dire au résultat que devrait obtenir le lycée, compte tenu de l’âge des élèves et de leur origine sociale. Cette donnée, calculée par ordinateur, permet de découvrir la valeur ajoutée – positive ou négative – de l’établissement ».

Si la diffusion grand public des indicateurs ne s’est pas faite de manière paisible et linéaire, cela n’a toutefois pas empêché leur installation durable dans le paysage médiatique. Ainsi, les années suivantes, la plupart des journaux et hebdomadaires emboîtent le pas, rivalisant de titres accrocheurs : « Les meilleurs lycées ne sont pas ceux qu’on croit » (Le Nouvel Observateur, 1997), « La vérité sur les bons et les mauvais lycées » (L’Express, 1998), « Lycées : les effets pervers du palmarès. Ils reposent sur des indicateurs réducteurs » (Libération, 1999), etc.

Un long chemin a été parcouru depuis 1993. Les nombreuses réformes portant sur l’organisation des lycées n’ont jamais remis en cause l’existence du baccalauréat, élément central de l’évaluation dans leur performance (encadré 1). Mais en 27 ans d’existence, la nature, le champ et la méthode de calcul des IVAL ont été l’objet d’évolutions constantes.

Trois indicateurs sont utilisés pour mesurer la capacité des lycées à accompagner leurs élèves jusqu’au baccalauréat, dont le point de départ est pour chacun d’entre eux un taux brut ou observé :

Pour comparer des lycées entre eux, il est nécessaire de tenir compte des caractéristiques des élèves qu’ils accueillent et de leur offre de formation : si un lycée présente une valeur élevée pour un indicateur, est-ce dû au fait qu’il a reçu des élèves ayant un très bon niveau scolaire, ou au fait qu’il a su, tout au long de la scolarité, développer chez eux les connaissances et les méthodes de travail qui ont permis leur succès ?

Pour chaque taux observé est ainsi calculé un taux attendu ou prédit. Ils correspondent aux taux moyens des lycées accueillant des élèves aux caractéristiques identiques.

La valeur ajoutée d’un indicateur est l’écart entre le taux observé et le taux attendu. Elle évalue l’apport propre de l’établissement, compte tenu du profil initial de ses élèves (figure 1).

Figure 1. Trois indicateurs pour apprécier la performance d’un lycée

Ces indicateurs sont complémentaires, car ils prennent non seulement en compte la réussite à l’examen final, mais aussi la capacité des lycées à accompagner leurs élèves depuis leur entrée dans le lycée jusqu’à l’obtention du baccalauréat. En effet, que signifierait un très bon taux de réussite dans un établissement où seulement la moitié des élèves entrés dans le lycée seraient encore présents en terminale ?

De manière générale, tout indicateur statistique donne une vision restrictive de la réalité. Même des indicateurs abondamment utilisés, comme le produit intérieur brut (PIB) en économie, sont accusés d’être incomplets et d’écarter des domaines primordiaux tels que la qualité de vie ou le développement durable.

Dans le cas de la mesure de la performance des lycées, le taux d’accès répond à la problématique de parcours, en prenant en compte l’ensemble de la scolarité dans l’établissement. Associés, les trois indicateurs fournissent une vision plus juste et plus complète de l’action du lycée. Leur nombre réduit facilite par ailleurs leur lecture et les éventuelles reprises dans le débat public.

Chaque année, au mois de mars, la DEPP met à disposition du grand public, pour tous les lycées généraux, technologiques et professionnels, publics et privés, les taux observés des trois indicateurs et les valeurs ajoutées qui y sont associées (figure 2). Les taux de réussite et de mentions sont déclinés par série, et le taux d’accès de la seconde au baccalauréat est complété par les taux première-bac et terminale-bac. Ce dernier permet notamment de mesurer la part de redoublants acceptés au sein de l’établissement.

Ces indicateurs servent en premier lieu à éclairer le débat public sur le système éducatif, dans une démarche de transparence. Mais pas seulement. Ce sont également des outils de pilotage à destination des chefs d’établissement, des inspecteurs d’académie et des recteurs. Ils leur permettent d’apprécier les résultats des lycées dont ils ont la responsabilité. À un niveau plus fin, les valeurs ajoutées de chaque série peuvent aussi être des éléments de réflexion pour les équipes éducatives, et notamment les enseignants. Enfin, les IVAL sont des éléments d’information, parmi beaucoup d’autres, pour les parents d’élèves. Ils permettent de dépasser une interprétation forcément simpliste des seuls taux de réussite observés, et contribuent à enrichir le dialogue entre les parents et les établissements.

Figure 2. Exemple d’une fiche IVAL disponible sur le site du Ministère

Lorsque des indicateurs sont publiés sur un grand nombre d’individus, au sens statistique du terme, la question de la comparabilité est majeure.

Plusieurs approches sont alors possibles, par exemple celle de la Haute Autorité de Santé (HAS) lorsqu’elle publie des indicateurs de qualité des soins pour chaque hôpital et clinique de France. La problématique est proche de celle des IVAL, mais le traitement sensiblement différent. Sur le site public de la HAS, chaque établissement se voit affecter une note (A, B, C, D ou E) sur une batterie d’indicateurs. Mais un « A » ne signifie pas la même chose si 80 % des établissements sont dans ce cas, ou si 80 % ont obtenu une moins bonne note. Le site mentionne alors pour chaque indicateur la distribution des notes au niveau national et positionne l’hôpital ou la clinique par rapport à ses semblables. Il offre également la possibilité de comparer plusieurs établissements sur chacun des critères d’évaluation.

Dans le cas particulier des lycées, les indicateurs portent sur quelque 4 300 établissements, aux caractéristiques très différentes les uns des autres, notamment en termes de profil des élèves accueillis. Afin d’expliquer au mieux l’impact d’un lycée sur la réussite de ses élèves, il faut ainsi s’efforcer d’éliminer l’incidence des facteurs de réussite qui lui sont extérieurs.

Une partie de ces facteurs est en effet propre à l’élève. Les quatre caractéristiques individuelles que sont l’âge, le sexe, l’origine sociale et le niveau scolaire à l’entrée au lycée ont été retenues, car elles donnent une première approximation des chances d’accès et de réussite au baccalauréat d’un élève. Le facteur qui a l’impact le plus fondamental sur la réussite est le niveau à l’entrée au lycée : il est mesuré via la note moyenne obtenue aux épreuves écrites du diplôme national du brevet (DNB). L’écart sur la réussite au baccalauréat est de près de 18 points entre les élèves ayant eu 10 ou moins à ces épreuves écrites et ceux ayant eu plus de 14. L’origine sociale des élèves est quant à elle mesurée par l’indice de position sociale. Cet indice, propre à l’Éducation Nationale, permet de prendre en compte, à travers une variable continue, les catégories socioprofessionnelles des deux parents : plus l’indice est élevé, plus le milieu social de l’élève est favorisé (Rocher, 2016). Évidemment, ne peuvent être pris en compte que des facteurs mesurables. Le degré d’implication des parents dans la scolarité de leurs enfants, s’il joue forcément un rôle, ne peut par exemple être retenu.

L’autre partie des facteurs de réussite d’un élève est liée aux caractéristiques des élèves qui l’entourent. La plupart des travaux portant sur la mixité concluent à une influence – ou effet d’entraînement – du profil scolaire et socio-économique des camarades de classe d’un élève sur ses résultats scolaires (Ouvrir dans un nouvel ongletFougère, Givord, Monso et Pirus, 2019). Aux quatre caractéristiques individuelles sont ainsi ajoutés leurs équivalents « collectifs » : proportion d’élèves en retard scolaire, proportion de filles, indice de position sociale moyen et note moyenne des élèves aux épreuves écrites du brevet.

La modélisation vise à expliquer les taux de réussite, d’accès et de mentions par les caractéristiques à la fois individuelles et collectives des élèves. Elle s’appuie sur des modèles logistiques multiniveaux où une observation est un élève (encadré 2).

Le taux de réussite attendu, pour un élève, s’obtient en appliquant à ses caractéristiques (individuelles et collectives) les valeurs des coefficients du modèle, desquels on retire l’effet établissement.

En procédant de cette manière, le taux attendu (ou prédit) correspond à la probabilité de réussite de l’élève s’il était dans un lycée « moyen », au sens statistique du terme. Autrement dit, si l’impact de son établissement sur sa réussite était neutre. Les taux de réussite attendus par lycée ou par série sont obtenus en faisant la moyenne sur l’ensemble des élèves concernés.

Le procédé est identique pour les taux de mentions. Pour le taux d’accès, la méthode est reproduite pour chacun des trois taux intermédiaires (seconde-première, première-terminale et terminale-bac) et le taux seconde-bac attendu est obtenu en faisant le produit de ces trois taux (figure 3).

Ce concept de taux attendu est essentiel. Comparer tels quels les taux bruts de deux lycées, sans tenir compte des caractéristiques de leurs élèves, conduirait en effet à une analyse faussée. Si des lycées ont de faibles taux attendus, c’est parce qu’ils accueillent des élèves d’un moins bon niveau scolaire et aux caractéristiques sociales plus défavorisées que les autres. Il serait déloyal, notamment pour les équipes éducatives, de comparer leurs taux bruts à ceux de lycées très favorisés.

Comme indiqué plus haut, la valeur ajoutée est obtenue, pour chacun des indicateurs (réussite, accès et mentions), en comparant taux observé et taux attendu. Elle permet une comparaison avec l’efficacité moyenne, et mesure de manière beaucoup plus juste ce qu’a apporté le lycée à ses élèves.

Cette méthode, appuyée sur une modélisation adaptée, n’a pas toujours été employée pour calculer les IVAL. Elle résulte d’un long cheminement marqué par des évolutions méthodologiques et institutionnelles.

Figure 3. Comment est calculé le taux de réussite « attendu » d’un lycée

Avant 2008, la manière de calculer le taux attendu était beaucoup plus fruste et ne prenait en compte que la catégorie socioprofessionnelle du responsable légal (en quatre modalités) et l’âge en terminale (en trois modalités). Pour chaque lycée, était calculée la répartition des élèves dans les 12 cases résultant du croisement de ces deux critères. À chaque case était ensuite affecté le taux observé au niveau national pour cette catégorie d’élèves. La moyenne de ces taux de référence, pondérés par la répartition dans les 12 cases, donnait le taux attendu du lycée.

En 2008, les IVAL ont fait l’objet d’une importante refonte (Duclos et Murat, 2014). D’une part, la liste des variables explicatives s’est enrichie, et d’autre part, le calcul des taux attendus s’est appuyé pour la première fois sur des modèles économétriques.

Dans les premières années de diffusion des IVAL, certains observateurs regrettaient en effet que le niveau des élèves à l’entrée au lycée ne fasse pas partie des critères retenus. Des travaux expérimentaux ont pourtant été menés dès 1996, afin d’évaluer l’impact de la prise en compte des notes au brevet. En 2004, dans une étude commandée par la DEPP portant sur les lycées de l’académie de Bordeaux, l’auteur concluait que la non prise en compte du niveau initial des élèves conduisait à une sous-évaluation de la valeur ajoutée des lycées populaires et à une surévaluation de la valeur ajoutée des lycées socialement favorisés (Félouzis, 2004).

Mais les données nécessaires n’étaient alors pas disponibles. Les résultats aux épreuves terminales du brevet étaient encore collectés « à la main » dans bon nombre de départements et ne constituaient pas une base de données utilisable à des fins statistiques. La transformation en 2003 du brevet en un examen national et la remontée de données exhaustives au niveau national à partir de la session 2004 ont permis de remédier au problème. Il a néanmoins fallu attendre quelques années supplémentaires, car les élèves ayant passé le brevet en 2004 ne sont arrivés en terminale, au mieux, que trois ans plus tard.

En outre, si un fichier national du brevet était bien disponible en 2008, des difficultés d’appariement avec les autres sources de données subsistaient. Afin de tenir compte, malgré tout, du niveau initial des élèves, celui-ci est calculé à un niveau agrégé. Pour chacun des élèves de terminale S d’un lycée, par exemple, c’est la moyenne des notes au brevet de l’ensemble des élèves de terminale S de ce lycée qui est utilisée. À cette occasion, le sexe est également ajouté aux variables explicatives. Les quatre dimensions que ces variables permettent de prendre en compte sont restées les mêmes depuis lors : niveau initial des élèves, origine sociale, retard scolaire et sexe.

La deuxième grande nouveauté de la refonte de 2008 concerne la méthode. Le taux attendu est désormais calculé à l’aide de modèles logistiques multiniveaux, de la manière décrite précédemment (encadré 2). Ces modèles légitiment l’ajout de variables de contexte, qui apparaissent ainsi pour la première fois : répartition des élèves par PCS, proportion de filles, proportion d’élèves en retard scolaire et note moyenne au brevet.

Sept ans plus tard, en 2015, les possibilités d’appariement des différentes sources se sont nettement améliorées, en lien avec les progrès de l’immatriculation des élèves. Grâce à un appariement sur identifiant individuel crypté, il est alors devenu possible de récupérer la note au brevet de chaque élève. C’est aussi en 2015 que l’indice de position sociale (voir supra) a été créé, permettant de prendre en compte la profession des deux parents, autre avancée très importante. Tous ces éléments, sur lesquels le lycée n’a pas de prise, sont ainsi de mieux en mieux mesurés. Cela permet une meilleure estimation des taux attendus, et donc une meilleure comparaison « toutes choses égales par ailleurs » des lycées entre eux.

Ces améliorations successives ont été rendues possibles grâce à l’éclosion de nouveaux outils ou de nouvelles sources de données. D’autres se sont imposées, afin de tenir compte des évolutions du contexte institutionnel. Par exemple, entre 2009 et 2011, le baccalauréat professionnel a été profondément réformé. Alors qu’il s’obtenait auparavant en deux ans, sa durée s’est alignée sur celle du baccalauréat général. Les lycées professionnels accueillent depuis des élèves directement issus du collège, et ce pour une durée de trois ans. Dès lors, les IVAL se sont adaptés pour fournir un taux d’accès de la seconde au baccalauréat pour les lycées professionnels.

Plus récemment, les IVAL se sont enrichis d’un nouvel indicateur, le taux de mentions, pour répondre à une problématique récurrente. Si les taux de réussite se stabilisent depuis 2014, ils n’ont en effet cessé d’augmenter les années précédentes. En 2019, ils atteignaient 90 % dans la voie générale et technologique et 82 % dans la voie professionnelle. Les taux attendus suivent logiquement la même évolution. Pour un lycée général et technologique sur six, le taux de réussite attendu est même supérieur ou égal à 97 %. Par construction, la valeur ajoutée de ces lycées, qui accueillent des élèves au profil très favorisé, ne peut alors dépasser +3 points. Parmi les critiques adressées aux IVAL, la difficulté de discriminer les lycées très favorisés revenait ainsi régulièrement dans le débat. En 2017, l’ajout du taux de mentions a permis d’y apporter une réponse. En effet, pour ces lycées, le taux moyen de mentions est de 75 %, ce qui est certes élevé, mais leur laisse davantage de latitude pour obtenir une bonne valeur ajoutée. Parmi les lycées très favorisés des IVAL 2019, on observe d’ailleurs des situations très contrastées. Si les valeurs ajoutées associées à leur taux de réussite sont globalement proches de zéro, l’un d’entre eux a par exemple une valeur ajoutée de −15 sur le taux de mentions, tandis que pour un autre elle est de +27. L’ajout de ce nouvel indicateur permet ainsi de différencier des lycées qui paraissaient auparavant très proches.

Le taux de mentions constitue par ailleurs un indicateur de pilotage en lui-même. Pour les élèves qui poursuivent leurs études dans le supérieur, le type de parcours et le taux d’obtention du diplôme varient grandement selon que l’élève a eu son baccalauréat avec mention ou non. En licence, le taux de diplômés est de 77 % parmi les élèves ayant obtenu une mention, contre seulement 47 % pour les élèves qui n’en ont pas eu (Ouvrir dans un nouvel ongletPonceau, 2019). Cet indicateur mesure donc également la capacité des lycées à préparer leurs élèves aux études supérieures.

Encore plus récemment, la réforme de la voie générale du baccalauréat, entamée en 2019, a vu les « enseignements de spécialité » remplacer les traditionnelles séries générales. Pour l’année scolaire 2019-2020, seuls les élèves de première étaient concernés. En lieu et place des séries littéraire, économique et sociale ou scientifique, ils avaient à choisir trois spécialités parmi treize. Or, les taux de réussite et de mentions sont actuellement calculés par série. Lorsque ces élèves passeront le baccalauréat, en juin 2021, il sera alors nécessaire d’adapter les indicateurs pour tenir compte de la disparition des séries générales.

Ces ajustements ne sont que quelques exemples parmi d’autres. Les réformes touchant au lycée, les critiques constructives des proviseurs ou la recherche d’une meilleure pertinence des indicateurs nécessitent en effet de repenser chaque année la méthodologie, afin qu’elle reste la plus appropriée possible.

Ces différentes adaptations font bien sûr l’objet de nombreux travaux en amont. Un important travail de communication (figure 4) est également effectué en aval, à destination des utilisateurs des IVAL et, en premier lieu, du grand public.

Figure 4. Des indicateurs partagés pour des finalités différentes

Le critère de lisibilité et de compréhension est déterminant pour un public non statisticien et potentiellement rétif aux chiffres. La manière dont est calculée la valeur ajoutée illustre d’ailleurs ce souci d’être compris du plus grand nombre. En effet, d’autres choix que celui de mesurer l’écart entre taux observé et taux attendu auraient pu être faits. Par exemple, puisque le modèle permet de mettre en évidence un effet propre à chaque établissement, ce coefficient aurait pu être considéré comme correspondant à la valeur ajoutée. Cependant, sa grandeur (en valeur absolue) ne correspond à aucune échelle. Sauf à l’utiliser uniquement pour comparer deux lycées entre eux et voir lequel a la meilleure valeur ajoutée, ce coefficient aurait donc été difficile à interpréter. Le choix qui a été retenu permet d’expliquer au grand public, dans des termes relativement simples, ce à quoi correspond la valeur ajoutée : l’écart entre l’observé et ce à quoi on pouvait s’attendre, compte tenu des caractéristiques des élèves.

Afin d’expliquer les grands principes et la méthodologie des indicateurs, la diffusion des résultats s’accompagne d’un certain nombre d’éléments à visée pédagogique. Tous les ans, la DEPP organise ainsi une conférence de presse, au cours de laquelle sont présentés les indicateurs, leurs objectifs et les éventuelles nouveautés, ainsi qu’un guide méthodologique. Les journalistes disposent donc d’une large palette d’éléments qu’ils peuvent relayer, en citant notamment le site de diffusion officiel du Ministère. Sur ce site, des vidéos didactiques expliquent de manière simple comment sont calculés les indicateurs (Ouvrir dans un nouvel ongletMENJ-DEPP, 2020). Toute cette documentation, élaborée avec l’aide des services de la communication du ministère, a semble-t-il permis d’améliorer, d’année en année, la prise en main et la compréhension des IVAL.

Même si les indicateurs n’ont pas été conçus pour cette finalité, des palmarès continuent de fleurir tous les ans au printemps dans la plupart les médias. Parmi les critères utilisés par les journalistes pour produire ces classements, certains sont très éloignés de la philosophie des IVAL, comme le classement de L’Internaute (mars 2020), qui calcule, pour chaque lycée, une moyenne des taux bruts. Ou encore celui du Figaro, qui met en avant les lycées ayant les meilleurs taux de réussite et de mentions observés. D’autres journaux adoptent une position médiane, en calculant une note pour chaque lycée, à partir à la fois des taux observés et des valeurs ajoutées (L’Express, L’Étudiant). Enfin, certains se sont mieux approprié les principes pensés par les concepteurs des IVAL et leur intérêt. Le Parisien – Aujourd’hui en France, notamment, calcule la somme des trois valeurs ajoutées, et n’utilise les taux bruts que pour départager les lycées à égalité.

La presse régionale n’est pas en reste, et publie également de nombreux articles. À partir des mêmes données objectives, des classements extrêmement différents sont ainsi publiés. Certains ont encore trop tendance à mettre en avant les lycées favorisés, ce qui peut entraîner des effets pervers. Ils nuisent en particulier à l’attractivité des lycées les plus défavorisés, quand bien même leur valeur ajoutée est positive, et mettent en avant des lycées favorisés, aux valeurs ajoutées parfois négatives. De plus, les parents d’élèves qui s’intéressent à ces classements, mieux informés, sont également parents des enfants au profil plus favorisé. Un classement établi sur des critères biaisés peut alors conduire certains d’entre eux à éviter des lycées pourtant méritants.

Si tout n’est donc pas parfait dans ce que publient les médias, il y a néanmoins beaucoup d’éléments permettant de nourrir le débat public. Les palmarès quantitatifs sont en effet fréquemment accompagnés d’éléments qualitatifs : articles approfondis sur la manière dont sont évalués les lycées, interviews de spécialistes ou encore reportages sur le terrain. Ces derniers ont le plus souvent lieu au sein d’établissements ayant obtenu de bons résultats, et apportent un éclairage sur les méthodes qui fonctionnent.

Au cours des premières années de leur diffusion, la majorité des médias utilisaient uniquement le taux de réussite observé pour classer les lycées. Le travail de pédagogie a porté ses fruits, puisqu’ils sont désormais de plus en plus nombreux à utiliser non seulement les autres indicateurs fournis, mais aussi les valeurs ajoutées. Si des efforts restent à faire, le traitement médiatique des indicateurs de performance des lycées est de plus en plus affiné.

En parallèle du traitement qui en est fait par les médias, les indicateurs sont également utilisés comme outils de pilotage interne. Au sein du ministère, de nombreux acteurs institutionnels s’en emparent, notamment les recteurs, les services académiques et les proviseurs de lycées.

À travers les résultats de leur lycée, c’est aussi, d’une certaine manière, l’action des proviseurs qui est évaluée. Il est donc doublement nécessaire de les faire adhérer au dispositif.

Dès début janvier, soit deux mois avant la diffusion officielle, les proviseurs ont accès à un site de « validation », via lequel ils peuvent consulter les résultats provisoires de leur établissement. Cette phase, qui dure environ un mois, leur permet de faire part à la DEPP de leurs remarques, voire de contester les chiffres.

La plupart des remarques relèvent d’incompréhensions concernant la méthodologie ou les concepts utilisés. En particulier, la notion d’élève présent au baccalauréat est moins facile à appréhender qu’elle n’y paraît. Un élève est en effet comptabilisé comme présent s’il a au moins une note à son actif relevant du contrôle en cours de formation ou d’une épreuve terminale. Cela permet d’éviter que certains lycées ne fassent artificiellement gonfler leurs résultats en dissuadant leurs élèves les plus faibles de se présenter aux épreuves terminales. Tous les ans, des proviseurs dont un ou plusieurs élèves ont quitté le lycée en cours d’année s’en désolent, notamment dans la voie professionnelle. Ces élèves, s’ils ont obtenu une note de contrôle continu, sont en effet comptabilisés comme présents, et donc en échec.

Selon les années, entre 100 et 200 demandes de révision (sur environ 4 300 lycées) parviennent à la DEPP. Quelques dizaines d’entre elles sont acceptées, par exemple dans le cas d’élèves malades n’ayant pu se présenter aux épreuves (un justificatif médical est demandé). La grande majorité des proviseurs valident ainsi les chiffres calculés, et peuvent préparer leur communication auprès des parents d’élèves et des inspecteurs d’académie. Cette phase d’échanges est par ailleurs essentielle, car les remarques des proviseurs donnent des pistes intéressantes d’évolutions. Celles-ci peuvent concerner la prise en compte des fusions d’établissements, de l’offre de formation, ou encore d’élèves nécessitant un traitement particulier.

Les académies sont les circonscriptions administratives de référence de l’Éducation nationale, il en existe une trentaine, et chacune d’entre elles abrite un Service statistique académique (SSA). Au sein d’un réseau animé par la DEPP, les SSA jouent un rôle important dans l’élaboration d’informations d’aide à la décision et au pilotage. Lors de la diffusion des IVAL, ces services peuvent être amenés à produire des notes, à destination du recteur, sur les résultats des lycées de leur académie. La DEPP joue un rôle d’assistance et répond aux éventuelles sollicitations. Elle propose par exemple différents types de représentations graphiques, parmi lesquelles des nuages de points croisant les valeurs ajoutées : dans l’exemple de la figure 5, la répartition des lycées de l’Académie A est très homogène. En comparaison, l’académie B contient davantage de lycées sélectifs et en deçà des attentes. Dans d’autres académies, ce sont les lycées performants qui sont les mieux représentés. Les seuils qui permettent de définir les catégories ont été choisis de manière à obtenir une répartition homogène au niveau national. Dans la voie professionnelle, où la dispersion des valeurs ajoutées est plus importante, les seuils sont d’ailleurs plus élevés. Dans une optique d’aide au pilotage, ce type de représentation est plus pertinent qu’un classement unidimensionnel.

Figure 5. Représenter les performances des lycées pour les comparer et les caractériser

Au niveau national, les IVAL ont certes pour but d’objectiver le débat public, mais au-delà, quelles sont les suites données à leur publication ? Quelques exemples montrent leur contribution au pilotage du système éducatif.

En 2015, l’Inspection générale de l’Éducation nationale (IGEN) s’est saisie des indicateurs pour tenter d’identifier les spécificités que présentent, dans leur mode de fonctionnement, les lycées à forte valeur ajoutée (Ouvrir dans un nouvel ongletIGEN et IGAENR, 2015). Pour ce faire, les auteurs ont réalisé une étude de terrain auprès de 71 établissements aux valeurs ajoutées très positives ou très négatives. Il en est ressorti que la valeur ajoutée dépend toujours d’une conjonction de facteurs, elle-même variable selon les lycées. Parmi les nombreux facteurs susceptibles d’engendrer des valeurs ajoutées positives, on citera par exemple : des équipes fédérées autour d’un projet pédagogique, l’implication des enseignants, un accompagnement personnalisé des élèves, un degré d’exigence affirmé ou encore un climat scolaire apaisé.

Au fil des entretiens avec les proviseurs et les enseignants, les inspecteurs ont par ailleurs constaté que, si les IVAL sont bien connus des équipes de direction, ils n’en sont pas pour autant largement diffusés au sein des établissements. De toute évidence, les lycées dont la valeur ajoutée est positive ont davantage tendance à communiquer sur le sujet, que ce soit en interne, auprès des parents d’élèves ou de la presse régionale. Globalement, les IVAL restent cependant méconnus des professeurs, qui n’y voient que des indicateurs parmi d’autres, sans percevoir la spécificité du calcul « en valeur ajoutée ».

Au-delà des indicateurs de valeur ajoutée, se pose la question de l’évaluation globale des lycées. Les IVAL ne peuvent en effet résumer à eux seuls les qualités pédagogiques d’un établissement. Pointant l’absence de leur évaluation systématique, un nouveau rapport de l’Inspection générale estimait en 2017 qu’il fallait passer de l’évaluation des résultats aux examens à celle du lycée dans sa globalité (Ouvrir dans un nouvel ongletIGEN et IGAENR, 2017). Pour traiter d’autres aspects de la vie d’un lycée, comme le climat scolaire par exemple, les auteurs invitent à s’inspirer des indicateurs de valeur ajoutée. La prise en compte des éléments de contexte (caractéristiques des élèves accueillis, environnement socio-culturel, etc.) apparaît ainsi comme étant nécessaire à toute évaluation.

La famille des indicateurs de valeur ajoutée va par ailleurs s’agrandir en fin d’année 2020, avec la diffusion, pour chaque lycée professionnel et centre de formation d’apprentis, d’un taux d’insertion dans l’emploi. Comme pour les IVAL, ces taux seront accompagnés de valeurs ajoutées, et des indicateurs complémentaires seront mis à disposition : taux de poursuite et d’interruption d’études et taux de rupture des contrats d’apprentissage.

En plus d’enrichir l’évaluation des établissements, ces indicateurs permettront d’éclairer les choix des jeunes de l’enseignement professionnel, et contribueront à la réflexion sur l’articulation entre formation et emploi dans chaque territoire. Le prochain défi d’importance à relever, pour la DEPP, sera d’adapter la méthodologie des IVAL aux collèges. Une perspective rendue possible par la mise en place, depuis 2017, d’évaluations exhaustives des élèves de sixième. Cette estimation du niveau des élèves à l’entrée au collège était indispensable. Elle devrait permettre, dans les années à venir, de calculer des indicateurs de valeur ajoutée pour chaque collège de France, étendant ainsi à tout le secondaire une démarche et une méthode qui ont fait leurs preuves.