Mesurer les compétences des adultes : comparaison de deux enquêtes

En 2011, d'après l'enquête Information et Vie Quotidienne (IVQ), 16 % des personnes de 16 à 65 ans résidant en France métropolitaine connaissaient des difficultés en calcul (Jonas, 2012). Elles étaient également 16 % à éprouver des difficultés dans les domaines fondamentaux de l’écrit. Pour 11 % ces difficultés étaient graves ou fortes.

En 2012, d'après l'enquête internationale sur les compétences des adultes (PIAAC – Programme for the International Assessment of Adult Competencies), 28 % des personnes de 16 à 65 ans se situent dans le groupe de niveau 1 ou inférieur à 1 de compétence en « numératie » (sources et méthodes), à un niveau leur permettant de poser une opération arithmétique simple avec des nombres entiers. En « littératie » (sources et méthodes), 21,5 % des personnes se situent dans les mêmes groupes, soit à un niveau de compétence permettant de localiser une information dans un texte bref, mais plus rarement de comprendre parfaitement un texte long ou à la structure élaborée (OCDE, 2013).

Sur des domaines qui semblent si voisins (numératie/calcul, littératie/maîtrise de l’écrit) comment peut-on expliquer que deux enquêtes portant sur la population des 16-65 ans résidant en France dans la même période produisent des résultats apparemment discordants ?

L'enquête IVQ 2011, prolongeant l'édition de 2004, a été menée par l’Insee en collaboration avec la Direction de l’animation de la recherche, des études et des statistiques (Dares) du ministère du Travail, de l’emploi, de la formation professionnelle et du dialogue social et la Direction de l’évaluation, de la prospective et de la performance (Depp) du ministère de l’Éducation Nationale. La collecte s'est déroulée en 2011, auprès de 14 000 personnes âgées de 16 à 65 ans. Le questionnaire débute par les exercices de mesure des compétences. La première série, appelée module « d’orientation » identifie les adultes en difficulté dans les domaines les plus fondamentaux de la compréhension de l’écrit : l’identification de mots et la compréhension de textes courts. Si l’enquêté commet peu d’erreurs, il est orienté vers des exercices plus complexes (module « Haut » ) mobilisant des textes de structure et de nature différentes pour évaluer des compétences élaborées, comme la capacité à produire des inférences. Si les résultats au module d’orientation sont faibles, il passe un test assez simple, le module « ANLCI » (Agence nationale de lutte contre l’illettrisme), pour affiner le diagnostic sur ses difficultés qui, outre de nouvelles questions en lecture de mots et en compréhension, porte sur la capacité à produire des mots écrits. Si l’enquêté obtient des résultats moyens au test d’orientation, il passe une épreuve « intermédiaire » pour déterminer laquelle des deux voies précédentes est la plus adaptée. A l'issue de ces parcours différenciés, les enquêtés répondent à un exercice commun. Le questionnaire inclut également un exercice de compréhension orale, situé après le module d'orientation, et de courts problèmes de calcul posés oralement à la suite du module commun. Il se termine par des questions biographiques qui recueillent des informations sur l'enfance, la scolarité et la vie professionnelle de l'enquêté.

L'enquête PIAAC est une enquête internationale coordonnée par l'Organisation pour la Coopération et le Développement Économique (OCDE). Elle a été menée conjointement dans 24 pays. En France, l'enquête a été conduite en 2012 auprès de 7 000 personnes âgées de 16 à 65 ans. L'interrogation commence par le questionnaire biographique qui détaille notamment les compétences mobilisées au travail. Puis les exercices sont proposés aux enquêtés. Cette partie débute par une évaluation (déclarative et en pratique) de la capacité des enquêtés à utiliser un ordinateur pour répondre aux exercices. Les personnes jugées suffisamment compétentes (environ 90 % des répondants) passent ensuite à des exercices interactifs à résoudre sur un ordinateur dont la difficulté est adaptée automatiquement selon les échecs/réussites de l’enquêté, mais aussi selon son niveau d’études et la langue apprise pendant l’enfance. Ces exercices ont été développés pour intégrer les fonctionnalités d’un ordinateur (utilisation d’une souris, surlignage, etc.) et de l’environnement informatique habituel (navigation sur Internet, utilisation de liens hypertextes, etc.). Les personnes moins à l’aise en informatique répondent sur un support plus traditionnel, un cahier d’exercices qu’elles doivent remplir seules puis rendre à l’enquêteur. Que ce soit sur support numérisé ou sur support papier, l'évaluation commence par un court module d'orientation. Si l'enquêté ne parvient pas à répondre correctement à la moitié de ces exercices, l'interrogation s'interrompt.

L'architecture et le protocole de ces enquêtes diffèrent sur deux points principaux. En premier lieu, l'enquête PIAAC se construit surtout autour d'exercices interactifs sur ordinateur. Les enquêtés doivent résoudre les exercices, mais aussi être capables de restituer leurs réponses sur support informatique dans un format imposé. Or, il est possible que, entre deux personnes possédant les mêmes capacités, celle ayant plus de familiarité avec l'outil informatique obtienne de meilleures performances. Dans IVQ, au contraire, c'est l'enquêteur qui saisit les réponses sous la dictée de l'enquêté. En second lieu, la durée de l'enquête est sensiblement plus courte dans IVQ que dans PIAAC pour maintenir la motivation des enquêtés et éviter les abandons et les non réponses partielles qui peuvent fausser l’interprétation des résultats.

Dans PIAAC, les scores sont estimés par une méthode statistique appelée « Modèle de réponse à l’item à deux paramètres » (MRI, (sources et méthodes). Cette méthode, qui fixe la moyenne des compétences à 250 et leur écart-type à 50, attribue, à chaque personne, un score (exprimé en points) dans les domaines évalués permettant de classer les individus sur une seule échelle de performance. Les enquêtés sont ensuite répartis dans 6 groupes dans le domaine de l’écrit, et autant dans le domaine des chiffres, renvoyant, selon l’OCDE, à des tâches-types qui peuvent être remplies avec succès pour chacun de ces 6 niveaux de compétence (Jonas, 2013).

Dans IVQ, les groupes de compétence sont élaborés selon le pourcentage d’exercices réussis. Le module ANLCI répartit les personnes selon leur degré de difficulté à l'écrit, défini en fonction de leur performance minimale dans les trois domaines fondamentaux mesurés par ce module. C’est ainsi qu’on identifie les 3 groupes présentant des difficultés graves, fortes ou partielles. Pour ceux n’ayant pas de difficultés, on retient le pourcentage de réussite aux questions du module Haut pour distinguer 4 groupes supplémentaires de compétences. Comme l'orientation est précoce dans IVQ, il y a un saut qualitatif entre les scores des personnes passées par le module ANLCI et par le module Haut. Cependant, grâce à des innovations introduites en 2011, en particulier la création d’un module commun (sources et méthodes), il est possible d'appliquer aux résultats « bruts » d'IVQ une méthode d'estimation comparable à celle utilisée dans PIAAC. On a ainsi estimé un score continu de littératie (en utilisant les questions de compréhension du module d’orientation et du module ANLCI, et l’ensemble des questions du module Haut et du module commun) et de numératie (en utilisant le seul module consacré à ce domaine).

Partant de ces scores continus, une approche comparative des caractéristiques des personnes présentant des scores identiques dans les deux enquêtes est envisageable. Nous nous limiterons ici à la comparaison des 10 % d’adultes aux deux extrêmes de la distribution des scores.

Les comparaisons des adultes appartenant aux 1er et 10e déciles de la distribution des scores en numératie de PIAAC d’une part et d’IVQ d’autre part dessinent des profils de population très semblables. Parmi les 16-65 ans, les femmes sont moins souvent à l’aise que les hommes. Selon les deux enquêtes, 11,1 % d’entre elles appartiennent au 1er décile contre un peu moins de 9 % des hommes. À l'autre extrême de la distribution, les ordres de grandeur sont inversés. Un homme sur huit appartient au groupe le mieux classé (12,6 % pour PIAAC et 12,8 % pour IVQ) contre moins d'une femme sur treize (7,6 % et 7,4 %). Dans le domaine de l’écrit, selon les deux enquêtes, les hommes sont proportionnellement plus souvent que les femmes dans le dernier décile de la distribution, mais aussi dans le 1er. L’écart entre hommes et femmes est cependant plus accentué dans IVQ (environ 1,5 point) que dans PIAAC, où il est quasiment nul dans le 1er décile.

En littératie, les caractéristiques scolaires des individus les plus performants et les moins performants sont très comparables entre les deux enquêtes. Par exemple, 23,8 % des personnes pas ou peu diplômées se situent dans le 1er décile d’après PIAAC et 23,9 % d’après IVQ ; les titulaires du baccalauréat sont 3,0 % à être dans le même cas d’après PIAAC et 3,1 % d’après IVQ. En numératie, on observe le même gradient en fonction du diplôme, mais celui-ci est plus accentué dans PIAAC que dans IVQ. Pour le 1er décile, par exemple, la différence entre le pourcentage de personnes peu ou pas diplômées et de personnes diplômées de l’enseignement supérieur est de 24,2 points dans PIAAC alors qu’elle est de 17,7 points dans IVQ. Cet écart peut s’expliquer par le fait que le questionnaire de PIAAC est plus long et propose des exercices plus compliqués que celui d’IVQ.

Les caractéristiques des deux déciles extrêmes en termes d’âge sont également très proches entre les deux enquêtes. En calcul, la seule différence notable concerne la tranche d'âge la plus élevée. Les personnes âgées de 55 à 65 ans sont plus nombreuses dans le groupe des adultes les moins performants dans PIAAC que dans IVQ (16,5 % contre 14 %). Cette différence est en partie attribuable à « l’effet support » induit par l’usage de l’ordinateur. La nécessité d’utiliser correctement les fonctionnalités informatiques pour répondre aux exercices crée un avantage comparatif pour les générations les plus jeunes. Cet effet est moins marqué en littératie. Les adultes âgés de 55 à 65 ans, sont 1,3 % de plus au sein du 1er décile dans PIAAC que dans IVQ, et environ 1 % de moins au sein du 10e décile.

Les extrêmes de la distribution des scores présentent donc des profils de population très comparables entre les deux enquêtes, surtout en littératie.

Historiquement, en France, l’émergence de la question des compétences des adultes, à travers celle de la mesure de l’illettrisme, est liée aux thématiques de l’exclusion sociale et de la pauvreté. L’accent a été mis sur l’identification des niveaux les plus bas de maîtrise de l’écrit. L’enquête IVQ a donc été notamment adaptée pour décrire la nature des difficultés de ces niveaux grâce au module ANLCI qui adopte une méthode multidimensionnelle. Dans PIAAC, la littératie et la numératie ne concernent pas seulement les capacités de compréhension, mais plus globalement les compétences fondamentales en traitement de l’information sur support informatique, dont la maîtrise permettrait aux individus d’atteindre des objectifs personnels et de développer des connaissances et des aptitudes professionnelles. L’accent est donc mis sur la maîtrise de processus spécifiques, transposables lors de l'usage d'un ordinateur.

Cette différence d’approche se traduit par une méthode distincte de constitution des groupes de compétence. L’utilisation d’une méthode MRI traite les compétences d’un point de vue unidimensionnel. Un score unique (trait latent) permet d’estimer le niveau de compétence. Les groupes sont ensuite constitués grâce à des seuils appliqués à la distribution des scores. Dans IVQ, au contraire, pour les niveaux les plus bas de compétence, la maîtrise de l’écrit est traitée de façon multidimensionnelle et ne se résume pas à un score unique. Trois domaines fondamentaux de l’écrit sont combinés : la production, l’identification et la compréhension de mots. On considère qu’une personne qui obtient des performances moyennes dans chacun de ces trois domaines a une communication à l’écrit plus efficace que celle qui obtient de bonnes performances dans deux domaines et des performances médiocres dans le troisième.

On peut se rendre compte des conséquences de ces logiques différentes de constitution des groupes en mettant en regard, sur les données d’IVQ, les groupes construits par la méthode multidimensionnelle et les groupes construits grâce aux scores MRI. On a fixé des seuils permettant de retrouver des groupes de compétence de même importance, soit 11 % de personnes en difficulté graves ou fortes. Il existe une divergence d’appréciation non négligeable entre les deux estimations. 9,6 % de la population seraient classés en situation préoccupante à la fois avec les scores MRI et avec l’approche multidimensionnelle d’IVQ. Par contre, 1,5 % des personnes seraient classées dans cette situation uniquement par l’approche unidimensionnelle et 1,4 % uniquement par l’approche multidimensionnelle. Cette divergence d'estimation est loin d'être négligeable si on considère qu’une personne sur huit en difficulté à l’écrit selon la méthode multidimensionnelle n’est pas reconnue comme telle avec la méthode MRI. Un score continu ne donne finalement pas les mêmes résultats qu’un classement établi à partir de l’approche multidimensionnelle qui est enrichie par la prise en compte de deux autres dimensions fondamentales de la maîtrise de l’écrit : la production de mots et l’identification de mots.

Par ailleurs, la part des personnes appartenant aux niveaux les plus élevés de compétence est très faible dans le dispositif PIAAC. Seuls 7,7 % de la population française en littératie et 8,3 % en numératie possèdent les compétences nécessaires pour être classés aux niveaux 4 ou 5, des proportions nettement plus faibles que celles obtenues dans IVQ. Ces écarts posent des questions sur la différence de nature des compétences évaluées mais aussi sur celle des protocoles mis en œuvre. Par exemple, les exercices les plus difficiles de PIAAC, permettant de confirmer la maîtrise des plus hauts niveaux de compétence, apparaissent en fin de questionnaire, alors que l’interrogation a déjà été longue. L’ampleur de ces différences et leurs conséquences possibles sur la mesure devront fait l’objet d’études plus approfondies.

Ce document est un complément technique aux deux numéros d’Insee Première consacrés respectivement aux enquêtes IVQ et PIACC, les numéros 1426 de décembre 2012 et 1467 d’octobre 2013. Des éléments techniques complémentaires sont fournis dans Jonas et Lebrère (2013, à paraître).