Insee Analyses · Juin 2021 · n° 65

L’enquête Emploi se rénove en 2021 : des raisons de sa refonte aux impacts sur la mesure de l’emploi et du chômage

L’enquête Emploi est une enquête en continu : l’échantillon est réparti sur l’ensemble des semaines de l’année. Chaque échantillon hebdomadaire est associé à une semaine, dite de référence, relativement à laquelle les personnes interrogées décrivent leur situation par rapport à l’emploi. Pour éviter les biais de mémoire et garantir des données de qualité, la période de collecte est très courte : jusqu’en 2020, les enquêtés devaient répondre dans les deux semaines et deux jours qui suivaient la semaine de référence. Avec la refonte, cette durée est allongée à trois semaines, ce qui reste inférieur au plafond européen.

Une autre particularité de l’enquête est qu’il s’agit d’un panel de logements. Les habitants des logements échantillonnés sont interrogés six trimestres de suite, afin d’estimer de façon plus robuste les évolutions et de produire des analyses longitudinales. Jusqu’en 2020, les ménages étaient interviewés en face-à-face en première et dernière interrogations et par téléphone en réinterrogation. Avec la nouvelle enquête, la première interrogation reste en face-à-face mais pour les réinterrogations, internet est proposé comme mode de réponse supplémentaire au téléphone.

Dans le cas général, les trois premiers jours de la collecte sont réservés à la réponse par internet. À partir du jeudi de la première semaine de collecte, l’enquêteur de l’Insee peut appeler le ménage pour réaliser l’enquête par téléphone. Le site internet de collecte reste accessible au ménage tant qu’il n’a pas répondu et au plus tard jusqu’à la fin de la troisième semaine de collecte. À noter aussi, la sixième interrogation, qui était en face-à-face jusqu’alors, devient une réinterrogation comme les autres.

Ce protocole multimode a pour objectif de favoriser la réponse des ménages, qui utilisent de plus en plus internet dans leurs démarches de la vie quotidienne, et d’alléger la charge des enquêteurs. Cependant, même en réinterrogation, le rôle des enquêteurs reste crucial pour obtenir la réponse de ménages moins familiers d’internet ou plus sensibles à la relance téléphonique.

Au cours du premier trimestre 2021, parmi les enquêtés dont le ménage a été réinterrogé, 41 % ont répondu par internet, les autres ayant répondu par téléphone. Ce résultat est proche de ceux constatés lors du Pilote de 2020. Le taux de collecte global du premier trimestre 2021 est proche de celui de 2019, légèrement en retrait toutefois en raison des conditions de la crise sanitaire pour la première interrogation en face-à-face ; en 2020, le taux de collecte de l’enquête Pilote et celui de l’enquête en ancienne version étaient globalement comparables, marqués tous les deux par les difficultés liées à la crise sanitaire.

La pondération d’une enquête vise à reconstituer la population totale (et pas seulement celle qui répond à l’enquête) en corrigeant un éventuel biais de non-réponse (si les non-répondants présentent des caractéristiques particulières) et en contrôlant les fluctuations d’échantillonnage (l’échantillon peut ne pas être strictement représentatif de la population de référence selon tel ou tel critère). Pour calculer la pondération attribuée à chaque répondant, des informations auxiliaires issues de la base de sondage ou de données externes sont utilisées. La base de sondage étant, pour l’enquête Emploi, différente entre la métropole et les DOM, la méthode de pondération diffère en conséquence.

À compter de 2021, en France métropolitaine, les données de l’enquête Emploi sont pondérées selon une nouvelle méthode. Ce changement de méthode vise d’abord à mettre à profit les données d’une nouvelle base de sondage, plus riche en caractéristiques des logements et de leurs occupants. Depuis le quatrième trimestre 2020, l’échantillon de l’enquête Emploi pour la France métropolitaine est tiré dans une nouvelle base de sondage (Fideli), selon les mêmes principes que précédemment. Cette nouvelle base de sondage est très proche de celle utilisée précédemment, mais dispose d’informations nouvelles qui permettent de mieux comprendre la non-réponse [Lamarche et Lollivier, 2021]. Le changement de méthode vise aussi à appliquer les exigences du nouveau règlement européen, sur les marges de population notamment, et de façon plus générale, à améliorer certains aspects de l’ancienne méthode de pondération.

Pour la France métropolitaine, la méthode de pondération est passée d’une méthode à une étape (calage unique sur les variables de la base de sondage et sur des données externes) à une méthode en deux étapes, comme cela était déjà fait dans les DOM : d’abord une correction des biais d’échantillonnage et de la non-réponse, puis un calage sur des données externes.

Par ailleurs, le calcul des pondérations mobilise des informations nouvelles issues de la base de sondage (lieu de naissance, composition du ménage, revenus perçus, etc.). Ces caractéristiques sont liées à la fois au comportement de réponse et aux variables d’intérêt (le fait d’être en emploi). Les logements occupés par des personnes percevant des pensions de retraite ou des revenus d’activité élevés (sans être dans le dernier décile) ou encore les couples avec enfants ont ainsi, toutes choses égales par ailleurs, une probabilité de réponse à l’enquête plus élevée. Ces nouvelles informations viennent compléter celles qui étaient déjà mobilisées (localisation géographique, statut d’occupation, type et taille du logement notamment) et permettent de mieux caractériser les répondants et les non-répondants pour mieux corriger du biais de non-réponse.

Dans les DOM, la méthode de pondération a été ajustée à la marge (calage rang par rang notamment), mais sans être rénovée dans son principe général, la base de sondage (recensement de la population) n’ayant pas été modifiée.

Les règles de « rattachement » des individus, qui visent à gérer les cas de multi-résidence pour respecter le champ des enquêtes ménages et traiter les doubles comptes, ont aussi été revues, sur l’ensemble du territoire. Ces règles définissent la population d’intérêt, celle qui doit être pondérée.

Au début du questionnaire, l’ensemble des personnes vivant, même occasionnellement, dans le logement sont identifiées, mais toutes ne remplissent pas un questionnaire individuel et toutes ne participent donc pas au calcul des indicateurs : soit parce qu’elles ne relèvent pas du champ de l’enquête (par exemple si elles résident dans une collectivité : maison de retraite, foyer, etc.), soit pour éviter les doubles comptes (par exemple un enfant vivant alternativement chez ses parents séparés).

À l’occasion de la refonte de l’enquête, le questionnaire a évolué pour mieux repérer des situations de double résidence, et certaines règles de rattachement ont été revues, pour l’essentiel celle concernant les étudiants majeurs vivant à la fois dans un logement pour leurs études et chez leurs parents. Dans l’ancienne enquête, ces étudiants étaient essentiellement rattachés au logement de leurs parents ; ceci permettait d’améliorer leur taux de réponse (les parents étant plus prompts à répondre à l’enquête), mais générait une part élevée de réponse par proxy (l’étudiant étant fréquemment absent lors du passage de l’enquêteur chez ses parents, ses parents répondaient à sa place). Or, la réponse par un tiers est de moindre qualité, notamment pour les questions servant à déterminer le statut d’activité, qui sont très précises. Ainsi, à âge et niveau de formation donnés, le taux d’emploi des étudiants en double résidence est plus élevé lorsqu’ils sont enquêtés dans le logement de leurs études que dans celui de leurs parents. À partir de 2021, une solution mixte est mise en œuvre : les étudiants en double résidence sont interrogés au titre de leurs deux logements, puis leur poids est divisé par deux.

L’expérience de précédentes refontes de l’enquête Emploi a montré que même de simples modifications dans l’ordre des questions pouvaient provoquer des ruptures dans la mesure des principaux indicateurs du marché du travail. Avec la refonte de 2021, qui porte à la fois sur le questionnaire, le protocole et la méthode de pondération, une telle rupture était aussi probable. Pour fournir une information suffisamment précise sur les ruptures de mesure, l’Insee s’est donné les moyens de mener une opération préparatoire inédite : il s’agissait de concevoir une enquête complète « Pilote », qui soit parfaitement conforme à ce que serait la nouvelle enquête en matière de questionnaire, de protocole ou encore de méthode de traitement et qui serait sur le terrain en même temps que l’enquête Emploi classique, un an avant la bascule requise, soit dès le premier trimestre 2020. Afin de concilier une exigence de précision, pour être en mesure de détecter des impacts significatifs, et une exigence de coût raisonnable, un quart de l’échantillon de l’enquête en production a été ponctionné pour réaliser le Pilote en 2020.

Au final, le Pilote comporte deux composantes :

• une bascule anticipée en nouvelle enquête : un quart de l’échantillon, sur l’ensemble des rangs d’interrogation, a basculé en nouvelle enquête dès le premier trimestre 2020 – cette bascule préfigurait celle opérée au premier trimestre 2021 sur le reste de l’échantillon – ;

• un sur-échantillon en ancienne enquête : introduit progressivement à partir du quatrième trimestre 2019, un sur-échantillon de ménages a été réinterrogé dans l’ancienne enquête jusqu’au premier trimestre 2021 inclus. On disposait ainsi d’un échantillon témoin complet en ancienne enquête au premier trimestre 2021, quand la nouvelle enquête est entrée en production.

Au premier trimestre 2021, la partie qui avait basculé un an plus tôt a été complétée par les trois quarts restants qui étaient restés en ancienne enquête et ont basculé à leur tour. L’échantillon de l’enquête retrouvait ainsi sa « pleine taille ».

L’objectif principal du Pilote était de fournir un ensemble d’informations permettant d’estimer le plus précisément possible les ruptures de mesure induites par la nouvelle enquête. Avec le Pilote, en comparant les indicateurs mesurés via l’ancienne enquête et via la nouvelle enquête, on disposait de cinq mesures trimestrielles des ruptures de série, du premier trimestre 2020 au premier trimestre 2021. Disposer de plusieurs trimestres permet de mesurer la rupture avec une précision accrue, mais également de détecter une éventuelle saisonnalité dans les impacts.

La rupture de mesure globale se mesure directement par comparaison des deux versions de l’enquête. Des analyses séparées de certaines composantes sont aussi possibles :

• l’impact de la nouvelle méthode de pondération peut être étudié de manière isolée, en appliquant l’ancienne méthode aux données de la nouvelle enquête (encadré 2) ;

• l’effet des règles de rattachement peut être distingué en simulant dans la nouvelle enquête l’effet de la nouvelle règle et en la comparant à l’ancienne ; l’effet « proxy », qui est très lié à ce changement de règle, se mesure en comparant les résultats de la nouvelle enquête avec ceux de cette enquête dans laquelle les poids des répondants sont recalculés de sorte que le taux de proxy soit calé sur celui de l’ancienne enquête ;

• l’impact des changements conceptuels peut être isolé en comptabilisant le nombre de personnes pour lesquelles la modification des critères change leur statut en emploi (personnes en congés maladie ou personnes en congé parental) ;

• parmi les autres changements, il est possible de distinguer des effets liés au changement de questionnaire, en comparant notamment nouvelle et ancienne version en première interrogation, pour laquelle le protocole change peu ; mais l’estimation repose sur des échantillons plus réduits, et est donc plus fragile. De même des estimations spécifiques sont également possibles pour isoler des effets de mode liés à la réponse par internet, en séparant un effet « de mesure » (le fait qu’une même personne réponde différemment sur internet ou à l’enquêteur) et un effet « de sélection » (le fait de répondre désormais au questionnaire en réinterrogation plutôt que de ne pas répondre car ce mode est désormais possible) ; mais l’estimation de ces effets de mode est également plus fragile dans la mesure où elle repose sur des hypothèses permettant de simuler quelle aurait été la réponse dans un scénario contrefactuel sans changement, avec des résultats sensibles au choix des variables déterminantes. C’est pourquoi tous ces effets ne sont pas distingués ici mais feront l’objet de travaux d’expertise ultérieurs.

Un exercice de « rétropolation » des indicateurs macroéconomiques (issus des comptes nationaux ou pour les principaux indicateurs du marché du travail, etc.) est une opération statistique qui consiste à ajuster les observations passées pour qu’elles correspondent à la « nouvelle mesure » d’un phénomène économique. Pour la refonte de l’enquête Emploi, cela signifie ajuster les observations passées pour faire « comme si » le questionnaire avait toujours été posé de la même façon qu’au premier trimestre 2021, avec les mêmes concepts, la nouvelle méthode de pondération et le même protocole. L’objectif est de constituer une série dont les évolutions ne reflètent que les évolutions du phénomène économique d’intérêt et non des changements dans la mesure de ce phénomène.

À noter que modifier une grandeur en 1975 en raison de la possibilité de répondre par internet peut sembler paradoxal, puisqu’en 1975 internet n’existait pas. Mais l’apparition d’internet et son expansion ne doivent pas avoir d’impact sur la série rétropolée. L’hypothèse peut donc sembler très théorique mais cette manière de procéder est la seule permettant de garantir la comparabilité des résultats sur longue période.

En pratique, dans le cas général pour un indicateur donné, on estime un coefficient « pivot » moyen sur les 5 trimestres de recouvrement entre ancienne et nouvelle enquête, permettant de passer de l’ancienne à la nouvelle mesure. Ce coefficient mesure l’ampleur de la rupture sur la période de recouvrement entre les deux enquêtes, sous une forme multiplicative. Il est alors appliqué sur toute la série passée afin de simuler une série en nouvelle mesure. Cela revient à supposer que l’ampleur de la rupture est proportionnelle sur chaque année. Par exemple, pour l’emploi des femmes de 35 à 39 ans, l’emploi est plus élevé en 2020 de 2,6 % avec la nouvelle enquête, le coefficient de 102,6 est appliqué dans un premier temps sur chaque année ; le même exercice est effectué pour chacune des situations d’activité, puis les niveaux sont proportionnellement recalés chaque année sur la population totale des femmes de 35 à 39 ans (figure, nouvelle mesure rétropolée – coefficient pivot seul).

La rupture entre ancienne et nouvelle enquête est souvent différente selon les caractéristiques des populations. C’est pourquoi il est important de mesurer et comprendre les déterminants des ruptures (en premier lieu le sexe et l’âge) et de rétropoler ensuite au niveau des sous-séries d’emploi par sexe et âge, plutôt qu’au niveau de l’ensemble de l’agrégat donné. Cette nécessité conduit à mener la rétropolation par sexe et tranche d’âge quinquennale ; toutefois, à ce niveau de détail, la rupture de mesure repose sur des échantillons de faible taille et est donc plus fragile : ce n’est pas le coefficient propre à chaque tranche d’âge qui a été appliqué, mais celui lissé sur trois classes d’âge consécutives. En repondérant ensuite chaque année par le poids de chacune des classes d’âge et de sexe, la rétropolation reflète bien les changements de composition de la population sur les indicateurs agrégés.

Toutefois, l’hypothèse sous-tendant la méthode générale n’est pas toujours satisfaisante. Notamment dans la nouvelle enquête, les personnes se déclarant en emploi mais absentes de celui-ci en raison d’un congé parental peuvent être comptabilisées en emploi quelle que soit la durée de ce congé, à condition de bénéficier d’une allocation comme la Prestation partagée d’éducation de l’enfant (Prepare). Ce changement conceptuel revient à augmenter le taux d’emploi des femmes de 25-49 ans de 0,8 point en 2020. Mais il n’est pas pertinent d’appliquer ce surcroît d’emploi depuis 1975 car, en début de période, les dispositifs incitant financièrement au congé parental n’existaient pas. Leur apparition en 1984 et leur montée en charge à la fin des années 80 ont guidé une rétropolation ad hoc, afin de disposer de séries en nouvelle mesure qui retranscrivent mieux les évolutions du congé parental depuis 1975. Pour cela, des sources externes (autres enquêtes, sources administratives) ont été mobilisées. Dans l’exemple ci-dessus, des femmes de 35 à 39 ans, cela revient à proposer une nouvelle mesure rétropolée « ajustée » de l’effet du congé parental. La série finale se situe alors, en début de période lorsque les dispositifs n’existaient pas, entre l’ancienne série et celle rétropolée sans ajustement.

En compilant les observations individuelles issues des 5 trimestres de recouvrement, l’estimation de la rupture est plus robuste qu’à partir d’un seul trimestre. C’est pourquoi les séries annuelles sont rétropolées en premier, à partir de cette rupture « globale ». De nouvelles séries trimestrielles sont ensuite constituées de façon cohérente, c’est-à-dire en procédant de sorte que la moyenne des 4 trimestres coïncide parfaitement avec la série annuelle.

Mais un changement de questionnaire, de mode de collecte ou de concept peut aussi modifier la saisonnalité d’une série trimestrielle. Une rupture très différente un trimestre donné de l’année de recouvrement peut être le signe que la saisonnalité a changé. Toutefois, l’analyse précise des séries trimestrielles a conduit à retenir le constat d’absence de changement de saisonnalité pour l’ensemble des séries ; cet examen devra être instruit à nouveau avec l’apport de nouveaux trimestres. Une conséquence de ce constat est que le coefficient pivot est identique chaque trimestre, et donc que les estimations trimestrielles rétropolées en 2020 ne sont pas identiques à celles issues directement du Pilote. Autre conséquence, la saisonnalité passée des séries ayant été conservée, les modèles de correction des variations saisonnières (CVS) habituels ont pu être aussi conservés.