Les protocoles mobilisant plusieurs modes de collecte (face-à-face, téléphone, internet, etc.) ne sont pas une nouveauté dans les enquêtes de la statistique publique. Néanmoins, la généralisation de l’usage d’internet, l’évolution des pratiques des ménages en termes de communication et de participation, et la standardisation des outils de collecte constituent des changements profonds, favorables au développement du multimode dans les enquêtes auprès des ménages. Cette évolution a été impulsée depuis les années deux-mille-dix dans les services statistiques publics, elle a connu tout récemment une accélération dans le contexte particulier de la crise sanitaire de la Covid-19. Plus que jamais, elle se dessine comme une orientation stratégique forte pour la statistique publique. Or le multimode complexifie les processus de collecte comme le traitement des données à l’aval, au risque d’entraîner des ruptures de séries. Au-delà des opportunités offertes par ce changement de paradigme pour les enquêtes auprès des ménages, il convient d’identifier les défis que cette transition pose aux statisticiens. Les choix effectués en France s’appuient sur une réflexion aux dimensions internationales.

Le caractère multimode d’une enquête concerne à la fois le protocole de contact et le protocole de collecte. Le premier contact consiste très souvent en une lettre postale, alors même que la collecte s’effectue rarement via un questionnaire papier.

Néanmoins, dans les faits, on parle d’enquête multimode lorsque le protocole de collecte implique le recours à plusieurs modes de recueil de l’information : en face-à-face avec un enquêteur, par téléphone, par internet, etc.

Différents paramètres entrent en jeu pour apprécier l’opportunité d’une collecte multimode : la population cible, les informations disponibles pour l’atteindre (base de sondage, données de contact) et la thématique. Plusieurs enquêtes de la statistique publique sont ainsi réalisées en multimode depuis de nombreuses années, par exemple :

Depuis une dizaine d’années, l’Insee s’est lancé dans un plan d’expérimentations pour évaluer l’impact de l’introduction d’internet dans les protocoles d’enquêtes. Cette place croissante accordée au mode internet conduit à renouveler l’analyse sur les protocoles multimodes. De fait, dans les enquêtes de la statistique publique, internet est rarement envisagé comme unique mode de collecte, mais plutôt comme un mode complémentaire.

Trois raisons expliquent le passage à des enquêtes multimodes.

La première d’entre elles est la diminution tendancielle du taux de réponse aux enquêtes ménages, bien que la situation française s’avère moins problématique que dans d’autres pays européens (Luiten et alii, 2020). Or la diversification des moyens de contacter les personnes accroît les chances de les atteindre et augmente a priori le taux de collecte, même si le taux de réponse n’est pas en soi un indicateur définitif de qualité (Ouvrir dans un nouvel ongletGroves et Peytcheva, 2008). Ainsi, des travaux récents (Ouvrir dans un nouvel ongletCornesse et Bosnjak, 2018) ont montré que les enquêtes multimodes sont de meilleure qualité en termes de représentativité et que les enquêtes exclusivement conduites sur internet accusent de faibles taux de participation et d’importants effets de sélection.

De manière générale, le face-à-face apparaît supérieur au téléphone et à internet pour la représentativité de certains segments de la population, notamment les moins favorisés ou éduqués, les immigrés, les personnes peu à l’aise dans la langue, ou encore les personnes vivant en milieu urbain (Ouvrir dans un nouvel ongletBuelens et Van den Brakel, 2010).

L’évolution de l’équipement et des pratiques des ménages constitue également un contexte favorable au multimode. Au cours de la dernière décennie, le taux d’équipement des foyers en accès internet (matériel et abonnement) a connu une croissance spectaculaire en France : internet est désormais d’utilisation courante. Une telle situation rapproche désormais la France des pays dans lesquels l’implantation d’internet a été plus ancienne, tels que les Pays-Bas, les pays nordiques, le Royaume-Uni et l’Allemagne. Les conditions sont donc de plus en plus favorables pour recourir à ce moyen pour enquêter les ménages. Les attentes des ménages eux-mêmes paraissent par ailleurs fortes : certains ménages enquêtés comprennent de moins en moins qu’un tel service ne soit pas offert alors que les progrès récents en matière de démarches administratives sur le web sont très visibles.

Certaines personnes n’accèdent par ailleurs à internet que par le biais d’un smartphone : plus de 60 % de la population européenne dispose d’un accès à internet via un téléphone mobile. Ceci souligne l’enjeu de proposer une interface et un questionnaire conçus d’emblée pour ce type de support (Mobile first) et dont le format des pages s’adapte de manière ergonomique (Responsive design) (encadré 1).

Les enquêtes téléphoniques, qui ont été très utilisées dans les années quatre-vingt-dix par les instituts de sondages et une partie de la statistique publique, se heurtent en revanche à des taux de participation plus faibles désormais, à cause de la lassitude engendrée par les incessantes démarches marketing entreprises par ce moyen. Le téléphone fixe, qui était le socle de ces enquêtes jusqu’aux années 2010, est désormais un outil qui est très rarement décroché (voire activé) par les nouvelles générations.

Les contraintes budgétaires conduisent par ailleurs à s’intéresser aux coûts relatifs des différents modes de collecte : les entretiens avec les enquêteurs (en face-à-face ou téléphone) étant les plus coûteux, on préférera les réserver aux thématiques ou aux populations pour lesquelles leur expérience est indispensable.

Chaque mode de collecte ayant ses forces et ses faiblesses en termes de biais de couverture et de sélection, il importe de tirer profit des avantages de chacun dans l’élaboration des protocoles des enquêtes.

L’analyse des biais de mesure – c’est-à-dire de l’impact du mode de collecte sur la réponse des enquêtés – oppose les modes auto-administrés (papier et internet) et les modes avec enquêteurs (face-à-face et téléphone). Les deux biais principaux induits par la présence ou l’absence d’un enquêteur sont le biais de désirabilité sociale et le satisficing :

Par ailleurs, les modes auto-administrés souffrent de taux de réponse inférieurs et d’un risque d’auto-sélection par rapport à la thématique de l’enquête plus important, puisque la réponse suppose une démarche plus pro-active de la part des enquêtés.

Ces effets peuvent varier suivant les caractéristiques des répondants. Ainsi, les jeunes les plus diplômés, les personnes ayant des compétences et une appétence pour le numérique, pourront trouver naturelle la réponse par internet : leurs réponses sur ce mode seront peu affectées par le satisficing. À l’inverse, ces populations peuvent être plus difficiles à enquêter par téléphone ou en face-à-face et leurs réponses peuvent se trouver affectées par une forte désirabilité sociale en présence d’un enquêteur. De plus, les coordonnées de contact disponibles sont variables : si l’adresse postale est connue pour tous les ménages, ce n’est pas toujours le cas du numéro de téléphone fixe voire mobile et de l’adresse courriel. La disponibilité de ces différentes coordonnées de contact diffère dans la population, ainsi que la faculté à contacter effectivement les personnes, et leur appétence à répondre dans les différents modes de collecte.

Une étude conduite auprès d’une population de migrants a ainsi montré que le papier était le plus approprié pour les hommes, et le téléphone plus adapté pour les femmes – notamment pour limiter l’impact de la présence du conjoint (Ouvrir dans un nouvel ongletKappelhof, 2015).

Chaque mode de collecte comporte donc ses avantages et ses inconvénients en fonction de la thématique, des populations ciblées et des modalités de contact disponibles (figure 1).

Figure 1. À chaque mode ses caractéristiques

Les protocoles construits sur la base des différentes possibilités offertes par les modes de collecte prennent des formes très variées (figure 2).

Les différents modes de collecte peuvent être soit proposés en même temps aux enquêtés, les modes étant en quelque sorte mis en concurrence (on parle de multimode concurrentiel), soit proposés successivement, la proposition d’une alternative n’étant faite qu’aux non-répondants de la phase antérieure (on parle de multimode séquentiel). En général, le multimode séquentiel consiste à proposer d’abord les modes de collecte les moins coûteux.

La plupart des protocoles débouchent sur une période où plusieurs modes sont en concurrence : c’est le cas des séquentiels web/téléphone pour lesquels la possibilité de répondre sur internet reste offerte même lorsque la phase d’enquête téléphonique a commencé. On parle alors de protocole mixte.

Figure 2. Avec le multimode, la collecte gagne en souplesse

La limite principale du protocole séquentiel est qu’il incite certains enquêtés à répondre sur un mode qui n’est pas celui pour lequel ils ont le plus d’appétence et que cela pourrait dégrader la qualité de leurs réponses (sujet sensible, aversion pour le mode, etc.). Il entraîne aussi un risque que des enquêtés, qui auraient accepté de répondre s’ils avaient été sollicités par un enquêteur en premier lieu, se trouvent dans de moins bonnes dispositions lorsque ce contact intervient après qu’ils aient refusé de répondre par un premier mode de collecte auto-administré : persistance dans le refus initial, réticence marquée à fournir les efforts nécessaires à la qualité des réponses, etc. Par ailleurs, sauf à diminuer les chances de réussite de chacun des modes, il impose une durée de collecte minimale à chaque étape. Un temps de terrain court incite donc à proposer un multimode concurrentiel ou mixte plutôt que séquentiel.

Le multimode séquentiel reste néanmoins, en général, le protocole jugé le plus efficace, en particulier sur le plan financier (Dillman et alii, 2014). Par ailleurs, le fait de laisser le choix du mode de réponse à l’enquêté peut être vécu comme une charge cognitive supplémentaire (Schwartz, 2005), à un moment où il attend souvent que l’enquêteur, ou à défaut le protocole, le guide pour s’acquitter au plus vite de sa tâche. Laisser le choix du mode s’avère surtout intéressant dans les enquêtes en panel ou avec des réinterrogations, l’enquêté pouvant exprimer sa préférence au terme de la première vague et renseigner des coordonnées de contact facilitant le recours à un mode particulier pour les vagues suivantes.

Le multimode intégré désigne le recours à un mode de collecte complémentaire en cours de collecte pour l’ensemble des enquêtés. C’est par exemple le cas lorsqu’un enquêteur présent au domicile laisse l’enquêté répondre seul à une partie du questionnaire sur un ordinateur, comme dans l’enquête Cadre de vie et sécurité (CVS) où il peut utiliser un casque et répondre seul via le clavier.

Ce type de protocole apparaît particulièrement bien adapté aux questions sensibles (Ouvrir dans un nouvel ongletTurner et alii, 1998). Il permet sans doute de tirer au mieux profit des différents modes sollicités, mais c’est en général le plus coûteux.

Dans les enquêtes par téléphone, il peut aussi être demandé de basculer complètement sur internet pour remplir le questionnaire (Ouvrir dans un nouvel ongletLegleye et Charrance, 2021). Pour une série de questions sensibles, l’enquêteur peut éventuellement laisser sa place à un serveur vocal interactif (SVI) avec lequel on espère que le biais de désirabilité sociale sera diminué (Ouvrir dans un nouvel ongletKreuter et alii, 2008). Cela amène à des abandons assez nombreux durant la collecte, car l’expérience n’est probablement pas jugée très agréable par les enquêtés qui perdent la motivation induite par la présence sonore de l’enquêteur et peuvent couper court à la poursuite du questionnaire. Il semble donc préférable de ne recourir à ce mode de collecte que pour une courte série de questions.

Dans les enquêtes longitudinales, il est possible d’adapter les modes de collecte selon les vagues d’interrogation. La présence d’un enquêteur est souvent nécessaire pour initier le processus de collecte. En revanche, les vagues ultérieures (réinterrogations) peuvent souvent être réalisées sur des modes moins coûteux et moins invasifs, comme le téléphone ou internet. En France, l’enquête Emploi en continu et l’enquête Loyers et charges reposent depuis de nombreuses années sur ce type de protocole, enchaînant une première vague d’interrogation en face-à-face, puis des réinterrogations au téléphone avant de clore le processus en face-à-face. Depuis janvier 2021, un multimode séquentiel web/téléphone est proposé en réinterrogation dans l’enquête Emploi (Guillaumat-Tailliet et Tavan, 2021).

Il existe par ailleurs des protocoles en deux phases reposant sur une double enquête. La première consiste en une enquête courte, menée auprès d’un nombre très important d’individus, basée sur des questions visant à identifier une population d’intérêt spécifique (personnes en situation de handicap, victimes de violences, minorités sexuelles, etc.). Étant donné la taille de l’échantillon, il peut être avantageux de mener un multimode séquentiel, s’appuyant sur des modes de collecte moins coûteux : internet, puis papier, puis téléphone, éventuellement pour une partie des non-répondants. La seconde phase, qui peut également être multimode, est réalisée auprès d’une sélection de répondants de la première phase, dans laquelle certaines caractéristiques d’intérêt sont surreprésentées grâce aux informations de l’enquête filtre. Elle peut être multimode elle aussi. Un tel protocole a été retenu avec succès pour l’enquête Vie quotidienne et santé (VQS)/Autonomie du service statistique du ministère des Solidarités et de la Santé (Drees) et pour l’enquête Ouvrir dans un nouvel ongletGenre et Sécurité (Genese) du service statistique du ministère de l’Intérieur (SSMSI).

Enfin, la pénétration croissante des smartphones offre désormais aux chercheurs la possibilité de collecter des données auprès de leurs utilisateurs par le biais d’une collecte de données passives via l’historique et l’utilisation des applications (géolocalisation, mouvements physiques, comportement en ligne, etc.). Une partie de la collecte peut même s’effectuer sur smartphone (carnet d’emploi du temps, interrogations courtes à intervalles réguliers par exemple). Cette opportunité ne doit pas cacher les difficultés que représente, pour certains enquêtés, le téléchargement d’une application sur leur smartphone, ni les enjeux soulevés en matière de consentement au recueil et à l’exploitation de telles données.

Au final, les contraintes de chaque projet d’enquête peuvent amener le concepteur à orienter ses choix parmi les possibles évoqués ci-dessus (voir les choix opérés sur certaines grandes enquêtes européennes en encadré 2).

Ces différents types de protocoles multimodes peuvent ne pas s’appliquer de la même manière à toutes les unités échantillonnées d’une même enquête. Ainsi, depuis quelques années, des protocoles permettant d’adapter la stratégie de recueil des données au profil sociodémographique des enquêtés ont été conceptualisés et commencent à être mis en œuvre (Ouvrir dans un nouvel ongletChun et alii, 2018). L’Adaptive design utilise ainsi l’information disponible en amont de la collecte des données pour affecter le mode de collecte a priori le plus efficace à chaque unité enquêtée, que ce soit en termes de taux de réponse ou de limitation des biais de mesure.

Par exemple, dans le cas des enquêtes sur les usages d’alcool, de tabac et de drogues illicites, sexe et âge apparaissent comme des caractéristiques clivantes dans le choix du mode de collecte (auto-administré ou bien téléphone) (Ouvrir dans un nouvel ongletBeck et alii, 2014). Une des différences entre l’Adaptive design et les autres formes de multimode est que la préférence pour un mode est fixée d’emblée par le concepteur (contrairement au concurrentiel où c’est l’enquêté qui le choisit) et qu’elle est assumée (tel mode est plus adapté pour telle sous-population).

La longueur du questionnaire étant un facteur limitant l’intérêt du recours à internet, on peut aussi cibler une population ayant une bonne capacité à répondre sur internet sans que la qualité soit dégradée (les individus jeunes, issus de ménages de 1 ou 2 personnes, n’ayant pas de ce fait un ménage trop complexe à décrire), tandis que le reste de la population est interrogé par téléphone ou en face-à-face.

Il existe également des protocoles plus complexes consistant à mobiliser l’information disponible pendant la collecte (données recueillies par questionnaire ou grâce aux paradonnées) afin d’ajuster la stratégie de collecte pour le reste de l’échantillon : il s’agit du Responsive design. Il peut ainsi être décidé, en cours de collecte, de porter l’effort sur un profil particulier en le ciblant directement ou indirectement en recourant à un mode de collecte particulier. Avant d’être utilisé dans le cadre des enquêtes de la statistique publique française, ce type de protocole nécessiterait d’être testé pour en évaluer l’opportunité.

La mise en œuvre d’un protocole multimode nécessite d’adapter toutes les étapes de conception et de production d’une enquête afin de proposer une ergonomie qui limite au maximum les effets de mode. Cet effort est grandement facilité par les outils de conception et de génération des supports de collecte fondés sur les métadonnées actives.

Le premier défi est l’adaptation du questionnaire aux différents modes envisagés : doit-on chercher à tout prix à garder la même structure et les mêmes questions pour tous les modes ou au contraire chercher à faire au mieux au sein de chaque mode ? Les recommandations internationales penchent nettement en faveur de la première solution (Ouvrir dans un nouvel ongletDe Leeuw, 2018), même si les travaux les plus récents invitent plutôt à une troisième voie cherchant à optimiser chacun des questionnaires tout en réduisant les écarts inter-mode au strict minimum.

Cette approche omnimode (ou agnostique), dans laquelle s’inscrivent plusieurs instituts nationaux de statistique (Pays-Bas, Grande-Bretagne), consiste à concevoir le questionnaire indépendamment du mode de collecte et à opérer dans un second temps les adaptations nécessaires dans chacun des modes afin de limiter au maximum les effets de mode. Les grandes recommandations en la matière sont les suivantes :

Les adaptations nécessaires portent notamment sur les choix de charte graphique, de taille et de position des boutons / cases à cocher, sur l’affichage systématique ou en seconde intention des options « ne sait pas » / « ne veut pas répondre » ou sur leur absence systématique.

De manière générale, le passage au multimode, et notamment à l’introduction de modes de collecte auto-administrés, constitue une bonne occasion de se re-questionner sur ce que l’on cherche à mesurer et ainsi revoir les complexités qui ont pu être introduites au fil des éditions d’enquêtes. Si la compréhension des concepts et des questions est endossée par l’enquêteur, elle ne peut être déportée sur les enquêtés eux-mêmes, au risque d’obtenir de la non-réponse ou des réponses incorrectes.

Le recours à l’auto-administré impose ainsi d’utiliser des formulations de questions simples et de fournir des exemples éclairants pour les enquêtés, en particulier en population générale, car aucune reformulation ni aide ne pourra être apportée par un enquêteur (Koumarianos et Schreiber, 2021). La présentation des consignes, aides et exemples doit faire l’objet d’une réflexion ad hoc afin qu’elle soit attractive et judicieuse. Les enquêteurs assurent une mission importante de contrôle des saisies et de respect des consignes durant la passation : lorsqu’ils sont absents, tout ce travail de vérification est transféré aux statisticiens en charge de l’apurement des données, avec un risque important d’erreur en raison de l’impossibilité de demander des précisions sur la saisie a posteriori.

Répondre à une enquête est toujours un exercice difficile, mais la participation à une enquête et la qualité des informations recueillies dépendent de la longueur et de la complexité du questionnaire. Si la présence d’un enquêteur, en particulier en face-à-face, ouvre des possibilités pour des questionnements longs et complexes, l’auto-administré en revanche renvoie très vite aux limites de ce que peut et souhaite accomplir la frange de la population la plus en difficulté de littératie ou la moins intéressée ou concernée par la thématique. Au-delà d’une certaine durée qui dépend du mode de collecte, le risque de satisficing s’accroît et avec lui de réponse aléatoire, d’abandon, de recours plus fréquent au « ne sait pas », de réponses plus courtes aux questions ouvertes et globalement d’une baisse de la qualité (Ouvrir dans un nouvel ongletGalesic et Bosnjak, 2009). Dans le cas du multimode, la longueur du questionnaire est fixée par le mode de collecte qui génère le plus de contraintes chez l’enquêté.

La durée maximale recommandée pour le téléphone est de l’ordre d’une demi-heure (Ouvrir dans un nouvel ongletRoberts et alii, 2010), mais la présence d’un enquêteur conduit fréquemment les concepteurs à dépasser cette limite, sans toutefois le plus souvent excéder trois quarts d’heure. Pour les enquêtes web, il est grandement recommandé de ne pas dépasser 20 minutes, l’idéal étant de proposer un questionnaire dont le temps médian de réponse est de 10 minutes (Revilla et Ochoa, 2017).

Pour parvenir à limiter le temps de questionnement, plusieurs solutions sont envisageables si la réduction du questionnaire n’est pas suffisante. Une première consiste à administrer le questionnaire en plusieurs séquences, ce qui revient à « panéliser » l’enquête. Cela n’est pas sans risque ni coût : attrition, gestion des déménagements ou des éclatements du ménage, étalement de la référence temporelle, complexification de l’aval statistique, etc. Les protocoles d’Adaptive design cherchent pour leur part à répondre à ces problématiques en ajustant le questionnaire de façon à proposer à chaque enquêté une durée de passation optimale du point de vue de la qualité des informations recueillies. Ainsi, il peut être envisagé de ne pas poser toutes les questions à tous les enquêtés, mais par exemple de déterminer un tronc commun de questions, puis d’affecter aléatoirement des blocs de questions différents à plusieurs sous-échantillons (Ouvrir dans un nouvel ongletBeck et Richard, 2013). La question des incitations financières, en cas de questionnaire plus difficile ou plus long, est évoquée dans l’encadré 3.

Dans les enquêtes multimodes, l’agrégation de données issues de modes de collecte différents nécessite certaines précautions. De fait, ce qui est observé sur un mode peut ne pas être directement comparable à ce qui est observé sur un autre. On appelle cette différence un effet de mode. Il peut être décomposé en deux parties :

L’existence d’un biais de sélection découle d’un des objectifs du multimode qui est d’augmenter les possibilités de répondre des enquêtés. Ce n’est en soi pas un problème, à partir du moment où il n’y a pas d’effet de mesure et que l’ensemble des répondants, quel que soit leur mode de collecte, est représentatif de la population cible.

Il est donc important de neutraliser tous les biais de composition pour évaluer proprement ce qui ne relève que du mode de collecte, c’est-à-dire d’évaluer le biais de mesure.

Pour cela, on utilise des méthodes permettant de rendre parfaitement comparables les répondants à chacun des modes de collecte. Cependant, dans la pratique, il peut être difficile de distinguer les biais résultants de ces deux effets, sélection et mesure (Ouvrir dans un nouvel ongletKlausch, 2014). De fait, toutes ces méthodes reposent sur l’hypothèse forte qu’il n’existe pas de biais de sélection non-ignorable, c’est-à-dire de facteur non observé qui influe à la fois sur la participation et sur la valeur des variables d’intérêt, et qui soit peu corrélé aux facteurs observés par lesquels on contrôle (Rubin et Little, 2002). Dans ce cas, surviennent alors des problèmes de sélection endogène particulièrement complexes à traiter (Ouvrir dans un nouvel ongletLee, 2009 ; Castell et Sillard, 2021 ; Ouvrir dans un nouvel ongletHeckman, 1979).

Les travaux menés sur différents jeux de données issus d’enquêtes françaises ont permis de constater des écarts entre les valeurs obtenues par des enquêtes de référence en face-à-face et des enquêtes web posant les mêmes questions (Razafindranovona, 2015). Ces différences sont atténuées par la prise en compte de caractéristiques sociodémographiques, et plus encore si les variables de contrôle sont enrichies de variables de l’enquête en lien direct avec la thématique de l’enquête.

Mais il peut demeurer un écart résiduel traduisant à la fois un biais de mesure et un biais de composition sur des variables non observables, comme l’intérêt pour la thématique de l’enquête (biais de sélection endogène).

Les effets de mode sont sans doute le frein le plus puissant face au développement du multimode : ils complexifient les analyses, rendent difficile l’estimation des « vrais » niveaux des indicateurs d’intérêt de l’enquête et peuvent entraîner des ruptures de séries. L’estimation et la correction de ces biais nécessitent de faire des hypothèses. Pour s’assurer de leur plausibilité, il est nécessaire de se doter de moyens spécifiques, à penser en amont de la collecte (encadré 4).

Le projet MIMOD (encadré 2) a permis de recenser les méthodes concrètement utilisées dans les instituts nationaux statistiques pour agréger les données issues des différents modes et de mettre à jour les connaissances acquises sur le multimode. Si les expériences en matière de mesure des effets de mode commencent à être riches et partagées au sein des pays européens, celles en matière de corrections de ces effets restent en revanche rares, à l’image de la littérature scientifique sur ce thème.

Plusieurs méthodes de correction sont envisageables, mais elles restent sujettes à des limites fortes, d’où le choix le plus souvent fait de ne pas corriger les effets de mode.

Tout d’abord, le biais de mesure est conceptuellement un problème qui se situe au niveau de la réponse partielle (comparativement au biais de sélection qui est un problème au niveau de la réponse totale). Il peut dans ce sens s’apparenter à un problème de valeur manquante : il se traite donc efficacement par imputation. Cependant, cette méthode constitue un choix méthodologique, voire déontologique, fort puisqu’on modifie la réponse des enquêtés. On préférera alors des méthodes « parcimonieuses » sélectionnant les observations les plus porteuses du biais afin de minimiser les modifications de la base de données (Ouvrir dans un nouvel ongletLegleye et alii, 2019).

Une autre méthode consiste à recourir au calage. Celui-ci permet de neutraliser le biais de sélection mais aussi le biais de mesure à un niveau agrégé, en introduisant des contraintes sur les niveaux de la variable d’intérêt. Ainsi, au lieu de modifier les données, on modifie les poids de façon à obtenir le bon niveau dans tout ou partie de l’échantillon. En revanche, le biais de mesure n’est pas corrigé au niveau individuel. Là aussi, on privilégiera des marges sur les sous-populations les plus porteuses du biais et le recours à un échantillon de contrôle monomode est fortement recommandé.

Il est également possible de ne pas corriger le biais de mesure, mais de chercher à le contenir dans le temps : dans des enquêtes répétées, il est possible d’introduire dans le redressement une contrainte maintenant à valeurs constantes les parts des différents modes (Ouvrir dans un nouvel ongletBuelens et Van den Brakel, 2010). Ceci présente l’avantage de la simplicité mais pose également des questions de pérennité en cas de disparition d’un mode ou bien de changement de part des différents modes au cours du temps.

Au-delà du biais de mesure, on peut être amené à corriger un autre biais : un biais de sélection inobservable portant sur l’ensemble des répondants. Cette problématique n’est pas directement liée au multimode, qui au contraire peut améliorer la représentativité de l’enquête, en fonction du protocole. Mais le multimode s’associe le plus souvent à l’introduction d’internet et l’utilisation de modes de collecte avec un moindre taux de réponse et une moindre représentativité des répondants que le face-à-face. Dans ce cas, des méthodes de correction existent, fondées sur l’approche d’Heckman (Ouvrir dans un nouvel ongletHeckman, 1979). Toutefois, leur validité repose sur l’hypothèse forte qu’il n’existe pas de biais de mesure (Castell et Sillard, 2021), car aujourd’hui, il n’existe pas de méthode permettant de traiter simultanément les deux, si la réponse sur un mode résulte d’un choix de l’enquêté (Ouvrir dans un nouvel ongletLee, 2009).

De manière générale, les méthodes de correction des effets de mesure nécessitent un travail spécifique. Ainsi, toutes les variables d’une enquête ne pourront pas être analysées, et encore moins corrigées. Il est donc important de sélectionner avec soin les variables d’intérêt principales. Par ailleurs, les méthodes nécessitent de faire l’hypothèse qu’un des modes de collecte constitue la référence, soit parce qu’il est le mode historique d’une série d’enquêtes, soit parce qu’il est réputé produire la mesure de la meilleure qualité. Un échantillon de contrôle de la qualité, collecté en monomode (ou avec multimode embarqué) s’avère donc souvent nécessaire.

Ainsi, la détection des effets de mode peut justifier d’adapter le protocole d’enquête et son plan de sondage, notamment pour que des sous-échantillons disjoints soient collectés selon des compositions de modes différents (encadré 4).

Le développement du multimode nous invite à repenser la conception des enquêtes ménages autour de bonnes pratiques fondamentales et structurantes, garantes d’une qualité minimum des réponses telles que le respect d’un temps de réponse maximum pour un questionnaire et le recours à des concepts et des formulations compréhensibles par une large majorité de la population.

Dans son « programme Multimode », l’Insee a ainsi fait le choix de ne proposer le web que dans certains contextes (enquêtes courtes ou séquencées, concepts simples, réinterrogations après un premier contact intermédié). À l’heure où certains instituts de sondage abandonnent les enquêtes en face-à-face et parfois même les enquêtes téléphoniques, la force de l’Insee est de disposer d’un réseau d’enquêteurs très expérimentés en face-à-face, et très bien répartis sur le territoire français.

Au final, l’évolution vers le multimode constitue certes une occasion d’améliorer les enquêtes sur de nombreux aspects, mais elle représente aussi un coût organisationnel et un défi pour la gestion des effets de mode : ceci doit nous inviter à apporter le plus grand soin dans les choix méthodologiques envisagés au moment de la conception de l’enquête. Face à la généralisation du multimode en Europe, il serait notamment nécessaire de faire évoluer les règlements européens vers des questionnaires omnimodes, donc forcément simplifiés par rapport à ceux en vigueur actuellement et qui ont été conçus dans un univers dominé par le face-à-face. À l’automne 2021, un groupe de travail ad hoc (Ouvrir dans un nouvel ongletEurostat, 2021) a présenté des recommandations allant dans ce sens : un « position paper » (coordonné par la France) identifie les champs d’investigation des prochaines années – en termes d’enjeux méthodologiques et de collecte – pour adapter les enquêtes européennes auprès des ménages au contexte du multimode.