Depuis sa création en 1994 au sein du Conseil national de l’information statistique (Cnis), le Comité du label joue un rôle décisif dans l’élaboration du programme des enquêtes de la statistique publique en France. Bien loin d’être une chambre d’enregistrement des projets d’enquêtes, le Comité atteste de leur « conformité » à des standards de qualité et propose aussi des voies d’amélioration. Compte tenu de son large spectre d’intervention, il joue ainsi un rôle pédagogique, de conseil, voire d’émetteur d’alerte et contribue à la diffusion des bonnes pratiques ainsi qu’à leur documentation.

Dans les années deux-mille-dix, les missions du Comité du label se sont élargies : la labellisation concerne désormais également les statistiques issues de l’exploitation de données administratives, dès lors que celles-ci sont produites par des organismes ayant des missions de service public. Le Comité exerce cette mission pour le compte de l’Autorité de la statistique publique (ASP), qui prononce les avis officiels. L’évolution des missions du Comité a conduit à modifier son appellation en Comité du label de la statistique publique pour marquer son nouveau positionnement.

Le Comité du label s’inscrit depuis ses débuts dans une démarche contribuant à la qualité des opérations statistiques, en parallèle de la dynamique initiée au niveau européen. Il a ainsi accompagné et contribué depuis le début des années quatre-vingt-dix à promouvoir les préoccupations de qualité statistique, selon une jurisprudence qui s’est construite progressivement.

Le Comité a été créé en 1994 à la demande de l’assemblée plénière du Conseil national de l’information statistique (Cnis), sous la dénomination de Comité du label des enquêtes statistiques des services publics et des autres services producteurs d’informations statistiques. Positionné au sein du Cnis, il avait pour mission « d’examiner la conformité des projets d’enquêtes statistiques après que celui-ci en ait reconnu l’opportunité et de proposer un label d’intérêt général ; de proposer aux ministres compétents la délivrance du visa prévu par l’article 2 de la loi de 1951 modifiée » (note).

Il s’agissait d’améliorer les procédures d’élaboration des programmes statistiques par une attention particulière portée aux projets d’enquêtes (Allain, 1995). L’analyse ayant conduit à cette initiative était qu’il fallait consolider le dispositif du Cnis qui ne répondait plus suffisamment à certaines exigences qui jouaient de façon croissante. Pour les entreprises, notamment les plus petites, il s’agissait de faire accepter la charge que constitue pour elles la réponse aux enquêtes statistiques, de distinguer les enquêtes statistiques des formalités administratives et de démontrer leur finalité et leur utilité. Pour les ménages, il s’agissait de se prémunir de réactions des enquêtés ou de plaintes auprès de la Cnil quant au volume et à la nature des questions posées.

Le nouveau Comité du label a été créé au sein du Cnis pour une durée expérimentale de deux ans d’abord, avant d’être pérennisé. La phase d’expérimentation a permis de définir de façon heuristique les premières règles de cet examen de conformité : respect des nomenclatures, cohérence des unités statistiques, prise en compte dans l’échantillonnage de la nécessité de limiter la charge des enquêtés, justification du caractère plus ou moins utile ou intrusif de certaines questions relativement aux objectifs poursuivis, respect de la confidentialité des données individuelles, modes de diffusion des résultats.

La loi de Modernisation de l’économie du 4 août 2008, qui a conduit à la création de l’Autorité de la statistique publique, a aussi porté une définition extensive des statistiques publiques, inscrite dans la loi fondatrice n°51-711 du 7 juin 1951 (modifiée) sur l’obligation, la coordination et le secret en matière de statistiques. La définition des statistiques publiques (article 2 de la loi) regroupe « l’ensemble des productions issues :

La conception, la production et la diffusion des statistiques publiques sont effectuées en toute indépendance professionnelle ».

Au champ des enquêtes dont le programme est arrêté chaque année (et qui ont donc un visa ministériel), s’est rajouté le champ de statistiques diffusées par des opérateurs publics (champ qualifié ici de « péri-SSP »). L’ASP a la charge de labelliser certaines statistiques diffusées par des opérateurs publics à partir de données administratives, ce qu’elle fait en s’appuyant depuis 2013 sur l’instruction assurée par le Comité du label, renommé Comité du label de la statistique publique. Celui-ci a désormais en charge trois missions (Ouvrir dans un nouvel ongletChristine, 2016) (encadré 1), car à la mission historique d’examen de la conformité des enquêtes de la statistique publique se sont rajoutées :

Avec cet élargissement de ses compétences, le Comité du label est devenu en 2013 une entité à part. Ses moyens sont assurés par l’Insee, au sein de la direction de la Méthodologie et de la coordination statistique et internationale (DMCSI), mobilisant un rapporteur et un secrétariat général, ainsi que des experts pour assurer l’instruction des dossiers. Les enquêtes et les statistiques administratives sont examinées en commissions thématiques, dont la composition est fixée par arrêté, sous la responsabilité du président du Comité, nommé par arrêté du ministre en charge de l’Économie, après avis des présidents de l’ASP et du Cnis).

Le statut d’enquête de la statistique publique génère pour les services des contraintes (matérialisées par la procédure même du Cnis et du Comité du label, avec l’exigence de présentation de documents descriptifs détaillés), mais il confère aussi des droits pour les services et apporte des garanties aux répondants.

Les services producteurs d’enquêtes peuvent ainsi mettre en avant la marque « statistique publique » et le critère d’intérêt général, pour se démarquer dans leur communication auprès des enquêtés de la multitude d’enquêtes ou de sondages réalisés à d’autres fins. Ils peuvent aussi demander l’octroi du caractère obligatoire, qui constitue un levier pour favoriser la réponse, même si, en pratique, les services cherchent d’abord à persuader les enquêtés de l’intérêt de répondre, en s’appuyant sur la reconnaissance de l’enquête par le Cnis (Ouvrir dans un nouvel ongletLe Gléau et alii, 2016).

Enfin, le statut d’enquête de la statistique publique engage le producteur à prendre toutes les mesures pour assurer le secret statistique lors de la diffusion des résultats et à ne pas communiquer les données individuelles recueillies à des fins de contrôles. Il permet d’apporter aux personnes ou entités qui fournissent des informations utilisées pour l’établissement de statistiques l’assurance que ces informations ne seront pas utilisées d’une façon susceptible de leur porter préjudice. Cette garantie concerne la protection de la vie privée, du secret commercial ou des affaires, mais aussi dans certains cas les administrations (par exemple les établissements scolaires ou sociaux). Ainsi, dans les domaines de la protection sociale ou de l’éducation, par exemple, certaines enquêtes menées auprès de services administratifs ne nécessitent pas théoriquement un statut d’enquête de la statistique publique, car leur collecte repose sur des personnels faisant partie de l’administration. Leur conférer ce statut d’enquête leur permet cependant de se démarquer de logiques de pure gestion administrative relevant notamment du Code des relations entre le public et les administrations (CRPA).

Le périmètre des enquêtes de la statistique publique (au sens de la loi de 1951) se définit de façon quasi tautologique : est qualifiée « d’enquête de la statistique publique », et dotée d’un visa du ministère de l’Économie, toute enquête publiée dans l’arrêté annuel (ou ses avenants) qui définit le programme d’enquêtes.

Trois critères sont a priori nécessaires pour intégrer ce périmètre :

Ces critères sont assez généraux. In fine, c’est la procédure elle-même qui circonscrit a posteriori le périmètre des enquêtes de la statistique publique. En pratique, le visa du ministre, avec mention éventuelle de l’obligation de réponse, est octroyé, par délégation, par le directeur général de l’Insee.

Le cheminement des projets d’enquêtes pour obtenir le visa est le suivant (figure 1) : ils doivent en premier lieu obtenir un avis d’opportunité positif en commission thématique du Cnis, qui atteste que l’enquête est utile, qu’elle répond à un besoin d’intérêt général et qu’elle ne fait pas double emploi avec les sources existant sur le même sujet. Pour les enquêtes régionales, c’est le comité régional pour l’information économique et sociale (Cries) ou, en son absence, une instance régionale dûment constituée et réunie par le directeur régional de l’Insee pour l’occasion, qui se prononce en premier sur l’opportunité de l’enquête, avant de transmettre son avis au Cnis.

Figure 1. Du projet d’enquête... au visa ministériel

Deux cas d’urgence sont cependant prévus, soit dans le cadre d’une loi spéciale, soit en raison d’un caractère de nécessité et d’urgence indiscutables. Il est alors admis que les enquêtes sont opportunes par nature, et donc dispensées, si les délais sont très tendus, d’un examen en commission thématique du Cnis. Cette modalité a été utilisée en 2020 notamment pour les enquêtes visant à assurer un suivi économique ou social des effets de la crise sanitaire liée à la Covid-19 (enquêtes Acemo-Covid de la Dares et EpiCov de la Drees et de l’Inserm).

La seconde étape consiste à obtenir un avis de conformité du Comité du label, sur la base d’une instruction très complète analysant le processus prévu pour réaliser l’enquête, depuis sa conception jusqu’à la diffusion des résultats.

L’enquête bénéficie alors d’un label d’intérêt général et de qualité statistique délivré par le Cnis, assorti le cas échéant d’une proposition de rendre l’enquête obligatoire pour les répondants. En pratique, par délégation formelle du Cnis, le label est attribué par le président du Comité du label, dès lors qu’il délivre son avis de conformité.

Les textes réglementaires laissent au Comité du label toute latitude pour apprécier la conformité des enquêtes et la qualité statistique. Depuis 25 ans, le Comité a bâti au fil du temps une jurisprudence définissant les critères attendus pour justifier de l’intérêt général et de la qualité de l’enquête, notamment :

Pour apprécier ces critères, le Comité a établi un dossier-type, qui permet aux services demandeurs de documenter de manière normalisée l’ensemble du processus d’enquête défini lors de la phase de conception et prévu pour le traitement des données en aval après la collecte de l’enquête. Le Comité est particulièrement sensible à la phase de concertation en amont (le service doit indiquer et objectiver comment il a consulté les parties prenantes et les organisations syndicales) et à la phase de tests des questionnaires (pour apprécier leur longueur mais aussi la bonne compréhension des questions par les enquêtés). Le Comité veille aussi aux aspects méthodologiques et notamment au dimensionnement de l’échantillon pour atteindre la précision attendue et aux redressements prévus pour s’assurer de l’absence de biais de réponse et corriger les effets négatifs de la non-réponse. En cas d’évolution d’une enquête régulière, il examine en particulier les dispositions prévues pour contrôler d’éventuelles ruptures de séries et de leur documentation auprès des utilisateurs. Enfin, il veille à ce que les moyens prévus soient proportionnés aux objectifs. L’ouverture des données aux chercheurs (dans le respect de la confidentialité) constitue un dernier critère important, les enquêtes de la statistique publique constituant des « biens publics » à partager.

Sans y faire explicitement référence à l’origine, ces critères se rapprochent de ceux définis dans le cadre de la statistique officielle européenne, avec l’attention portée à la démarche qui s’est fait jour depuis les années quatre-vingt-dix. Dès 2001, six critères de qualité ont ainsi été énoncés par Eurostat et officiellement retenus par le Comité du programme statistique européen : pertinence, précision, actualité, comparabilité et cohérence (Desrosières, 2003). Ils ont été consolidés depuis avec l’élaboration du Code de bonnes pratiques de la statistique européenne et de ses 16 principes (Ouvrir dans un nouvel ongletUnion européenne, 2017).

Les démarches de labellisation impulsées dans le cadre du Cnis et du Comité du label s’inscrivent de fait dans cette logique. Elles ont d’ailleurs été identifiées par les auditeurs européens dans le cadre de la revue par les pairs, réalisée en 2014, comme des éléments de démonstration de la qualité des enquêtes.

Ainsi, la concertation initiée par le Cnis constitue un moyen pour assurer la pertinence des enquêtes, comme répondant aux besoins exprimés par les utilisateurs. L’examen en conformité permet quant à lui de s’assurer que la conception des enquêtes est conforme aux règles de l’art en termes méthodologiques, mais aussi déontologiques. Enfin, les dossiers constitués pour le Comité du Iabel constituent bien souvent un élément important de la documentation des enquêtes de la statistique publique (les « métadonnées ») qui permet d’assurer leur transparence pour les utilisateurs (Bonnans, 2019).

Il peut arriver que le Comité du label constate que l’enquête qui lui est présentée est bien d’intérêt général, mais qu’elle ne peut pas ex ante être considérée comme ayant les qualités suffisantes pour recevoir le label plein et entier, parce qu’elle ne satisfait pas d’emblée à certains des critères énoncés ci-dessus. Le Comité du label peut cependant émettre un avis d’examen favorable et demander, le cas échéant, l’octroi du visa ministériel (figure 1).

Ces cas particuliers relèvent notamment des trois situations suivantes :

Certaines enquêtes réalisées à des fins de recherche scientifique ou historique, ou dans le cadre de recherches-action (par exemple sur la connaissance des mobilités quotidiennes au niveau de certains territoires) peuvent sous certaines conditions obtenir un échantillon probabiliste issu du Recensement de la population ou du Fichier démographique sur les logements et les personnes issus de sources fiscales (Fideli).

Ces enquêtes sont souvent réalisées dans le cadre d’infrastructures européennes dotées de leurs propres instances de gouvernance (c’est le cas par exemple de l’Enquête Sociale Européenne (European Social Survey) qui est menée tous les deux ans dans la plupart des pays européens). La difficulté pour l’examen de ces projets réside souvent dans le fait que les recommandations du Comité se heurtent alors à d’autres logiques de gouvernance et de spécifications supra-nationales et sont donc généralement peu suivies d’effet, notamment s’agissant du questionnaire ou de certains aspects méthodologiques, définis et entérinés en amont par un consortium international.

Le Comité du label est alors sollicité par le Comité de direction de l’Insee pour donner son aval à la délivrance d’un échantillon, sans inscription au programme des enquêtes de la statistique publique. « Le Comité de direction a validé le fait que, pour la seule finalité d’obtention d’un échantillon aléatoire de logements, le comité du label puisse émettre, après avoir vérifié la qualité du plan de sondage, de la méthodologie aval et des instances de gouvernance du projet, un simple avis d’examen favorable et non un avis de conformité (délivrance du label d’intérêt général et de qualité statistique, impliquant un visa ministériel et une inscription au JO). De ce fait, les opérations concernées ne seront pas qualifiées d’enquêtes de la statistique publique au sens de la loi de 1951 ».

Au final, si l’esprit de l’examen par le Comité du label est depuis sa création de s’assurer de la conformité des méthodes aux règles de l’art, des nuances et des précisions se sont progressivement dessinées dans ses pratiques, conduisant à dresser une typologie de ses avis : avis de conformité, avis d’examen favorable avec visa, avis d’examen simple (sans visa).

L’ASP a en charge, entre autres missions, la labellisation de statistiques produites à partir de sources administratives et diffusées par des organismes ayant des missions de service public, donc hors du service statistique public (SSP).

La procédure mise en place pour élaborer ces avis a été définie par l’ASP à la suite d’une mission confiée à l’Inspection générale de l’Insee (Ouvrir dans un nouvel ongletChappert et Puig, 2011), complétée pour sa mise en œuvre opérationnelle par une note d’instruction du Rapporteur du Comité. Pour ces statistiques hors enquêtes du « péri-SSP », la mission proposait de s’appuyer sur le Code de bonnes pratiques de la statistique européenne, en retenant les principes de ce code jugés pertinents pour l’examen de ces données (encadré 2). Elle proposait également de confier l’instruction des dossiers de labellisation au Comité du label à l’instar de ce qui se fait pour les enquêtes de la statistique publique, ce qui a été acté dans les textes réglementaires en 2013.

Concrètement, l’ASP arrête son programme annuel de statistiques administratives à examiner. Le Comité du label instruit les demandes de labellisation retenues par l’ASP, en recourant, comme dans le cas des enquêtes, à un dossier-type ; il se réunit en commission spécialisée, puis propose un avis assorti de recommandations pour assurer la conformité des statistiques au Code. La décision de labellisation revient à l’ASP, elle est rendue publique sur son site, ainsi que les conditions ou recommandations qui y sont éventuellement associées et l’avis est publié au Journal officiel.

Avec la démarche de labellisation des enquêtes initiée il y a un peu plus de 25 ans, le Comité du label a développé une méthodologie d’examen permettant d’attester de la qualité des enquêtes de la statistique publique et, plus récemment, des statistiques produites hors du SSP par des organismes ayant des missions de service public. Ces démarches ont constitué des leviers importants pour permettre aux statisticiens d’inscrire leur travail dans des règles respectueuses des bonnes pratiques et d’en assurer la transparence. In fine, c’est l’existence même de ce cadre de gouvernance qui constitue un garde-fou, permettant de prévenir autant que possible d’éventuels dysfonctionnements.

Au sein du SSP, les procédures de labellisation continuent de privilégier les enquêtes classiques, alors que d’autres modes de recueils de données ne font pas l’objet du même formalisme. Pour de multiples raisons (dont les moindres coûts de production), on constate en effet un usage croissant de sources administratives ou de données massives pour la production de statistiques par le SSP. La question d’un élargissement de procédures plus formelles de qualification pourrait ainsi se poser au sein du SSP, à l’instar de la labellisation par l’ASP de statistiques administratives produites au sein du « péri-SSP ».

Par ailleurs, avec le développement du numérique, la production de statistiques s’est largement développée hors du SSP : de nombreux acteurs élaborent des bases ou des jeux de données et diffusent des statistiques comme des sous-produits de leur activité principale. Y compris au sein du « péri-SSP », une partie seulement des statistiques produites est d’ailleurs labellisée par l’ASP. De nombreuses statistiques continuent donc d’être reprises par les médias, sans garantie de qualité, ni même de transparence. Un nouveau service de qualification avait été initié au début des années deux-mille-dix avec la démarche « d’étalonnage » par le Cnis de statistiques d’intérêt général produites par des organismes privés. Ce dispositif s’est avéré très coûteux, tant pour les organismes producteurs que pour le Comité lui-même, et n’a pas connu le développement escompté.

De nouvelles réflexions ont conduit à proposer tout récemment un nouveau mode de qualification de statistiques produites hors du SSP : il ne s’agirait plus d’attester de la qualité des statistiques produites, mais seulement de la transparence a minima de leur documentation (les « métadonnées »). Cette orientation validée récemment par le Cnis est en cours d’expérimentation. Le principe serait de proposer un standard de documentation, ouvert aux organismes volontaires, les statistiques concernées pouvant ensuite être homologuées par le Cnis. L’objectif est de conduire les utilisateurs à s’interroger sur la portée des données et des statistiques diffusées avant de les utiliser ; il s’agit aussi d’inciter les organismes à documenter leurs produits statistiques pour répondre à ces attentes.

Ouvrir dans un nouvel ongletArrêté du 10 janvier 1994 portant création au sein du Conseil national de l’information statistique d’un comité du label des enquêtes statistiques des services publics et des autres services producteurs d’informations statistiques. In : site de Légifrance. [en ligne]. Modifié le 24 décembre 1997. [Consulté le 24 novembre 2020].

Ouvrir dans un nouvel ongletArrêté du 2 mai 2013 relatif aux modalités d’organisation du comité du label de la statistique publique. In : site de Légifrance. [en ligne]. [Consulté le 24 novembre 2020].

Ouvrir dans un nouvel ongletDécret n° 2009-318 du 20 mars 2009 relatif au Conseil national de l’information statistique, au comité du secret statistique et au comité du label de la statistique publique. In : site de Légifrance. [en ligne]. Modifié le 1^er février 2019.[Consulté le 24 novembre 2020].

Ouvrir dans un nouvel ongletLoi n° 2008-776 du 4 août 2008 de modernisation de l’économie. In : site de Légifrance. [en ligne]. Modifiée le 5 juillet 2019. [Consulté le 24 novembre 2020].

Ouvrir dans un nouvel ongletLoi n° 51-711 du 7 juin 1951 sur l’obligation, la coordination et le secret en matière de statistiques. In : site de Légifrance. [en ligne]. Modifiée le 25 mars 2019. [Consulté le 24 novembre 2020].