Faciliter l’accès aux données de l’Insee Cubes, catalogue et métadonnées

L’Insee publie sur son site un très grand nombre de données de référence d’information économique et statistique. Avec le développement de la donnée, un enjeu très fort est de rendre cette offre la plus à jour, lisible et accessible. Pour cela, de nombreux défis sont à relever : ils portent sur l’importance des formats de données, la documentation et ses standards mais aussi sur les services comme la datavisualisation, le catalogage ou encore la navigation dans les données, sans oublier les APIs indispensables à l’utilisation par des machines.

L’Insee diffuse des statistiques sur de nombreuses thématiques comme la démographie, l’emploi, les comptes nationaux ou encore les indices de prix. Celles-ci constituent une large part des statistiques publiques, les autres étant produites essentiellement par les services statistiques ministériels. Ces statistiques sont essentielles pour l’élaboration d’études économiques, afin d’éclairer des questions structurantes, décomposition de l’inflation, facteurs de la pauvreté, etc.

Cette diversité se traduit par un volume très important de données, dans le sillage de l’explosion de la data au cours des dernières décennies. Quelques chiffres : l’Insee diffuse chaque année sur son site environ 5 000 fichiers XLSX ou encore 70 000 séries historiques (par exemple la série du produit intérieur brut depuis 1949 ou les séries mensuelles des indices de prix à la consommation).

Face à une telle richesse de l’offre, l’Insee doit accompagner ses utilisatrices et utilisateurs, dénommés par la suite « inseenautes », dans le parcours vers la donnée souhaitée. La donnée doit être facilement trouvée et comprise. Pour cela, l’Insee s’efforce de suivre les grands principes du Code de bonnes pratiques de la statistique européenne, pierre angulaire du cadre qualité commun aux instituts statistiques européens. La cohérence/comparabilité et l’accessibilité/clarté sont les principes essentiels de la diffusion de statistiques :

Pour appliquer ces principes, il faut aussi tenir compte de la grande diversité des profils et attentes des inseenautes. Citons quelques exemples : une étudiante doit réaliser un exposé sur la comptabilité nationale et a juste besoin de consulter un tableau des grands agrégats comptables (PIB, valeur ajoutée, etc.) sur une page web ; un particulier loue son appartement et veut obtenir tous les ans l’indice de référence des loyers pour réévaluer le loyer ; une chercheuse souhaite analyser les migrations résidentielles entre communes et pour cela télécharger le fichier de données du recensement de la population à un niveau fin, etc. L’Insee choisit d’aller au-devant de tous ces publics et à ce titre, doit proposer différents modes d’accès aux données, en commençant par la datavisualisation (Ouvrir dans un nouvel ongletDe Jonge et Ten Bosch, 2012).

Pour connaître l’essentiel sur une thématique, l’Insee propose ses chiffres clés, souvent présentés sous forme d’infographies et de tableaux synthétiques : la datavisualisation, c’est‑à‑dire un ensemble d’indicateurs synthétiques sous forme de visuels simples et faciles à appréhender (Lagarenne et alii, 2023). Elle est privilégiée pour accompagner l’inseenaute dans sa lecture et lui permettre de s’approprier plus facilement les résultats d’une étude. Ainsi, une série chronologique représentée graphiquement sous forme de courbe selon les périodes disponibles satisfait les besoins de tous les publics sur la plupart des thématiques (indices des prix à la consommation ou de production, chiffres du chômage, emploi salarié, etc.).

Un autre exemple est le Tableau de Bord de l’Économie Française (TBEF), service multi‑thématique de datavisualisation sur le site insee.fr. Toutes les informations essentielles des différents domaines du débat public (économie, pouvoir d’achat, démographie, société, salaires, entreprises, développement durable, etc.) sont présentées et cela selon trois volets géographiques (Europe, France, territoires) (figure 1). L’institut de statistique du Danemark propose, quant à lui, une arborescence thématique dans la rubrique « Trouver des statistiques » de son site : une fois le domaine choisi, les données statistiques sont présentées sous forme de figures avec options de téléchargement de ces données et d’analyse plus fine du domaine.

Figure 1 - Vue du Tableau de Bord de l’Économie Française

Sur le site web de l’Insee, les figures de datavisualisation comprennent systématiquement une option de téléchargement des données. Cela peut servir aux étudiants pour étayer leurs présentations ou aux professeurs d’économie ou de sciences sociales pour préparer des cours. Les journalistes s’intéressent également aux mises à jour de ces indicateurs ou résultats d’enquête pour préparer un article ; les data journalistes téléchargent notamment les séries chronologiques pour analyser un ensemble de données en support ou complément d’un article de fond.

Au-delà de la datavisualisation, des fichiers avec des volumes de données plus importants sont disponibles, notamment au format XLSX. Ceux-ci portent sur des niveaux de détail plus fins ou regroupent toutes les informations disponibles sur un thème donné et pas seulement un extrait, comme c’est le cas pour une figure de datavisualisation. Cette offre de fichiers à télécharger s’adresse aux inseenautes qui veulent exploiter directement les données pour leur propre analyse, comme les bureaux d’études, les chercheurs ou certains acteurs locaux. Ainsi, un Conseil régional peut étudier l’activité économique de sa région en utilisant les fichiers des créations d’entreprises très finement agrégées selon la localisation géographique, l’activité, la taille et la catégorie juridique des entreprises. Le niveau de détail peut parfois aller jusqu’à des données individuelles comme sur les naissances, les mariages ou les décès issus de l’état civil. Le Conseil régional peut alors faire ses propres agrégations et évaluer les besoins d’installations d’équipement en fonction de la population de sa région.

Compte tenu de la variété des thématiques et de la diversité des utilisations, l’Insee doit organiser au mieux son offre de fichiers, en commençant par définir leur contenu. Toute la difficulté est de créer des fichiers de données avec des axes d’analyse (aussi appelés variables) pertinents pour des inseenautes aux profils différents. Par exemple, concernant la thématique des salaires, si un journaliste s’intéresse aux inégalités de genre, il compare les salaires en privilégiant le genre alors qu’une chargée d’études qui suit l’évolution des salaires tout au long de la carrière professionnelle privilégie plutôt l’âge. Il est donc pertinent de proposer un jeu de données sur les salaires moyens croisés selon les axes d’analyse « genre » et « âge » afin de satisfaire ces deux besoins.

La taille des fichiers de données est aussi un élément important de l’offre. Les fichiers ne doivent être ni trop gros (difficilement exploitables par les inseenautes), ni trop petits (nécessité d’en consulter beaucoup pour analyser un sujet). Par exemple, un fichier de données issues du recensement de la population contenant toutes les informations de l’Insee sur la population française serait beaucoup trop gros et l’inseenaute s’y perdrait facilement. Il doit être fractionné selon des thématiques comme le logement, la famille ou la population étrangère et immigrée. Un découpage peut aussi se faire par le degré d’information : un fichier sur le logement avec les informations principales à connaître, complété par un fichier contenant des informations complémentaires, à destination d’inseenautes plus spécialistes.

Afin d’en faciliter l’exploitation, le format des fichiers de données est généralement normé. Les formats dits plats sont utilisés, au premier rang desquels le format CSV ou plus récemment Parquet (Dondon et Lamarche, 2023) car ils sont facilement lisibles dans un langage de programmation, voire dans un tableur si le fichier n’est pas trop volumineux.

Le contenu statistique des fichiers est également normé. D’une part, chaque colonne du fichier correspond à une variable déclinée selon ses modalités. Ensuite, les fichiers ne contiennent pas de libellés au niveau des titres de colonnes ou des lignes mais des codes, lesquels sont plus faciles à utiliser quand on veut exploiter le fichier : le titre de colonne est un code relatif à une variable (par exemple le code AGE pour l’âge) et chaque cellule de cette colonne est un code relatif à des modalités de cette variable (par exemple le code « Y35T39 » qui représente la tranche d’âge de 35 à 39 ans). Enfin, les valeurs dans chaque colonne sont dans un même format. Les principaux formats sont la date, la chaîne de caractère, ou le format numérique. Comme le format de chaque colonne est fixe, le contenu de cette dernière peut être exploité plus rapidement par des outils informatiques d’analyse de données.

En accompagnement du fichier, les codes de variables et de leurs modalités sont documentés dans un dictionnaire de codes où ils sont associés à des libellés et regroupés dans des listes de codes. Par exemple, le code de variable AGE a pour libellé Âge et possède une liste de codes formée de codes comme Y35T54 (de libellé « de 35 à 54 ans ») ou Y_GE75 (« 75 ans ou plus ») (figure 2). Les variables du fichier peuvent également être attachées à des concepts sémantiques bien définis. Dans l’exemple, la variable de code AGE sera attachée à un concept d’âge qui précise s’il s’agit de l’âge en années révolues ou calendaires. De même, des informations générales des tableaux de données comme des précisions dans le titre, l’unité de mesure, le caractère provisoire ou révisé des données sont formalisées et regroupées dans des variables et des listes de codes.

Figure 2 - Modélisation de la variable âge

L’ensemble de ces descriptions des données, nommé métadonnées de structure, est essentiel pour comprendre les données (Bonnans, 2019). Lorsqu’un inseenaute s’intéresse à un sujet, il souhaite généralement obtenir toutes les informations disponibles sur celui-ci. Il faut donc que les variables soient comparables d’un fichier de données à un autre lorsqu’elles ont le même sens. D’où l’importance, la nécessité même, d’harmoniser les métadonnées identiques des différents fichiers de données, pour rendre cohérentes les données entre sources. Pour ce faire, une norme de description en conformité avec les standards internationaux est utilisée par l’Insee.

Une notion structurante de la diffusion est celle de « jeu de données » (ou « dataset » en anglais) qui renvoie aux informations contenues dans le fichier de données. Il convient de bien dissocier cette notion de celle de fichier, un même jeu de données pouvant se présenter dans plusieurs fichiers de format différent.

Les jeux de données vont être structurés sous forme de « cubes multidimensionnels » ou « hypercubes » dont les dimensions sont les axes d’analyse. On dénombre plusieurs centaines de tels axes dans toute la diffusion de l’Insee ; les plus fréquents sont l’âge, le sexe, la catégorie socioprofessionnelle, le secteur d’activité ou la catégorie d’entreprise (d’un point de vue juridique ou selon la taille). Au croisement des dimensions de ces cubes, on trouve les valeurs des indicateurs, comme le nombre d’habitants, le nombre d’entreprises ou le revenu.

Ces cubes multidimensionnels sont décrits via le standard international SDMX, et plus particulièrement son modèle d’information. Il est utilisé par l’Office statistique de l'Union européenne Eurostat dans ses échanges de données avec les États membres et par les Nations Unies pour les indicateurs des objectifs de développement durable. Les portails de ces sites explicitent distinctement cette norme descriptive et son format d’utilisation sur des pages dédiées de la rubrique sur les données. Le dictionnaire de codes du cube y est appelé Définition de Structure de Données (ou « Data Structure Definition » en anglais, abrégé en DSD). Les variables du cube sont de trois types : les mesures, les dimensions et les attributs. Ces composants sont définis comme suit :

Avec cette modélisation, un tableau de la population nantaise ventilée selon différents axes correspond à un cube multidimensionnel où la mesure est la population, où les dimensions sont le sexe, l’âge, la catégorie socioprofessionnelle, la commune, l’année et où l’attribut « nombre de personnes » indique que la population est mesurée en unités et non pas en milliers de personnes par exemple (figure 3). Autre exemple : à partir du tableau « Chiffres-clés » sur l’enquête Cadre de Vie et Sécurité sur le nombre de victimes d’agression ou de vol hors ménage selon l’âge et le sexe, la mesure est le nombre de victimes d’agression ou de vol hors ménage. Il est mesuré selon trois dimensions que sont le sexe, l’âge et le type de violences. Les unités de mesure (valeurs en milliers de personnes, taux de plainte en pourcentage) sont informatives et constituent donc des attributs.

Les dimensions et leurs listes de codes sont réutilisables d’un jeu de données à l’autre, ce qui permet de filtrer les jeux de données qui contiennent la dimension recherchée (par exemple l’âge), voire d’aller plus loin en filtrant plus précisément ceux qui contiennent tel code de cette dimension (concrètement une tranche d’âge particulière). C’est une fonction de recherche très utile pour un catalogue.

Figure 3 - Un cube de données sur la population active de 15 ans ou plus à Nantes en 2020 selon le sexe, l’âge et la catégorie socioprofessionnelle

Lecture : À Nantes en 2020, 732 femmes de 15 à 24 ans sont ouvrières et 29 hommes de 25 à 64 ans sont agriculteurs exploitants. Les valeurs sont affichées pour les croisements de dimensions visibles.
Source : Insee, recensement de la population 2020.

Concevoir et structurer les jeux de données n’est pas suffisant. Encore faut-il que l’inseenaute en connaisse l’existence ! Pour cela, ils sont généralement présentés dans un catalogue dédié. Grâce à cet outil, l’inseenaute recherche, selon différents critères, le jeu de données de son choix puis obtient des informations et accède aux données associées. Les critères de recherche sont très importants pour permettre de trouver les fichiers efficacement ; et plus la description des jeux de données est claire, plus le résultat de la recherche sera précis.

Pour bien les décrire, des standards internationaux sont mobilisables comme DCAT. Ce standard décrit les métadonnées de catalogage, c’est-à-dire les champs pertinents d’un jeu de données qui sont autant de critères de recherche possibles : par exemple, sa date de création, son thème, son millésime, sa maille géographique (commune, département, région, etc.) ou encore sa source. Le standard DCAT aide notamment à assurer la comparaison internationale entre les jeux des différents instituts nationaux de statistique (INS). Au final, un jeu aura donc deux types de métadonnées : ses métadonnées de catalogage et ses métadonnées de structure (figure 4).

Une fois les jeux de données décrits, ils peuvent être présentés dans une interface Web de catalogue afin d’y accéder facilement. Cette interface présente l’ensemble des jeux de données et permet à l’internaute de les filtrer selon les critères de recherche. Elle affiche également des informations supplémentaires sur chaque jeu (résumé ou couverture temporelle des données).

En pratique, les catalogues disponibles sur les sites internet de statistiques publiques organisent majoritairement leurs jeux de données par une entrée thématique (démographie, emploi, etc.) puis une arborescence plus fine des thèmes pour obtenir le jeu de données souhaité. Un catalogue est disponible sur le site d’Eurostat pour consulter les différents jeux des données statistiques européennes.

C’est également le cas de l’institut de statistique allemand Destatis qui met à disposition ses données statistiques via son catalogue Genesis. Comme souvent, ce site sépare le catalogue des autres informations statistiques (tableaux, publications, etc.). Les jeux sont accessibles via la déclinaison de chaque thème. En sélectionner un permet de le visualiser avant de le télécharger. Il en est de même pour le site Agreste du service statistique du ministère de l’Agriculture qui propose dans la rubrique « Chiffres et analyses », l’accès aux tableaux interactifs par une arborescence thématique.

L’Insee dispose d’un tel catalogue qui permet un accès plus direct à la donnée via toutes les facettes de recherche (figure 5). Conçu dans le cadre d’un projet de modernisation de la diffusion, ce catalogue a vocation à intégrer l’ensemble des données statistiques de l’Insee, tout en répondant aux deux critères d’accessibilité et de clarté du Code de bonnes pratiques de la statistique européenne.

Figure 4 - Les métadonnées d’un jeu de données

Figure 5 - Catalogue des jeux de données de l’Insee en ligne (https://catalogue-donnees.insee.fr)

Lecture : Les facettes à gauche permettent de filtrer selon différents critères. Les jeux de données sont alors affichés à droite. En sélectionnant le jeu souhaité, on obtient sa description. On peut télécharger le jeu de données au format CSV, et parfois sous forme de fichiers XLSX.

Une fois le jeu de données choisi dans le catalogue, il est intéressant de l’explorer dynamiquement et de construire ses propres extractions de tableaux. Les INS sont nombreux à proposer ce moyen souple d’exploration. Sur le site de l’Institut italien Istat, l’internaute choisit un jeu de données, le visualise directement et accède à la documentation de chaque variable et modalité en cliquant sur les multiples points d’information. L’internaute personnalise ensuite le jeu de données par une sélection des variables et/ou modalités. À l’inverse, le site de l’institut néo-zélandais propose tout de suite de construire son tableau avant de le prévisualiser et de l’exporter. Les explorateurs de ces deux sites sont particulièrement complets concernant le choix des caractéristiques des données (unités, présence ou non des lignes ou colonnes vides de valeurs pour les modalités sélectionnées, etc.) et proposent plusieurs formats d’export des données sélectionnées, pouvant inclure des informations sur les données (provisoire, révisée, etc.).

En France, le site Agreste du ministère de l’Agriculture présente ses cubes en ligne et permet, par exemple, de consulter les cubes issus du recensement agricole sur les exploitations. De même, l’explorateur attaché au catalogue de données sur insee.fr est similaire et permet d’extraire une partie d’un jeu de données en sélectionnant les modalités pertinentes des différents axes. Par exemple, une chargée d’études d’une mairie étudiant les logements locaux pourra filtrer les données de recensement de la population sur sa commune et les communes avoisinantes.

Ces services permettent différents modes d’exploration de cubes multidimensionnels qui peuvent se résumer comme suit :

Figure 6 - Cube et tranche de cubes sur les salaires nets moyens en 2021 selon le sexe, l’âge et la catégorie socioprofessionnelle

Lecture : À partir du cube sur les salaires nets moyens en 2021, on peut extraire une tranche de cube sur les salaires nets moyens des personnes de 50 à 59 ans ; on peut ensuite cibler une tranche de cube sur les salaires nets moyens des femmes de 50 à 59 ans.
Source : Base Tous salariés 2021.

Ces services d’exploration de données sont destinés à tous les publics, des particuliers pour rechercher des informations à titre personnel aux professionnels traitant de nombreuses données. Le plus souvent, les personnes intéressées ont toutefois un profil de statisticien ou d’économiste, et les professionnels qui exploitent les données de manière automatique et régulière ont besoin d’autres moyens plus techniques.

La consommation de données se fait de plus en plus de machine à machine via des traitements automatisés. C’est le cas, en particulier, des sociétés qui veulent intégrer directement les données de l’Insee dans leur propre système d’information. L’Insee met ses données à disposition via une API, service web pouvant alimenter des applications clientes directement à partir de ses bases de données. Le principe de fonctionnement est le suivant : l’application cliente de l’API est programmée pour interroger régulièrement l’API afin de détecter les mises à jour de données, et le cas échéant, récupérer les dernières informations via une requête (encadré). Ce mode de consommation est particulièrement intéressant, car il évite de télécharger manuellement des fichiers sur le site insee.fr et permet grâce au paramétrage de la requête de récupérer uniquement les données d’intérêt (Jacobson et alii, 2011). On parle d’interface machine-machine, car la récupération se fait automatiquement par le programme client, sans aucune intervention manuelle.

De nombreux organismes proposent des APIs (Ouvrir dans un nouvel ongletBoyd et alii, 2020). Par exemple, la Cnav (Caisse Nationale d’Assurance Vieillesse) propose une API qui permet de lire des données mises à disposition, comme le nombre de retraites au 31 décembre selon le genre, le montant global de la retraite au 31 décembre par type de droit ou le montant mensuel moyen de la retraite.

C’est le cas aussi de l’OCDE ou de l’institut canadien StatCan. De la même manière, l’Insee offre déjà aujourd’hui des APIs pour différents domaines comme la Banque de données macroéconomiques (BDM) pour les séries macroéconomiques ou la Diffusion de Données Locales (DDL) pour les données locales : elles seront remplacées par une unique API appelée Melodi grâce à une modernisation de la diffusion à l’Insee.

Cette forme de mise à disposition de données est particulièrement intéressante pour leur diffusion, car elle démultiplie le potentiel de réutilisation des données statistiques. En effet, les outils de datavisualisation s’appuient généralement sur les APIs. Ainsi, l’outil de datavisualisation des salaires sur insee.fr permet d’interroger les données de salaires sous différents angles tels que le métier, la catégorie socioprofessionnelle ou encore le sexe. Lorsque l’internaute choisit une profession pour en connaître le salaire moyen, une requête est faite à l’API de l’Insee qui trouve le chiffre recherché dans la base de données de diffusion de l’Insee et l’envoie à l’outil, qui l’affiche. L’API envoie la valeur disponible la plus fraîche possible puisqu’il a accès directement à la base de données de diffusion. Cet outil sur les salaires reçoit la valeur et l’affiche.

Pour offrir les services décrits précédemment (catalogue, description des cubes, explorateur de données, API), l’Insee s’est engagé dans un projet de modernisation appelé Melodi. Ce vaste projet de transformation numérique, qui conduit à une standardisation des données diffusées à l’Insee, repose sur plusieurs principes :

Figure 7 - Le nouveau processus de diffusion des données à l’Insee

Par ailleurs, la mise en place de Melodi constitue une réelle opportunité de revoir l’offre actuelle de données. Tout d’abord, cela conduit à revoir le contenu statistique de la diffusion : décider si des fichiers très peu téléchargés sont maintenus et à l’inverse développer des thèmes très demandés ou nouveaux. Ensuite, il s’agit de redessiner l’offre autour du catalogue de jeux de données, qui constitue un point d’accès central, et de son explorateur. On peut réduire l’offre de fichiers XLSX en la recentrant sur les indicateurs les plus demandés, et inviter les inseenautes qui cherchent des données plus spécifiques ou plus détaillées à consulter l’explorateur pour construire leurs propres tableaux ou alors télécharger les fichiers contenant l’ensemble du jeu de données.

Ce besoin d’utilisation massive de données statistiques s’avère de plus en plus important et nécessite de mener à bien des évolutions conceptuelles et techniques pour y répondre. On pense notamment à la technologie données ouvertes connectées (Linked Open Data ou LOD). Le principe est de structurer les données autour de métadonnées qui sont des ressources universellement utilisées. Par exemple, la région Nouvelle-Aquitaine serait référencée sous la forme d’une « ressource » Internet unique et toute donnée portant sur cette région pointerait vers cette ressource. À la différence d’aujourd’hui où chaque producteur de données est libre de codifier cette région comme il veut, à l’avenir il devrait faire référence à cette codification universelle. Ce recours à des métadonnées universelles permettrait d’assurer une comparabilité entre jeux de données.

Au-delà de la sphère de la statistique publique, l’intelligence artificielle (IA) ouvre la voie à de nouveaux services d’interrogation de la donnée pour la rendre encore plus accessible. La description des métadonnées associées aux données facilite grandement leur compréhension par des algorithmes d’intelligence artificielle. C’est particulièrement utile pour des outils de type chatbot/statbot où l’internaute pose une question – par exemple quel est le dernier taux de chômage ? – question ensuite interprétée par un algorithme d’IA pour interroger la base de données et envoyer la réponse ; la qualité de la description des données sera alors un facteur déterminant dans la capacité de l’IA à répondre de manière pertinente.