Lettre Sirene open data actualités n° 11 22 juillet 2021
La lettre Sirene open data actualités est une lettre d'information de l’Insee destinée aux utilisateurs des données Sirene.
Quoi de neuf ?
La nouvelle API Métadonnées a remplacé l'API Nomenclatures :
API Sirene : état des services
L'API Sirene a été indisponible pendant quelques heures les vendredi 4 juin après-midi, lundi 7 juin après-midi et lundi 14 juin midi ; la mise à jour des données n'a pas pu être quotidienne entre le 4 et le 16 juin. Ces dysfonctionnements étaient dus à une panne matérielle d'un équipement d'infrastructure, qui est maintenant résolue. Cette panne n'a fait peser aucun risque sur l'intégrité et la sécurité des données traitées par l'Insee, et n'a pas d'origine extérieure. D’une façon générale, les dernières informations sur les actualités se trouvent dans l’onglet Informations du catalogue des API.
Opération de mise à jour spécifique
Plus de 160 000 micro-entreprises, inactives depuis 24 mois, ont été radiées d'office
par les services de l’URSSAF.
Pour l’API Sirene, cette opération a entraîné un supplément quotidien de mises
à jour d’unités légales et d'établissements, à partir du vendredi 9 juillet.
Diminution des valeurs maximales nombre et debut pour les sorties csv.
Afin de maintenir la qualité de service pour tous les utilisateurs, les valeurs maximales des paramètres nombre et debut pour les sorties csv seront modifiées à partir du 02/08/2021 :
- La valeur maximale du paramètre nombre sera ramenée à 200 000 au lieu de 1 000 000 actuellement.
- La valeur maximale du paramètre debut sera ramenée à 10 000 au lieu de 1 000 000 actuellement.
Point de vigilance sur l'en-tête content-type
Actuellement, l'API Sirene renvoie une réponse sans erreur dans des cas où l’en-tête (Header) content-type est mal renseigné. Dans le futur, les contrôles seront plus stricts : la présence de l’en-tête content-type dans une requête GET générera une erreur HTTP 415, sauf si elle a pour valeur text/plain. Il faut donc s'assurer que l’en-tête content-type n'est utilisé que dans les cas pertinents, c’est-à-dire pour les requêtes POST, ou alors que sa valeur soit text/plain pour les requêtes GET.
Zoom sur…
Constituer et mettre à jour son propre référentiel :
Constituer son référentiel
Pour constituer votre référentiel vous devez d’abord télécharger la base Sirene complète qui est disponible en open data sur Ouvrir dans un nouvel ongletdata.gouv.fr
Pour limiter la taille des fichiers, la base est découpée en cinq fichiers stocks :
- stockUniteLegale
- stockUniteLegaleHistorique
- stockEtablissement
- stockEtablissementHistorique
- stockEtablissementLiensSuccession
Les variables associées à l’unité légale (catégorie juridique, raison sociale...) et celles liées à l’établissement (enseigne, adresse...) se trouvent dans des fichiers stocks différents. Certaines variables sont également historisées. Si vous n'êtes intéressés ni par l'historique des valeurs, ni par les liens de succession entre établissements, les fichiers principaux sont le fichier stock des unités légales (identifiées par leur siren) et le fichier stock des établissements (identifiés par leur siret). La jointure se fait sur le siren qui est indiqué dans le fichier stock des établissements.
Mettre à jour son référentiel grâce à l'API Sirene
Les données de l’API Sirene sont mises à jour chaque nuit. Pour mettre à jour votre référentiel vous devez interroger l’API Sirene en vous basant sur les variables suivantes :
- dateDernierTraitementUniteLegale
- dateDernierTraitementEtablissement
La valeur de ces variables permet de déterminer les unités qui ont été modifiées depuis
la date de référence et donc de réaliser une mise à jour incrémentale.
Utilisez le service informations de l’API pour vérifier les dates de dernier traitement.
Par exemple
La dernière mise à jour de votre référentiel date du le jeudi 20 mai 2021 avec les
mises à jour de la veille.
Votre référentiel a donc comme max(dateDernierTraitementUniteLegale) et max(dateDernierTraitementEtablissement)
le 19/05/2021 21:15:59.
Le vendredi 21 mai, vous pouvez vérifier avec le service informations que l’API
Sirene a bien été mise à jour et que les dates de traitement maximum ont bien été
modifiées. Ces deux variables sont passées au 20/05/2021 21:52:17.
Pour récupérer les valeurs modifiées des variables qui vous intéressent, vous passerez
la requête suivante :
siret?q=dateDernierTraitementEtablissement:[2021-05-19T21:15:59 TO 2021-05-20T21:52:17]
OR dateDernierTraitementUniteLegale:[2021-05-19T21:15:59 TO 2021-05-20T21:52:17]
À noter que cette requête peut retourner des unités dont aucune variable diffusée
par l’API Sirene n’a été modifiée. Les dateDernierTraitement UniteLegale et dateDernierTraitementEtablissement
sont des valeurs issues du répertoire Sirene qui indiquent qu’une action informatique
a eu lieu sur le Siren ou Siret concerné.
La modification de ces valeurs n’induit pas systématiquement une modification
des données.
De plus, il vous faut utiliser les services suivants pour mettre à jour votre référentiel sur les siren dont l’immatriculation est refusée au RCS et les unités non diffusibles :
-
le service Refus d’immatriculation au RCS
Le service siren refusImmatriculationRcs renvoie par défaut tous les siren retirés du répertoire Sirene entre J-1 et J-7. -
le service Non-Diffusibles
Le service siren/siret nonDiffusibles permet de savoir chaque jour, en requêtant sur la date de dernier traitement, quelles sont les unités qui ne sont plus diffusibles depuis la veille et de les supprimer dans votre répertoire.
Il est de la responsabilité de chaque utilisateur de tenir compte du dernier statut de diffusion.
Récupérer une mise à jour de masse dans son propre référentiel :
Pour les sorties Json avec curseur, rien ne change. À noter toutefois que le délai pour récupérer l’ensemble des informations sera logiquement plus long qu’à l’accoutumée.
En revanche, pour les sorties CSV, nous vous recommandons de découper les requêtes de mise à jour en plusieurs blocs :
Par exemple, pour obtenir les informations mises à jour entre le 19/05/21 à 21:15:59 et le 20/05/2021 à 21:52:17, en 10 requêtes de volumes équivalents, vous pouvez passer les requêtes suivantes pour les unités légales en mettant une condition sur le siren :
/siren?q=dateDernierTraitementUniteLegale:[2021-05-19T 21:15:59 TO 2021-05-20T21:52:17] AND siren:*0
/siren?q=dateDernierTraitementUniteLegale:[2021-05-19T 21:15:59 TO 2021-05-20T21:52:17] AND siren:*1
etc...jusqu’à :
/siren?q=dateDernierTraitementUniteLegale:[2021-05-19T 21:15:59 TO 2021-05-20T21:52:17] AND siren:*9
Cependant, si une de ces requêtes renvoie un nombre d’unités supérieur à 200 000, il faudra à nouveau redécouper cette requête en plusieurs requêtes :
Par exemple, si la requête /siren?q=dateDernierTraitementUniteLegale:[2021-05-19T 21:15:59 TO 2021-05-20T21:52:17] AND siren:*1 renvoie 200 000 lignes, il est possible de la redécouper ainsi :
/siren?q=dateDernierTraitementUniteLegale:[2021-05-19T 21:15:59 TO 2021-05-20T21:52:17] AND siren:*01
/siren?q=dateDernierTraitementUniteLegale:[2021-05-19T 21:15:59 TO 2021-05-20T21:52:17] AND siren:*11
...et ainsi de suite jusqu’à :
/siren?q=dateDernierTraitementUniteLegale:[2021-05-19T 21:15:59 TO 2021-05-20T21:52:17] AND siren:*91
La même logique est applicable pour récupérer en CSV les établissements mis à jour suite à une mise à jour de masse.
Le saviez-vous ?
L'API Sirene a été utilisée dans le cadre du paiement du chômage partiel COVID.
L'obtention des données d'identité des entreprises demandeuses d'indemnités d'activité partielle, versées par l'Agence de services et de paiement (ASP), a été réalisée grâce à l'API Sirene qui a ainsi connu une très forte sollicitation, notamment lors du premier confinement.
Prochainement
Mises à jour de masse : La prochaine mise à jour des effectifs et des catégories d’entreprises aura lieu le 28/09/2021, et devrait être disponible en fin de matinée.
Effectifs 2019
Les variables trancheEffectifsEtablissement et trancheEffectifsUniteLegale seront mises à jour avec les valeurs au 31/12/2019, quand elles sont connues. Les variables anneeEffectifsUniteLegale et anneeEffectifsEtablissement prendront alors la valeur 2019. Pour les unités dont on ne connaît pas les effectifs en 2019, la valeur 2018 sera conservée, si elle existe.
Rappel :
Les variables trancheEffectifsEtablissement et trancheEffectifsUniteLegale ne sont pas systématiquement renseignées. Seuls les effectifs connus grâce aux enquêtes
sont renseignés.
Catégories d’entreprises 2019
La variable categorieEntreprise sera mise à jour avec la valeur 2019, quand elle est connue. La variable anneeCategorieEntreprise aura alors la valeur 2019.
Cette mise à jour de masse ne modifie pas les dates de dernier traitement des
unités légales et des établissements (dateDernierTraitementUniteLegale et dateDernierTraitementEtablissement).
Pour les récupérer, il faut faire une requête avec la condition anneeCategorieEntreprise:2019.
Toutes ces mises à jour seront prises en compte dans le fichier stockUniteLegale du 1er octobre disponible sur la page Ouvrir dans un nouvel ongletBase Sirene des entreprises et de leurs établissements (SIREN, SIRET) du site data.gouv.fr.
API Sirene : nouvelle variable société à mission
L'API Sirene intègrera prochainement la nouvelle variable société à mission. Elle permettra d'identifier les sociétés à mission et les entreprises du champ ESS, sans toutefois modifier les programmations existantes pour l’ESS. Cette variable sera historisée.
Description : L'article 176 de la loi du 22 mai 2019 relative à la croissance et la transformation des entreprises, dite loi Pacte, introduit la qualité de société à mission. Il permet à une société de faire publiquement état de la qualité de société à mission en précisant sa raison d'être ainsi qu’un ou plusieurs objectifs sociaux et environnementaux que la société se donne pour mission de poursuivre dans le cadre de son activité.
La nouvelle API Métadonnées, ouverte depuis le 21 décembre 2020, remplace l’API Nomenclatures qui a été retirée du catalogue des API depuis le 1er juin 2021.
Reprenant les services de l’API Nomenclatures, l’API Métadonnées donne accès aux métadonnées statistiques relatives à la production du service statistique public et est enrichie régulièrement par de nouveaux services. Les 59 services actuellement disponibles interrogent la nomenclature d'activités française (NAF rév. 2), la nomenclature des catégories juridiques (CJ), le code officiel géographique (COG) et des zonages d'étude. Deux services donnent des informations sur les définitions des concepts statistiques de l'Insee et quatre autres sur les opérations statistiques et indicateurs ainsi que leur rapport qualité associé.