Cedric Villani vient prendre des nouvelles de nam.R au WebSummit

Ecrit par nam.R team Le 07/11/2018

Lors de la rédaction de son rapport AI for Humanity, donner un sens à l’intelligence artificielle, Cédric Villani avait auditionné nam.R et reçu une contribution qui a été intégrée dans la quatrième partie : “L’intelligence artificielle au service de la transition écologique”. En particulier, Cédric Villani rappelle l’importance de continuer le mouvement d’ouverture des données (écologique, publiques et privées) dans lequel nam.R s’inscrit. Il conclut que :

“Cette libération pourrait servir à encourager les innovations qui ouvrent la voie à des actions rapides : rénovation mutualisée de l’habitat, valorisation des énergies renouvelables, efficacité énergétique, facilitation des circuits courts, valorisation des déchets des particuliers et des industriels, permis de construire, permis de démolir, etc…”

C’est avec cette exacte volonté que nam.R a été créé il y a deux ans et que nous nous sommes fixés la mission de rendre la donnée accessible, actionnable pour la transition écologique. Nous sommes aujourd’hui quarante personnes, avec une forte composante technique (25 personnes dans l’équipe technique, 15 data scientist, 7 PhD) et des expertises multiples dans l’analyse d’imagerie satellite, le traitement de données géolocalisées et la mise en relation de données très hétérogènes comme celles issues de l’Open Data.

Lors de sa visite hier sur notre stand du WebSummit, Cédric Villani a en particulier pu tester les plateformes sola.R (qui référence des information techniques sur les toitures et leur environnement pour cibler les meilleurs toitures à solariser, créer des grappes locales de déploiement et optimiser la transition vers une énergie plus verte) et enRgy (qui référence des informations morphologiques et énergétiques des bâtiments et de leur environnement afin de cibler des opérations d’efficacité énergétique, obtenir des rendements d’échelle en faisant des opérations groupées et plus généralement optimiser l’efficacité énergétique du parc français).

Merci Cédric d’être venu nous voir au WebSummit et à bientôt !

Une Data Library au service de la valorisation des données externes

Ecrit par Nicolas Berthelot Le 30/01/2018

Open data issues des secteurs privé comme public, données des réseaux sociaux, plateformes de données privées, le web est une source infinie de données externes. Tous types de formats sont diffusés : tables de données, données géolocalisées, API, images ou encore textes. Comment tirer profit de toute cette valeur dans le cadre de processus Big Data ?

Avant de vous présenter la solution qui a été développée par nam.R, il est important de mieux en comprendre les activités. nam.R est un producteur de données qui a pour particularité de ne mobiliser dans ses processus Data Science que des données externes. Ce principe fondateur a pour avantage de ne pas faire dépendre nam.R des données de partenaires qui pourraient fixer des exclusivités quant à l’usage de leurs données. nam.R a développé une expertise dans les données concernant tous les secteurs de la transition écologique : développement des énergies renouvelables, opérations d’efficacité énergétique, smart grids, circuits courts… Ses équipes de Data Science exploitent des données géolocalisées mais aussi des images ou des données textuelles afin de construire à la maille la plus fine une information actionnable par une grande variété d’acteurs.

Dans la mesure où la donnée externe constitue l’unique source de données exploitée par nam.R, il est nécessaire d’en exploiter toute la richesse. C’est pourquoi la start up a entrepris de construire une base de connaissance structurée la plus vaste possible.

La première exigence de cette base était qu’elle soit exhaustive de toutes les sources de données structurées en France. Pour cela un travail important de recensement des sources open data et de données fermées a été crucial et suscite une veille permanente. A partir de cette liste, nam.R a pu développer des scrapers qui parcourent quotidiennement les pages de ces sites web. Ces scrapers téléchargent tous les datasets et en récupèrent de manière structurée toutes les métadonnées disponibles.

La seconde exigence était d’harmoniser l’information disponible sur chacune des bases de données afin de pouvoir les requêter de manière équitable. Pour cela, le développement de miners a été nécessaire. Les miners complètent les scrapers car ils parcourent les fichiers téléchargés en eux-mêmes. Ils tirent de nombreuses informations sur chacun des fichiers comme le nombre d’enregistrements, le nombre de variables, l’en-tête et le type de chacune des colonnes et (prochainement) même une thématique ou plusieurs à partir d’un traitement à base de Natural Language Processing.

Enfin, la troisième exigence est de parvenir à mettre en place un pipeline fluide d’intégration de la donnée externe au sein de processus de traitement en Machine Learning. La robustesse du pipeline repose sur sa capacité à s’adapter à la mise à jour de la donnée source. Alerté par les scrapers, le Data Scientist peut mettre à jour les bases de données qu’il traite en amont du flow. A court termes la Data Library sera en capacité de scorer les évolutions issues de la mise à jour du dataset. Si le schéma reste cohérent et que le nombre d’enregistrements n’est pas décuplé, le dataset peut automatiquement être mis à jour.

Les opportunités qu’ouvrent l’open data ou la multiplication des marketplaces de data doivent être saisis avec de nouveaux outils. La Data Library de nam.R cherche à être à la hauteur de ces enjeux. Toujours en phase de développement, cette Data Library a déjà de nombreux usages en interne. De premières exploitations ouvertes au public se feront en février dans le cadre de l’observatoire de l’open data que nam.R développe en partenariat avec l’association OpenData France, Etalab et la Cour des Comptes.

Rapport au gouvernement “Les données géographiques souveraines”, des propositions ambitieuses dans un cadre clarifié

Ecrit par Nicolas Berthelot Le 20/07/2018

Rapport au Gouvernement “Les données géographiques souveraines”, Valéria FAURE-MUNTIAN, députée de la Loire, Juillet 2018 : Disponible ici

La donnée géographique souveraine comme ‘nouveau’ cadre de réflexion pour une data stratégie nationale

Le récent rapport sur les données géographiques propose un nouvel angle d’analyse sur les données géographiques produites en France. Tout d’abord le rapport nous rappelle que les données géographiques sont extrêmement variées dans leurs sujets (description du territoire dans ses aspects physiques naturels, artificiels, visibles comme invisibles) mais ont pour particularité de toutes trouver leur utilité directement de leur composante géolocalisée. Le rapport propose une distinction intéressante entre les données “socle” (fond de carte agnostique des usages qui en seront faits) et les données “métier” (données géographiques produites dans le cadre d’un besoin d’une mission).

Le rapport a également pour grand intérêt de proposer une définition très claire de ce qui donne à une donnée géographique un caractère souverain. Cette souveraineté sera tirée de l’ indépendance dans laquelle elle est produite (le rapport n’exclut pas que la donnée puisse être produite par un tiers privé mais insiste sur le fait que la puissance publique doit pouvoir maîtriser techniquement la production, de l’acquisition jusqu’au stockage de l’information) et de l’ autorité qu’aura la donnée géographique diffusée par l’Etat. Par autorité, le rapport reprend assez largement le travail de l’administrateur général des données dans le rapport sur les données de référence ; l’autorité d’une donnée ne se décrète pas, elle doit faire autorité, c’est-à-dire s’imposer d’elle-même par sa qualité et sa réutilisabilité (à ce titre on pourrait être surpris de ne pas retrouver la mention aux principes FAIR dans ce rapport). C’est sur cette dimension d’autorité qu’une partie conséquente du rapport va s’appuyer pour défendre plusieurs propositions.

Les propositions fortes du rapport

Créer un point d’accès unique à la donnée géographique sous la responsabilité de l’IGN

La création d’un guichet unique de la donnée est un pari qui a été entrepris à plusieurs reprises à travers des projets comme le Géoportail, le Géocatalogue ou encore geo.data.gouv.fr. Il est évident que chacun de ces points d’accès est très spécifique et beaucoup d’utilisateurs (nam.R inclu) témoignent des nombreuses barrières à l’entrée que chacune de ces plateformes représentent. La nouvelle mouture de geo.data.gouv.fr de cet été augmentera probablement le degré d’utilisabilité de cette plateforme qui s’impose progressivement comme référence. Le choix de désigner l’IGN comme porteur d’un nouveau portail peut être intéressant étant donné les ressources et compétences disponibles au sein de l’Institut, néanmoins on peut émettre certaines réserves sur ses capacités à imposer un nouvel espace qui fera autorité.

L’introduction de la DINSIC au sein du CNIG (en tant que secrétaire) et la faire siéger ès-qualité au conseil d’administration de l’IGN

La DINSIC rattachée au Premier Ministre pourrait prendre une place de plus en plus importante au sein de la gouvernance de l’IGN et du CNIG. Cela est justifié par le fait que la mission des producteurs de données géographiques se veut de plus en plus interministériel et non l’apanage des seuls ministères chargés du développement durable et de l’agriculture.

Transférer à l’IGN la mission topographique de la DGFiP

S’il ne s’agirait dans un premier que d’une évaluation des impacts techniques et organisationnels, juridiques et financiers d’un transfert des missions topographiques de la DGFiP à l’IGN, cette prise de décision pourrait être salutaire dans la perspective de la réalisation de la RPCU.

Mandater l’IGN pour jouer un rôle plus actif dans la réalisation du PCRS

Le Plan de Corps de Rue Simplifié est un projet fantastique initié en 2011. L’Afigéo a même déclaré lors des Géo Data Days (3-4 juillet 2018, Le Havre) qu’il faisait des émules à l’étranger par la grande qualité des spécifications dont il a fait l’objet. Dynamiser sa réalisation grâce à un mandat plus clair de l’IGN en tant que pilote permettrait de concrétiser ce superbe projet. L’IGN a déjà déclaré à l’occasion des Géo Data Days qu’il se positionnerait comme un acteur actif sur le PCRS 1.

Poser un principe de gratuité de la mise à disposition des données géographiques souveraines, imposer la licence ouverte comme unique référence

C’est peut-être sur cette dernière proposition que la rapport était le plus attendu. Celui-ci est ambitieux : il propose non seulement de garantir l’accès gratuit aux données géographiques souveraines mais de le faire dans des conditions permettant sa plus libre réutilisation (qui est permise par la licence ouverte, plus largement que la licence ODbL ou d’autres licences Share Alike). Ces principes d’accès libre et gratuit aux données géographiques souveraines pourra certainement permettre le développement d’un plus grand nombre de projets mobilisant des données géographiques de qualité. Cela aura également pour vertu de renforcer l’autorité des données dans la mesure où elles deviendraient plus aisément les données de référence d’un domaine. Néanmoins, il ne faut pas écarter le risque de la diminution en qualité des données géographiques souveraines si des manques venaient à subvenir, la réutilisation qui est au principe de l’autorité de la donnée souveraine ne pourra être effective que si la qualité des données et des métadonnées est maintenue ou améliorée.