Forum OSM France

À quand des imports +/- automatiques des BAL?

Bonjour à tous,

Question naïve suite à la présentation des nouveautés de BANO au State of the Map France : qu’est ce qui nous empêche d’importer automatiquement des adresses d’une base adresse locale (BAL) dans OSM ? (propos choquant désolé :open_mouth: )

Je détaille un cas concret qui serait représentatif d’une démarche intelligente et qui me semble correspondre à la philosophie OSM :

  • On a une commune dans OSM qui n’a pas ou peu d’adresses renseignées (5 adresses rajoutées en 2013, pas modifiées depuis)
  • En face, on a une base adresse locale qui a été publiée il y a 2 semaines, et dont 100% des adresses sont certifiées ( = revue manuelle et minutieuse de la part de la mairie, celles-ci font foi et ont valeur officielle)
  • Pourrait-on se dire que dans ce cas là, la BAL vient remplacer ces adresses OSM clairement périmées et incomplètes via un processus en un clic pour un contributeur (à la processus d’intégration semi-automatique du cadastre) ? Voire si on est fous-fous via un bot bien dressé quand il n’y aucune ambiguïté ?

Évidemment, ce cas là est extrême (mais pas pour autant si rare que ça ?), on aura sans doute des situations plus nuancées. À voir si dans ce cas :

  • On gère des imports rue par rue (une rue OSM n’a pas d’adresse, elle a 100% de ses adresses certifiées dans la BAN, hop on importe)
  • On présente les manques / différences dans Osmose (je n’ai pas trouvé d’analyse adresses BAL dans Osmose, mais il y en a peut-être une ?) pour revue manuelle classique
  • On travaille avec l’équipe de la BAN pour récupérer les contributions faites via l’outil Mes Adresses au moment de leur envoi (c’est comme si on avait un « vrai » contributeur en face)
  • Ou autre scénario…

J’ouvre la discussion pour clarifier ce sujet, voir comment on peut passer à l’échelle en terme de disponibilités d’adresses propres dans OSM, et avoir les retours éclairés des personnes qualifiées (ping @vdct @cquest) :wink:

4 Likes

Peut-être juste le fait de faire de l’automatique ? C’est souvent un point qui crispe, je ne t’apprends rien.

De ce que je comprends de ta description d’une vraie commune, celle-ci a une BAL tamponnée qui ne demande qu’à alimenter OSM. Dans un délai que je ne sais quantifier, cette BAL devrait alimenter la BAN, c’est peut-être même déjà le cas, à constater sur cette carte.
Dès que ce sera le cas, au plus tard une semaine après, les adresses de cette commune se trouveront proposées dans Pifomètre, rue par rue, et en tenant compte du stock de numéros déjà connus d’OSM. Si l’outil propose volontairement une granularité rue par rue, il est simple de l’industrialiser un peu : il suffit de cliquer sur le lien x points ou Relation présent en fin de ligne pour chaque voie, de fusionner tous les calques produits, et d’envoyer le tout à OSM. S’il y a peu de voies, donc peu de calques, ça se fait assez rapidement. S’il y a beaucoup de voies, ça devient pénible à faire en une fois, mais c’est un peu voulu : ça oblige à segmenter un peu le travail, c’est dans la philosophie de ce qu’on préconise quand on dit « pas d’import massif ».

Pifomètre travaille en différentiel pour les adresses, les adresses proposées à l’intégration sont celles non déjà reconnues dans OSM

Comme dit plus haut, les adresses des BAL se retrouvent dans la BAN. Je n’ai pas le délai en tête mais ça se retrouve

J’ai peut-être répondu à côté, à toi de dire. En tout cas, discutons :slight_smile:

De ce que tu présentes, Pifomètre est donc un bon candidat pour envisager cette automatisation / facilitation de l’intégration, vu que tout le travail de rapprochement y est déjà carré :grin:

Justement c’est cette philosophie du « fait à la main » qui m’interroge dans ce cas précis, même si l’on sait qu’il y a des personnes déterminées et qui seront motivées de faire ces clics en masse, ce n’est pas ça qui permettra de passer à l’échelle (on a 7 millions d’adresses là où la BAN indique 25 millions). D’où l’idée d’import automatique intelligent, à discuter en tant que communauté de savoir si on veut qu’OSM soit le plus complet possible avec une donnée à priori qualitative, ou si on reste sur du fait main et qu’on assume qu’OSM mettra 15 ans avant d’être exhaustif :slightly_smiling_face:

On discutait dimanche matin dernier au SOTM d’un planet OSM « augmenté », qui aurait entre autres :

  • toutes les adresses de BANO
  • des tags qu’on veut pousser en lieu et place de tags dépréciés
  • des surfaces maritimes pour faciliter la carto
  • des jeux de données OD si on estime que leur ajout à OSM (j’ai pas dit « dans OSM ») s’harmonise bien

le tout dans une logique de faciliter la consommation d’OSM, sans pour autant se précipiter pour faire d’OSM une compilation de jeux OD. Il faut que j’ouvre un fil ici même pour qu’on creuse cette idée

1 Like

Je suis un peu de ton avis @_PanierAvide : sur les communes où y a pas d’adresses, on devrait pouvoir importer en masse les adresses. Je milite aussi contre les TMS et donc le clicodrome inutile Cela n’engage évidemment que moi.
J’avais fait un test d’import d’une commune directement avec le fichier BAN, mais je ne sais plus si j’avais fait une procédure.

L’intérêt d’une incorporation à moyenne échelle des adresses dans OSM est qu’on a la main dessus. Si on fait une version « augmentée » en faisant appel aux adresses via la BAN, on ne peut pas profiter du cercle vertueux de l’ouverture des données et du contributif. On accepte donc que ça ne puisse pas s’améliorer aussi vite et bien que si on cumulait la richesse d’une base de données ouverte et la force de travail que représente les petites fourmis d’OSM.

Qu’on ne se leurre pas, ça m’étonnerait que les communes, une fois leur BAL publiée, fasse le service après-vente. On aura des mises à jour par rapport aux nouveaux lotissements mais je doute fortement que les erreurs passées soient décelées et corrigées

De plus, toutes les adresses ne sont pas dans la BAN : certains bis, ter se rajoutent discrètement sur le terrain. Et il faut souvent affiner la position des points adresses.

Importer les adresses d’une commune vierge permet d’avoir une bonne base de départ et ensuite de peaufiner. Pour faire le tri, on pourrait imaginer un source=import BAL du 202x-xx à remplacer par source=survey s’il y a eu des corrections de terrain. Ainsi les outils d’analyse qualité pourrait continuer de comparer / proposer des intégrations / etc

+1, car il y a un vrai enjeu derrière : faciliter la vie des réutilisateurs vs mettre en péril à terme la logique de boucle vertueuse de contribution comme le disait @LySioS. Mais plus j’y pense, plus je me dis que faciliter les intégrations de jeux OD directement dans OSM serait un bon compromis :

  • Des données exhaustives un peu plus rapidement qu’aujourd’hui pour les réutilisateurs
  • Une contribution initiale moins pénible / rébarbative pour la communauté
  • La garantie de garder la logique de contribution itérative dans OSM

En sachant que l’enjeu n’est pas le même pour toutes les données ouvertes disponibles :

  • 1000 postes de police : ça s’était fait assez bien à la main à l’époque
  • 150000 défibrillateurs : vu la qualité pourrie variable des données, pas d’automatisation possible
  • 25 millions d’adresses : vu le processus de certification, le système de BAL pour être au plus près de la source officielle, les gros manques dans OSM aujourd’hui… L’import et/ou complétion en un clic à la commune me paraît pas déconnant

Pour étayer cette possibilité, il y a quand même le précédent CORINE Land Cover, importé à l’époque alors que la donnée était pas d’une fiabilité absolue :stuck_out_tongue_winking_eye: Un processus qui a eu ses inconvénients, mais qui sur le long terme a été quand même plutôt positif. Avec ce retour d’expérience, on pourrait se permettre d’avoir une logique plus fine et d’avoir un bon compromis vérification de la données / rapidité de contribution.

Est-ce qu’on serait capable d’importer la BAL en mettant les numéro sur les bâtiments plutôt qu’en rajoutant des nodes « flottants » ?

C’est le problème que j’ai eu quand j’ai ajouté des numéros sur quelques communes: c’est compliqué de rattacher les numéros au bon batiment (déjà importé depuis le cadastre)

Ça risque de poser des problèmes pour les bâtiments qui ont plusieurs adresses (des immeubles qui ont plusieurs numéros, voire des numéros dans des rues différentes, par exemple).

Pour ce qui me concerne mes contributions se font à partir de Pifomètre
Et très souvent son traitement révèle d’autres erreurs (noms de voies erronés, ou autres anomalies) et dans ces situations je contacte les services urbanismes de la ville. … et j’obtiens des réponses.

J’ai pu constater aussi des empilements de numéros, ou des doublons avec d’autres voies.
Aussi ma crainte est que tout ces traitements automatisés nuisent à la qualité.
Précisions :
Je ne suis qu’un contributeur lambda non initié aux techniques avancées que vous évoquez.

1 Like

Bof bof bof… je ne suis pas du tout favorable aux numéros sur les polygones de bâtiments, car numéros d’adresses et bâtiments sont deux objets de nature différente vus les nombreux cas possibles:

  • adresses sans bâtiment
  • adresses avec plusieurs bâtiments
  • bâtiments avec plusieurs adresses
  • bâtiments sans adresse
  • bâtiment unique pour une adresse unique (cas courant, mais vraiment pas systématique)

Dans les BAL et la BAN, le point adresse est en général un repère le long d’une voie, point de passage du domaine public au domain privé. C’est comme cela que la majorité des adresses est mappée en France et que les outils BANO (dont pifomètre) proposent l’intégration.

Retour en arrière

Pourquoi n’a-t-on pas importé les adresses de BANO dans OSM ?

La qualité des adresses récupérées à l’époque depuis le cadastre n’était pas d’un niveau suffisant.
Le choix a été fait le faire plutôt de l’intégration, voie par voie, pour pousser les contributeurs à faire les corrections qui s’imposaient.
On sait tous que corriger après coup est bien moins attractif (voire plus complexe) que le faire au moment de l’ajout initial.

Pourquoi avoir diffusé les adresses de BANO à part d’OSM ?

C’était un moyen pour permettre une utilisation de cette masse d’adresses non vérifiées sans attendre la quinzaine d’années évaluées pour intégrer les adresses dans OSM.
Cela met moins de pression sur les contributeurs pour faire de la quantité au détriment de la qualité.

Nouvelle donne

Depuis que les communes ont la capacité de créer leur BAL avec les outils mis en place par etalab et l’ANCT, on a des jeux de données locaux en principe de meilleure qualité car ils ont fait l’objet d’une validation par la commune.

Je pense qu’on peut sauter le pas vers des imports des BAL, qui permet en plus de valoriser le travail des communes.

Il faut par contre se limiter aux BAL, partir de celles-ci et pas de la BAN qui mélange pas mal de sources de qualité variable.

Donc oui, je suis plutôt pour l’import des BAL, mais uniquement du contenu des BAL, rien d’autre venant de la BAN.

2 Likes

Je comprends les objections :slight_smile:

Dans le cas où le point d’adresse est à la limite d’un bâtiment (cas en centre-ville par exemple), je trouve que ça serait bien que le point d’adresse soit au moins situé sur le way délimitant le bâtiment. Surtout que l’objectif derrière une adresse est de trouver la porte d’entrée, pas forcément la boite aux lettres ou le début du chemin privé.

Enfin, avoir le point d’adresse « flottant » est toujours mieux que ne rien avoir dans la base OSM.

1 Like

Si on peut « snapper » le node sur le way du bâti, c’est effectivement mieux, mais cela n’indique pas forcément l’entrée, car les données des BAL ne sont pas aussi homogènes que ça.

On peut toujours repositionner le node à l’entrée quand on sait où elle est et ajouter un entrance=* pour préciser que c’est l’entrée comme indiqué dans le wiki. Cela reste un processus manuel avec le plus souvent besoin de passer sur le terrain car les orthos permettent rarement de visualiser les entrées, Mapillary peut par contre aider pour ça.

C’est clair que quand il ne restera plus qu’à positionner le node sur l’entrée, l’adressage en France sur OSM ne sera plus un sujet.
Par contre, si on importe de la BAL et uniquement de la BAL (ce dont je suis favorable)a priori Pifomètre est adapté si malgré tout il y a des erreurs qui seront corrigées par la suite et pour importer ensuite les nouvelles adresses (rue par rue) qui ne manqueront pas d’arriver. Mais on aura fait le plus gros.
La question est: quel processus?

  • si y a 0 adresses dans OSM
  • si y en a quelques unes (correctes ou pas correctes)
  • comment repérer les créations de BAL

L’import/intégration des BAL par pifomètre peut s’envisager avec:

  • la prise en compte uniquement des adresses BAN avec source « commune » (qui sont en principe issue d’une BAL)
  • et dans ce cas, l’intégration commune complète et pas voie par voie

La BAN contient plusieurs champs qui permettent de repérer les BAL:

  • source position
  • source_nom_voie
  • certification_commune
 certification_commune |  count   
-----------------------+----------
                     0 | 24087846
                     1 |  5958320

Il y a 8232 codes_insee différents avec au moins une adresse certification_commune=1.

Je vais quand même vérifier avec Jérôme Desboeufs si c’est un bon moyen d’isoler les BAL dans la BAN et éviter de repartir des fichiers BAL publiés sur data.gouv, qu’on peut aussi retrouver assez facilement (ils ont tous un tag « bal »).

1 Like

Doute quand même sur ce champ… je vois des communes d’ile-de-france avec quelques adresses certifiées seulement (Clichy, Sarcelles, Yerres).

Clichy et Yerres: pas de BAL listée sur Bases adresse locales | adresse.data.gouv.fr
Sarcelles: il y a une BAL avec 5792 adresses, mais dans la BAN on n’en a qu’une seule certifiée

A clarifier donc !!! (j’ai poké Jérôme)

d’accord également, je récupère dans pifomètre et je les déplace en fonction de ce que j’ai vu sur place

Par contre avec la BAN, je prends un exemple si je prends la 1ère ligne de https://bano.openstreetmap.fr/pifometre/top_adresses_manquantes.html#dept=31 à Fos j’aurais 234 adresses à intégrer à « Village »
Alors qu’il y a des voies déjà numérotés : par exemple, il y a dans OSM le bâtiment avec le 1 Rue le Pas du Moine (1 point vert dans Bano) et la BAN propose pour le même bâtiment le n° 386 avec addr:street Village …

Ton exemple n’est pas le bon, La commune de Fos n’a pas publié de BAL (base adresse locale) donc les adresse de le BAN et donc celle de pifometre proviennent d’autres source, ici c’est le cadastre :

Donc ça ne fait pas partie des adresses dont il est question dans cette discussion et qui pourraient faire l’objet d’une futur importation automatique.
Sur les pages de pifometre, on ne peut pas voir la source des adresses.

Désolé pour le bruit :confused: