Créer une carte à partir d'une liste d'adresse

Extraire des données OSM, créer sa carte, uMap, utiliser sur un GPS ou un smartphone...
Répondre
Thierry

Créer une carte à partir d'une liste d'adresse

Message par Thierry » jeu. janv. 09, 2014 11:27 am

Bonjour,
Je souhaiterais générer des cartes à partir de listes d'adresses. j'ai regardé un peu du côté de overpass turbo qui me semblait fait pour cela mais sans succès.
Merci d'avance !
Thierry

Marcussacapuces91
Messages : 14
Inscription : dim. nov. 22, 2009 6:33 pm

Re: Créer une carte à partir d'une liste d'adresse

Message par Marcussacapuces91 » jeu. janv. 09, 2014 11:37 am

Heu tu peux être plus précis. Je ne comprends pas la question :-)
Pourquoi générer une carte, alors que les fonds de cartes existent déjà ?
A partir d'une adresse ? C'est à dire en te centrant sur une adresse ?

Cordialement,

Ab_fab

Re: Créer une carte à partir d'une liste d'adresse

Message par Ab_fab » jeu. janv. 09, 2014 12:00 pm

Thierry a écrit :Bonjour,
Je souhaiterais générer des cartes à partir de listes d'adresses. j'ai regardé un peu du côté de overpass turbo qui me semblait fait pour cela mais sans succès.
Merci d'avance !
Thierry
Bonjour,

Doit-on comprendre que tu as une liste d'adresses, et que tu souhaites les afficher sous forme de points d'intérêt sur une carte ?
Dans ce cas, et sans trop entrer dans les détails, si tu souhaites te baser sur OSM :

1. Nominatimpour récupérer des coordonnées géographiques à partir des adresses.
Sauf exceptions, attends-toi à avoir une précision à la rue, plutôt qu'au N° de rue.
Désolé, je ne connais pas d'interface utilisateur conviviale pour cette étape (*).
Peut être dans le service similaire proposé par Mapquest, mais là j'ai un gros doute sur la fraîcheur des infos.

2. uMap pour afficher ces adresses dans une carte en ligne

N'hésite pas à donner plus de précisions
Bon courage

(*) qui avalerait une liste au format .csv par exemple, comme on peut trouver avec le geocoding Google.

BrunoC
Messages : 365
Inscription : sam. juin 23, 2012 11:07 am
Localisation : Nantes
Contact :

Re: Créer une carte à partir d'une liste d'adresse

Message par BrunoC » jeu. janv. 09, 2014 12:02 pm

Peut-être à partir d'une liste d'adresse (1 rue de la pompe, paris, etc) créer une carte en ligne avec les points géocodés ?

La partie la plus délicate est le géocodage (adresse => longitude/latitude). Overpass ne sais pas faire, c'est le rôle nominatim.
Mapbox propose une macro pour google doc qui permet le geocodage en utilisant des sources diverses dont OSM (et pas google)
https://www.mapbox.com/tilemill/docs/gu ... #geocoding
https://github.com/mapbox/geo-googledocs

Je ne sais pas si ce genre de macro existe pour LibreOffice, mais cela doit être adaptable.
Une fois les coordonnées géographiques obtenues c'est du classique affichage de point par OpenLayers ou Leaflet.

Est-ce que Umap ne pourrai pas le faire (geocodage + affichage)?

tjeandel

Re: Créer une carte à partir d'une liste d'adresse

Message par tjeandel » jeu. janv. 09, 2014 4:13 pm

Merci pour ces réponses mais qui ne m'aident pas vraiment.
Je précise ce que je souhaite : nous organisons des stages auxquels participent des gens de la France entière voire au delà, il peut y avoir plus de 50 personnes par stage. Afin de faciliter le co-voiturage j'aimerais disposer d'une carte en ligne où se trouvent géolocalisés nom+prénom des stagiaires.
Je connais Umap mais la mise en oeuvre est longue et ingérable dans mon cas puisqu'il faut positionner à la main chaque épinglette.
Je connais également Nominatim mais à ce que je connais ça ne visualise qu'une seule adresse à la fois.
J'ai essayé avec Overpass Turbo, j'arrive à peu près à visualiser des villes mais je n'arrive pas à descendre au niveau de la rue et pourquoi pas -soyons fous !- au niveau du numéro. Mais le wiki sur Overpass est vraiment imbitable, un modèle du genre :-(
Il y a quelques temps on pouvait faire cette manip très simplement dans Google Doc mais visiblement la fonctionnalité a été supprimée, et de toutes façons j'aimerais mieux une carto OSM tant qu'à faire...
Merci d'avance.
Thierry

Ab_fab

Re: Créer une carte à partir d'une liste d'adresse

Message par Ab_fab » jeu. janv. 09, 2014 6:25 pm

Thierry,

Je pense qu'il est possible de faire une recherche de 50 adresses vers Nominatim ou une succession de 50 requêtes.
La difficulté étant de créer le fichier contenant la requête bien construite, et par la suite de combiner les résultats en un unique fichier qui sera bien digéré par uMap. (et là je ne sais pas comment t'aiguiller, je n'ai rien trouvé de vraiment évident)

Il y a une API de geocoding chez Mapquest Open avec un mode "batch" (ok jusqu'à 100 adresses d'un coup).
http://open.mapquestapi.com/geocoding/#batch

Je ne sais pas si c'est Nominatim sous le capot (mais peu importe) et surtout je ne connais pas le niveau de fraîcheur des résultats fournis.

Avatar de l’utilisateur
cquest
Messages : 1667
Inscription : ven. avr. 16, 2010 12:22 am
Localisation : Val de Marne
Contact :

Re: Créer une carte à partir d'une liste d'adresse

Message par cquest » jeu. janv. 09, 2014 9:53 pm

Une limite toutefois pour le géocodage par des données OSM... il y a relativement peu d'adresses dans OSM ce qui n'aide pas à géocoder avec précision jusqu'à l'adresse.

Si les 50 adresses sont réparties un peu partout en France, un géocodage à la commune peut être suffisant (en plus ça respecte la vie privée).

Thierry

Re: Créer une carte à partir d'une liste d'adresse

Message par Thierry » ven. janv. 10, 2014 1:57 am

Ab_fab a écrit :Thierry,

Je pense qu'il est possible de faire une recherche de 50 adresses vers Nominatim ou une succession de 50 requêtes.
Mais comment ? La zone de saisie n'accepte visiblement qu'une seule adresse ou bien j'ai encore loupé quelque chose.

Invité

Re: Créer une carte à partir d'une liste d'adresse

Message par Invité » ven. janv. 10, 2014 1:59 am

cquest a écrit :Une limite toutefois pour le géocodage par des données OSM... il y a relativement peu d'adresses dans OSM ce qui n'aide pas à géocoder avec précision jusqu'à l'adresse.

Si les 50 adresses sont réparties un peu partout en France, un géocodage à la commune peut être suffisant (en plus ça respecte la vie privée).
Comme il s'agit de covoiturage c'est quand même mieux de savoir où les gens habitent non ?

Ab_fab

Re: Créer une carte à partir d'une liste d'adresse

Message par Ab_fab » ven. janv. 10, 2014 9:51 am

Invité a écrit :Comme il s'agit de covoiturage c'est quand même mieux de savoir où les gens habitent non ?
Ca dépend ...
Si l'objectif est de proposer une carte en ligne, accessible assez librement, uniquement pour que les participants identifient le nom d'une personne habitant dans leurs parages, une précision à l'échelle de la commune suffit bien, si les participants viennent de toute la France.

Après, l'organisateur peut faire le nécessaire pour faciliter la mise en relation des personnes intéressées entre elles. Elles auront tout le loisir de s'échanger leurs coordonnées personnelles en privé.

Là dessus, je rejoins Christian.

Pour ce niveau de détail, le Répertoire Géographique des Communes, au format .txt est librement mis à disposition sur le site de l'IGN
http://professionnels.ign.fr/rgc
Il contient les coordonnées du chef-lieu de commune. C'est au format Lambert, il faut faire la conversion en WGS84

Thierry

Re: Créer une carte à partir d'une liste d'adresse

Message par Thierry » ven. janv. 10, 2014 10:00 am

Ab_fab a écrit :
Invité a écrit :Comme il s'agit de covoiturage c'est quand même mieux de savoir où les gens habitent non ?
Ca dépend ...
Si l'objectif est de proposer une carte en ligne, accessible assez librement, uniquement pour que les participants identifient le nom d'une personne habitant dans leurs parages, une précision à l'échelle de la commune suffit bien, si les participants viennent de toute la France.

Après, l'organisateur peut faire le nécessaire pour faciliter la mise en relation des personnes intéressées entre elles. Elles auront tout le loisir de s'échanger leurs coordonnées personnelles en privé.

Là dessus, je rejoins Christian.

Pour ce niveau de détail, le Répertoire Géographique des Communes, au format .txt est librement mis à disposition sur le site de l'IGN
http://professionnels.ign.fr/rgc
Il contient les coordonnées du chef-lieu de commune. C'est au format Lambert, il faut faire la conversion en WGS84
Bonjour merci pour ces avis mais je pense être assez grand pour décider au sein de notre asso de ce qui relève de la protection de la vie privée ou pas. De toutes façons ces cartes n'ont absolument pas à être diffusées, elles sont accessibles uniquement aux stagiaires en même temps que le trombino, les mails, les n° de portables etc, bref ce n'est pas d'avis déontologiques dont j'ai besoin mais de partage d'expériences de gens qui savent extraire des données à partir d'OSM, ça devrait exister non ?
Merci d'avance et désolé pour le ton un peu excédé mais j'ai bataillé une bonne partie de la nuit avec Overpass turbo pour finalement sortir un truc bien glauque et quasi inutilisable. Les solutions propriétaires ont encore de beaux jours devant elles...

BrunoC
Messages : 365
Inscription : sam. juin 23, 2012 11:07 am
Localisation : Nantes
Contact :

Re: Créer une carte à partir d'une liste d'adresse

Message par BrunoC » ven. janv. 10, 2014 11:54 am

Il faut raison garder. OSM défend la liberté des données, mais les contributeurs sont conscients que celle-ci s'arrête aux données personnelles, et dans le droit français l'adresse en fait partie, d'où la sensibilité du sujet, exacerbée ces derniers temps. Il reste que la position de la CNIL est une exception.

Pour revenir à des choses pratiques, j'ai fait une feuille google doc avec la macro de geocodage utilisant les services de Mapquest (basé sur les données OSM)
https://docs.google.com/spreadsheet/ccc ... sp=sharing

Elle est en màj, alors teste là.
Ca marche très bien ! Tu saisis les adresses dans une ou plusieurs colonnes, tu sélectionnes ces zones, bien dans le menu geo (créé par la macro) du geocode avec mapquest (sans clé puisque ce service nominatim est libre). Google n'est là que pour sotcker la feuille

Rappel de la mise en place:
https://github.com/mapbox/geo-googledocs

Y-a-pas un volontaire pour faire la même chose pour LibreOffice ?

Avatar de l’utilisateur
cquest
Messages : 1667
Inscription : ven. avr. 16, 2010 12:22 am
Localisation : Val de Marne
Contact :

Re: Créer une carte à partir d'une liste d'adresse

Message par cquest » ven. janv. 10, 2014 11:56 am

Zen !

La solution de géocodage en batch la plus simple à partir d'OSM a été donnée: l'instance nominatim et MapQuest
http://open.mapquestapi.com/geocoding/#batch

On peut se simplifier la vie en passant par http://csvmap.logisima.com/

Mais... elle se heurtera à la présence effective des données adresse dans OSM, car il y en a encore relativement peu (actuellement en France seulement 1,5 millions d'adresses sur 20 à 30 millions).
C'est pour palier à ce manque d'adresses que je suggérait de géocoder au niveau commune et en rappelant aussi un éventuel problème de vie privée qu'un géocodage "flou" évite.

Ab_fab

Re: Créer une carte à partir d'une liste d'adresse

Message par Ab_fab » ven. janv. 10, 2014 12:04 pm

Thierry a écrit :
Ab_fab a écrit :
Bonjour merci pour ces avis mais je pense être assez grand pour décider au sein de notre asso de ce qui relève de la protection de la vie privée ou pas.
Thierry,

Je n'en doute pas.
C'était juste pour aller dans une direction te permettant de ** faciliter techniquement ** ce que tu souhaites faire, sans rogner sur l'aspect pratique à l'usage.
Ignore ma réponse précédente.
Have fun

tjeandel

Re: Créer une carte à partir d'une liste d'adresse

Message par tjeandel » ven. janv. 10, 2014 12:40 pm

cquest a écrit :Zen !

Mais... elle se heurtera à la présence effective des données adresse dans OSM, car il y en a encore relativement peu (actuellement en France seulement 1,5 millions d'adresses sur 20 à 30 millions).
C'est cet aspect que j'ai beaucoup de mal à comprendre car d'après ce que je constate dans la base OSM il y a les noms de communes, les noms de rues très souvent, les n° de maison souvent (?). Donc si on construit une requête (ce que je ne sais pas faire précisément !) avec commune, nom de rue, n° dans la majorité des cas ça doit rendre quelque chose non ?
Merci d'avance de m'éclairer sur ce point précis.
Thierry

Avatar de l’utilisateur
cquest
Messages : 1667
Inscription : ven. avr. 16, 2010 12:22 am
Localisation : Val de Marne
Contact :

Re: Créer une carte à partir d'une liste d'adresse

Message par cquest » ven. janv. 10, 2014 1:03 pm

C'est possible là où tu as regardé, mais globalement c'est malheureusement encore très très incomplet.

Pour les adresses, on est très très loin du compte avec nos 1.5 millions sur 20 à 30, ça fait quoi entre 5 et 7,5%... autant dire très peu.

Pour les noms de rues, d'après le cadastre il y en a 7,5 millions... je n'ai pas fait de requête globale, mais je pense que là aussi on est TRES loin du compte.
Il suffit de regarder le rendu "QA": http://tile.openstreetmap.fr/?zoom=11&l ... 0000FFFFTF

La couleur des étoiles indique le ratio nb de noms de rues dans OSM / nb de noms dans le cadastre (fichier FANTOIR).
noir = moins de 50% (OSM/FANTOIR)
rouge = de 50 à 75%
orange = de 75 à 95%
vert = de 95 à 100%
bleu = plus de 100%

Vu le nombre d'étoiles noires (!) y'a du boulot...


Pour info, dans les bases de données commerciales, la couverture des adresses est loin d'être à 100% aussi. En croisant plusieurs bases ça tourne vers 70%... et je ne parle pas de la qualité du résultat.

tjeandel

Re: Créer une carte à partir d'une liste d'adresse

Message par tjeandel » ven. janv. 10, 2014 2:01 pm

cquest a écrit :C'est possible là où tu as regardé, mais globalement c'est malheureusement encore très très incomplet.

Pour les adresses, on est très très loin du compte avec nos 1.5 millions sur 20 à 30, ça fait quoi entre 5 et 7,5%... autant dire très peu.

Pour les noms de rues, d'après le cadastre il y en a 7,5 millions... je n'ai pas fait de requête globale, mais je pense que là aussi on est TRES loin du compte.
Il suffit de regarder le rendu "QA": http://tile.openstreetmap.fr/?zoom=11&l ... 0000FFFFTF

La couleur des étoiles indique le ratio nb de noms de rues dans OSM / nb de noms dans le cadastre (fichier FANTOIR).
noir = moins de 50% (OSM/FANTOIR)
rouge = de 50 à 75%
orange = de 75 à 95%
vert = de 95 à 100%
bleu = plus de 100%

Vu le nombre d'étoiles noires (!) y'a du boulot...


Pour info, dans les bases de données commerciales, la couverture des adresses est loin d'être à 100% aussi. En croisant plusieurs bases ça tourne vers 70%... et je ne parle pas de la qualité du résultat.
Je comprends mieux, merci pour cet éclaircissement. Par contre je conteste un peu les résultats de la carte que tu as mise en lien car j'ai viens de regarder pour ma commune qui a un ratio de 73%. Si on regarde finement il reste quelques tout petits bouts de voirie qui ne sont pas nommés (je vais m'y coller !), le reste, c'est du chemin rural sans nom (à ma connaissance) mais qui constitue un linéaire important d'où les 73% je pense mais je pense que 95% des adresses de ma communes sont couvertes. A ce propos sais tu comment est déterminé une adresse ? Le n° de maison est associé à la relation la plus proche ou bien ?
Thierry

Ab_fab

Re: Créer une carte à partir d'une liste d'adresse

Message par Ab_fab » ven. janv. 10, 2014 2:17 pm

BrunoC a écrit : Pour revenir à des choses pratiques, j'ai fait une feuille google doc avec la macro de geocodage utilisant les services de Mapquest (basé sur les données OSM)
https://docs.google.com/spreadsheet/ccc ... sp=sharing
Rappel de la mise en place:
https://github.com/mapbox/geo-googledocs
Excellent Bruno, je ne connaissais pas et je pense que ça correspond bien à un truc qui me trotte dans la tête.
Ne me manquait que la simplicité d'usage, voila qui rend l'affaire raisonnable ;-)

Merci !

BrunoC
Messages : 365
Inscription : sam. juin 23, 2012 11:07 am
Localisation : Nantes
Contact :

Re: Créer une carte à partir d'une liste d'adresse

Message par BrunoC » ven. janv. 10, 2014 3:37 pm

Ab_fab a écrit :Merci !
C'est Mapbox... 8-)

Avatar de l’utilisateur
cquest
Messages : 1667
Inscription : ven. avr. 16, 2010 12:22 am
Localisation : Val de Marne
Contact :

Re: Créer une carte à partir d'une liste d'adresse

Message par cquest » sam. janv. 11, 2014 1:48 am

tjeandel a écrit : Je comprends mieux, merci pour cet éclaircissement. Par contre je conteste un peu les résultats de la carte que tu as mise en lien car j'ai viens de regarder pour ma commune qui a un ratio de 73%. Si on regarde finement il reste quelques tout petits bouts de voirie qui ne sont pas nommés (je vais m'y coller !), le reste, c'est du chemin rural sans nom (à ma connaissance) mais qui constitue un linéaire important d'où les 73% je pense mais je pense que 95% des adresses de ma communes sont couvertes. A ce propos sais tu comment est déterminé une adresse ? Le n° de maison est associé à la relation la plus proche ou bien ?
Thierry
Le ratio se base uniquement sur:
- le nombre de name=* différents trouvés sur les rues et routes de la commune dans OSM
- le nombre de noms connues de la DGFiP dans son fichier FANTOIR.

Les longueurs n'interviennent pas et les noms en eux même ne sont pas comparés (pour l'instant).

Les linéaires en rouge sur le rendu QA sont ceux existants mais sans nom et d'une catégorie laissant supposée qu'il pourrait en avoir (residential, etc).
Il est possible que des voies n'aient pas encore été tracées... dans ce cas, leur nom manque bien et elle ne sont pas visible en rouge car pas encore tracées ;)

C'est quelle commune où tu as regardé ?


Pour déterminer un adresse, c'est tout un bazar... et c'est Nominatim qui se charge de ce bazar.
Soit le N° appartient à une relation associatedStreet et dans ce cas on lie directement le N° à la rue, sinon Nominatim va chercher la rue la plus proche ou s'appuyer sur le addr:street=*.
Pour les niveaux supérieurs, c'est en analysant les polygones successifs du découpage admiistratif.

Un sacré boulot qui explique pourquoi importer puis indexer une base OSM prend beaucoup de temps (plusieurs jours pour une base monde sur une machine sérieuse).

BrunoC
Messages : 365
Inscription : sam. juin 23, 2012 11:07 am
Localisation : Nantes
Contact :

Re: Créer une carte à partir d'une liste d'adresse

Message par BrunoC » sam. janv. 11, 2014 12:08 pm

BrunoC a écrit : Y-a-pas un volontaire pour faire la même chose pour LibreOffice ?
Trouvé et testé !
http://www.digital-geography.com/geocod ... fice-calc/

tjeandel

Re: Créer une carte à partir d'une liste d'adresse

Message par tjeandel » dim. janv. 12, 2014 4:57 pm

cquest a écrit :
C'est quelle commune où tu as regardé ?
Saizerais
cquest a écrit : Pour déterminer un adresse, c'est tout un bazar... et c'est Nominatim qui se charge de ce bazar.
Soit le N° appartient à une relation associatedStreet et dans ce cas on lie directement le N° à la rue, sinon Nominatim va chercher la rue la plus proche ou s'appuyer sur le addr:street=*.
Est ce qu'on doit en tenir compte alors quand on enrichit la base en mettant les n° des maisons par exemple ? Si oui comment ?
cquest a écrit :
Pour les niveaux supérieurs, c'est en analysant les polygones successifs du découpage admiistratif.

Un sacré boulot qui explique pourquoi importer puis indexer une base OSM prend beaucoup de temps (plusieurs jours pour une base monde sur une machine sérieuse).

Répondre

Qui est en ligne ?

Utilisateurs parcourant ce forum : Aucun utilisateur inscrit et 1 invité