API et extraction de données

Extraire des données OSM, créer sa carte, uMap, utiliser sur un GPS ou un smartphone...
Eolas
Messages : 43
Inscription : lun. nov. 19, 2012 8:53 am
Localisation : Pyrénées centrales

API et extraction de données

Message par Eolas » dim. nov. 25, 2012 3:19 pm

Outre le serveur http://api.openstreetmap.fr/xapi, existe-t-il d’autres serveurs permettant l’extraction de données ???

sly
Messages : 489
Inscription : sam. févr. 07, 2009 6:33 pm
Localisation : Chambéry - savoie

Re: API et extraction de données

Message par sly » dim. nov. 25, 2012 4:07 pm

Dis nous plutôt quelles zones tu veux et sous quel format et on pourra te guider ;-)

Parce que des moyens pour les obtenir, je dois bien pouvoir en lister 20 !

Eolas
Messages : 43
Inscription : lun. nov. 19, 2012 8:53 am
Localisation : Pyrénées centrales

Re: API et extraction de données

Message par Eolas » dim. nov. 25, 2012 4:22 pm

Sur le plan couverture, c'est le territoire entier qui m’intéresserait, et quant au format, peu importe XML ou Json.

Avatar de l’utilisateur
cquest
Messages : 1978
Inscription : ven. avr. 16, 2010 12:22 am
Localisation : Val de Marne
Contact :

Re: API et extraction de données

Message par cquest » dim. nov. 25, 2012 7:13 pm

Eolas a écrit :Sur le plan couverture, c'est le territoire entier qui m’intéresserait, et quant au format, peu importe XML ou Json.
Territoire entier ? C'est à dire ? ville, département, région, france, continent, monde ?

Toutes données, uniquement certaines ?

Bref... tu veux faire quoi au juste ?

sly
Messages : 489
Inscription : sam. févr. 07, 2009 6:33 pm
Localisation : Chambéry - savoie

Re: API et extraction de données

Message par sly » dim. nov. 25, 2012 7:20 pm

Eolas a écrit :Sur le plan couverture, c'est le territoire entier qui m’intéresserait, et quant au format, peu importe XML ou Json.
territoire entier, XML (format osm) réponse simple, c'est là :
http://planet.openstreetmap.org/planet/

Tu peux pas faire plus, c'est tout de chez tout, les données complète de la terre (territoire entier)

Eolas
Messages : 43
Inscription : lun. nov. 19, 2012 8:53 am
Localisation : Pyrénées centrales

Re: API et extraction de données

Message par Eolas » dim. nov. 25, 2012 7:31 pm

Hein, :shock: tu m'offres une batterie d'ordis pour Noël, que je puisse ouvrir un fichier de 24 Go compressé. :lol: :lol: :lol:

Je vais peut être descendre un cran plus bas :P en regardant du coté de : http://download.geofabrik.de/openstreetmap/europe/ ou alors récupérer tout cela avec l'API, reste à voir l'emprise maxi de la bbox, mais je ne devrais pas trop segmenter.

Gustry
Messages : 135
Inscription : mer. nov. 23, 2011 2:30 pm

Re: API et extraction de données

Message par Gustry » dim. nov. 25, 2012 7:40 pm

Tout dépend de ce que tu souhaite extraire de la base !

Sur quelle couverture ?
Quelles objets ? quels tags ? Des requêtes spatiales ?

Parce que si tu te contente de télécharger les données, il faut utiliser ensuite un extracteur : osmosis par exemple, ou Postgis si c'est complexe (ou autre).
Ou alors tu interroge directement une base de données en donnant en paramètre ce que tu souhaite obtenir comme résultat.
Pour obtenir les parkings à vélo sur un bout de Clermont-Ferrand en XML grâce à XAPI :
http://www.overpass-api.de/api/xapi?*[amenity=bicycle_parking]&bbox=3.0159756362637,45.771436052717,3.1793972671229,45.803755851967

Xapiviewer permet de faire des requêtes XAPI et de voir le résultat sous forme cartographique :
http://osm.dumoulin63.net/xapiviewer/?z ... e.n.32.png

Forcément, cette dernière solution est plus limité que la première ! (temps de traitement sur le serveur, emprise géographique,...)

Eolas
Messages : 43
Inscription : lun. nov. 19, 2012 8:53 am
Localisation : Pyrénées centrales

Re: API et extraction de données

Message par Eolas » dim. nov. 25, 2012 7:44 pm

L'emprise est sur la France entière et les tags concerne les bornes géodésiques, et pour la mise en forme du fichier, là n'est pas le problème.

Je n'ai pas eu le temps d'approfondir, mais quelle peut être l'emprise maxi de la bbox, je suppose que s'il existe divers serveurs la contrainte n'est pas la même.

sly
Messages : 489
Inscription : sam. févr. 07, 2009 6:33 pm
Localisation : Chambéry - savoie

Re: API et extraction de données

Message par sly » dim. nov. 25, 2012 7:46 pm

Eolas a écrit :Hein, :shock: tu m'offres une batterie d'ordis pour Noël, que je puisse ouvrir un fichier de 24 Go compressé. :lol: :lol: :lol:
Je n'offre rien, je répond à ta question :-) Tu me demandes "c'est le territoire entier qui m’intéresserait", je te dis où c'est !

Si ta question devient : "j'ai un ordinateur portable avec 1Go de RAM, je veux ouvrir toutes les données de la terre pour toutes les visualiser d'un coup, je vais où et comment je fais ?" alors je te répond : tu ne peux pas, tu dois segmenter les zones pour pouvoir les ouvrir.
Je vais peut être descendre un cran plus bas :P en regardant du coté de : http://download.geofabrik.de/openstreetmap/europe/ ou alors récupérer tout cela avec l'API, reste à voir l'emprise maxi de la bbox, mais je ne devrais pas trop segmenter.
D'où la bonne question de cquest : c'est pour quoi faire. De cette réponse viendront des alternatives plus adaptées à chaque cas.

sly
Messages : 489
Inscription : sam. févr. 07, 2009 6:33 pm
Localisation : Chambéry - savoie

Re: API et extraction de données

Message par sly » dim. nov. 25, 2012 8:04 pm

Eolas a écrit :L'emprise est sur la France entière et les tags concerne les bornes géodésiques, et pour la mise en forme du fichier, là n'est pas le problème.

Je n'ai pas eu le temps d'approfondir, mais quelle peut être l'emprise maxi de la bbox, je suppose que s'il existe divers serveurs la contrainte n'est pas la même.
Bon, évidement, tu précises ta question pile poil au moment où je répond, voilà qui se précise ! tu veux donc, au format xml (genre .osm) les données des bornes géodésiques sur la france entière, là, c'est possible, l'association française dispose d'une base de donnée couvrant uniquement la france, et accessible en xapi/overpass API.

Avec cette requête, tu (pourrais) avoir ce que tu veux :
http://oapi-fr.openstreetmap.fr/xapi?node[man_made=survey_point]

Je viens de tester.... et flûte, il y a tellement de point géodésiques que ça prend trop de temps et ça fini par foirer, mais je pense qu'en découpant la france en morceaux, ça devrait passer. C'est à dire : utiliser plusieurs appels (genre 10) avec option bbox et ça devrait le faire.
Comme cette base ne dispose que de la France métropolitaine tu es sûr de n'avoir que les repère géodésiques en france et de ne jamais déborder chez les voisins.

Eolas
Messages : 43
Inscription : lun. nov. 19, 2012 8:53 am
Localisation : Pyrénées centrales

Re: API et extraction de données

Message par Eolas » dim. nov. 25, 2012 8:14 pm

Et quelle est l'emprise maximale que vous autorisez sur ce serveur pour la bbox, en degrés maxi peut être ? Si l’information existe, autant l'avoir, cela m'évitera peut être de tâtonner. :roll:

Gustry
Messages : 135
Inscription : mer. nov. 23, 2011 2:30 pm

Re: API et extraction de données

Message par Gustry » dim. nov. 25, 2012 8:15 pm

Pour ensuite fusionner les fichiers OSM, tu peux utiliser osmosis.

Eolas
Messages : 43
Inscription : lun. nov. 19, 2012 8:53 am
Localisation : Pyrénées centrales

Re: API et extraction de données

Message par Eolas » dim. nov. 25, 2012 8:20 pm

ok, vu merci !!!!

Code : Tout sélectionner

osmosis --rx 1.osm --rx 2.osm --rx 3.osm --merge --merge --wx merged.osm

sly
Messages : 489
Inscription : sam. févr. 07, 2009 6:33 pm
Localisation : Chambéry - savoie

Re: API et extraction de données

Message par sly » dim. nov. 25, 2012 8:26 pm

Eolas a écrit :Et quelle est l'emprise maximale que vous autorisez sur ce serveur pour la bbox, en degrés maxi peut être ? Si l’information existe, autant l'avoir, cela m'évitera peut être de tâtonner. :roll:
La limite n'est pas en nombre de degrés, mais en temps. et ce temps est de 1 minute environ. (ouais je sais, c'est pas pratique)

Ha put... pile poil au moment où j'écris ces lignes ça vient de passer en un seul coup (après 3 essais), il suffisait d'attendre que le serveur soit au calme ! mais c'est limite de chez limite ! Il faut pas le double sinon ça ne passera plus !

Hop, les voilà à dispo : (105 Mo en non compressé)
J'ai pas vérifié, et ça me semble un peu bizarre d'ailleurs mais bon (pour 140000 repère dans la base : http://taginfo.openstreetmap.fr/tags/ma ... rvey_point) ça nous fait à la louche 1000 octets par repère, ça me semble un peu beaucoup mais j'ai pas analysé.

Cadeau bonux :
http://sly.letuffe.org/osm/toto.osm.gz

Eolas
Messages : 43
Inscription : lun. nov. 19, 2012 8:53 am
Localisation : Pyrénées centrales

Re: API et extraction de données

Message par Eolas » dim. nov. 25, 2012 8:35 pm

140.000 !!!!!! C'est l'IGN qui va être content, leurs balises ont mutées et se reproduisent. :mrgreen:

Bon, plus sérieusement, je te remercie ;) pour cet export taillé sur mesure, et fais un download de ce fichier sur le champ.

sly
Messages : 489
Inscription : sam. févr. 07, 2009 6:33 pm
Localisation : Chambéry - savoie

Re: API et extraction de données

Message par sly » dim. nov. 25, 2012 8:42 pm

Eolas a écrit :140.000 !!!!!! C'est l'IGN qui va être content, leurs balises ont mutées et se reproduisent. :mrgreen:
Je ne connais pas ce domaine, et ne sait ni combien il y en avait au début, ni combien il devrait y en avoir ni ce que c'est vraiment. J'ai juste exporté tous les points dans osm qui ont man_made=survey, donc c'est peut-être à filtrer, je ne sais pas.

Eolas
Messages : 43
Inscription : lun. nov. 19, 2012 8:53 am
Localisation : Pyrénées centrales

Re: API et extraction de données

Message par Eolas » dim. nov. 25, 2012 8:51 pm

Normalement on devrait arriver à des chiffres proches de ceux précisés sur cette page :
http://wiki.openstreetmap.org/wiki/Wiki ... 3.A9siques

On va essayer de décortiquer tout cela.

Eolas
Messages : 43
Inscription : lun. nov. 19, 2012 8:53 am
Localisation : Pyrénées centrales

Re: API et extraction de données

Message par Eolas » lun. nov. 26, 2012 10:40 am

Pas mal de disparités quand même dans les résultats.

Nombre de nodes total : 139.288

Tags nodes :
  • description : 138.946
  • ele : 131.644
  • man_made : 139.288
  • Name : 915
  • note : 139.162
  • ref : 138.994
  • source : 139.211
  • url : 138.922 (liens obsolètes)
  • natural : 457
Je suppose que certains nodes n'ont pas été créés au travers d'un import mais par des Mappeurs.

Reste à essayer de voir les nodes que l'on peut considérer comme "fiables" avant import BDD

Eolas
Messages : 43
Inscription : lun. nov. 19, 2012 8:53 am
Localisation : Pyrénées centrales

Re: API et extraction de données

Message par Eolas » lun. nov. 26, 2012 3:03 pm

sly a écrit :...l'association française dispose d'une base de donnée couvrant uniquement la france, et accessible en xapi/overpass API.
J'ai des nodes qui ne sont pas situés en France, par exemple : node id="32968504".

Peut être la raison de 140.000 références dans ce fichier ?

sly
Messages : 489
Inscription : sam. févr. 07, 2009 6:33 pm
Localisation : Chambéry - savoie

Re: API et extraction de données

Message par sly » lun. nov. 26, 2012 3:08 pm

Eolas a écrit :
sly a écrit :...l'association française dispose d'une base de donnée couvrant uniquement la france, et accessible en xapi/overpass API.
J'ai des nodes qui ne sont pas situés en France, par exemple : node id="32968504".

Peut être la raison de 140.000 références dans ce fichier ?
Allons bon, voilà qui est intéressant. Cette base de donnée a pour objectif d'être "presque garanti d'être en france", au pire, il peut y avoir de très rare cas juste collé à la frontière, mais normalement c'est sensé être france et que france.
Flûte... je regarde et rapporte le bug en amont.

Merci pour le rapport de bug indirect ;-)

Eolas
Messages : 43
Inscription : lun. nov. 19, 2012 8:53 am
Localisation : Pyrénées centrales

Re: API et extraction de données

Message par Eolas » lun. nov. 26, 2012 4:07 pm

Si cela peut t'aider dans les investigations, voila les diverses sources que l'on trouve :
  • AIP-SIA
  • Agreement between the Government of the French Republic and the Government of the Italian Republic on the Delimitation of the Maritime Boundaries in the Area of the Strait of Bonifacio, 28 November 1986
  • Bing
  • Bing Sat Imagery
  • Bing;©IGN 2010 dans le cadre de la cartographie réglementaire
  • GPS
  • IDEE
  • IGN
  • IGN, Service de Géodésie et Nivellement: 2006
  • IGN, Service de Géodésie et Nivellement: 2006;©IGN 2010 dans le cadre de la cartographie réglementaire
  • Institut Cartogràfic de Catalunya
  • Instituto Geográfico Nacional
  • Istituto Geografico Militare
  • L+T
  • Microsoft Bing satellite 2012
  • Orthophotographie CRAIG/TopoGEODIS 2009
  • Survey
  • US NGA Pub. 113. 2010-10-22.
  • US NGA Pub. 113. 2010-10-22.;©IGN 2010 dans le cadre de la cartographie réglementaire
  • US NGA Pub. 114. 2011-05-26.;©IGN 2010 dans le cadre de la cartographie réglementaire
  • Yahoo
  • cadastre-dgi-fr source : Direction Générale des Impôts - Cadastre ; mise à jour : 2009
  • cadastre-dgi-fr source : Direction Générale des Impôts - Cadastre ; mise à jour : 2010
  • cadastre-dgi-fr source : Direction Générale des Impôts - Cadastre ; mise à jour : 2011
  • cadastre-dgi-fr source : Direction Générale des Impôts - Cadastre ; mise à jour :2010
  • cadastre-dgi-fr source : Direction Générale des Impôts - Cadastre. Mise à jour : 2010
  • cadastre-dgi-fr source : Direction Générale des Impôts - Cadastre. Mise à jour : 2011
  • cadastre-dgi-fr source : Direction Générale des Impôts - Cadastre. Mise à jour : 2012
  • camptocamp.org;©IGN 2010 dans le cadre de la cartographie réglementaire
  • http://geodesie.ign.fr/fiches/pdf/Y.D.L3V3-1_320263.pdf
  • http://geodesie.ign.fr/fiches/pdf/Y.D.L3V3-2_248711.pdf
  • http://geodesie.ign.fr/fiches/pdf/Y.D.L3V3-3_248715.pdf
  • image; survey
  • my knowledge
  • survey
  • swisstopo
  • © IGN 2010 dans le cadre de la cartographie réglementaire
  • © Instituto Geográfico Nacional 2011
  • ©IGN 2009 dans le cadre de la cartographie réglementaire
  • ©IGN 2010 dans le cadre de la cartographie réglementaire
  • ©IGN 2010 dans le cadre de la cartographie réglementaire;Microsoft Bing satellite 2012
  • ©IGN 2012 dans le cadre de la cartographie réglementaire

sly
Messages : 489
Inscription : sam. févr. 07, 2009 6:33 pm
Localisation : Chambéry - savoie

Re: API et extraction de données

Message par sly » lun. nov. 26, 2012 4:29 pm

Merci, un point en dehors devrait être suffisant, si tu pouvais en trouver un deuxième, ça serait super. (Histoire d'éviter la faute à pas de chance)

Pour info, le suivi du bug se fait ici http://trac.openstreetmap.fr/ticket/153

Eolas
Messages : 43
Inscription : lun. nov. 19, 2012 8:53 am
Localisation : Pyrénées centrales

Re: API et extraction de données

Message par Eolas » lun. nov. 26, 2012 4:35 pm

node id="32968641"


sly
Messages : 489
Inscription : sam. févr. 07, 2009 6:33 pm
Localisation : Chambéry - savoie

Re: API et extraction de données

Message par sly » mer. nov. 28, 2012 1:43 am

Bilan : c'est pas un bug, c'est prévu comme ça.
C'est à dire que l'idée c'est qu'il a été choisi qu'il vaut mieux un peu trop que pas assez. En gros, la méthode garanti que tout ce qui est en france sera renvoyé, mais tout ce qui est renvoyé n'est pas forcément en france.

Répondre

Qui est en ligne ?

Utilisateurs parcourant ce forum : Aucun utilisateur inscrit et 7 invités