Envoi données d'un pays entier

Importer dans OSM, contrôler, suivre et surveiller (osmose, keepright, ...)
iero

Envoi données d'un pays entier

Message par iero » lun. janv. 05, 2015 3:43 pm

Bonjour,

J'ai passé trois ans à cartographier le Congo (Congo Brazzaville) en utilisant mon GPS et JOSM de manière déconnecté et j'ai maintenant beaucoup de données sur ce pays :

http://www.iero.org/blog/2014/06/carte-du-congo/

Dans ces données, j'ai 12 000 km de pistes créées à partir de mes relevés GPS, et donc uploadables sur OpenStreetMap. Elles sont très propres, j'ai passé des milliers d'heures à les faire !
J'ai aussi beaucoup de points, villages, etc.

Maintenant j'ai quitté le Congo et j'ai toutes ces données en local sur des fichiers OSM. Je viens de retrouver une connexion internet me permettant de les partager.

Comment puis-je les uploader facilement sur OpenStreetmap ?

althio
Messages : 198
Inscription : jeu. oct. 09, 2014 8:50 am

Re: Envoi données d'un pays entier

Message par althio » lun. janv. 05, 2015 4:00 pm

Bonjour,

Pour les traces GPS, tu peux importer des fichiers GPX pour aider à tracer les routes sur OSM.

il faut alors te rendre sur :
http://www.openstreetmap.org/traces
http://www.openstreetmap.org/trace/create


Pour les données OSM, ça devient plus complexe de faire un upload massif car il faut vérifier ce qui existe déjà, ne pas créer des doublons, ne pas dégrader l'existant. Cela va nécessiter un peu de préparation et de discussion, mais le jeu en vaut la chandelle.

vdct
Messages : 225
Inscription : mar. janv. 22, 2013 10:16 pm

Re: Envoi données d'un pays entier

Message par vdct » lun. janv. 05, 2015 4:08 pm

Voir aussi la question de la licence de tes données, car je lis que "7 000 km [sont issues] de vieilles cartes approximatives". Donc peut-être un peu de ménage à faire, entre les données qui te sont propres et celles sous copyright. Et moins de regrets si elles sont peu précises, au passage.

Iero

Re: Envoi données d'un pays entier

Message par Iero » lun. janv. 05, 2015 10:20 pm

Merci des réponses ! Les traces osm sont nickel, elles sont uploadables direct. Surtout que j'ai mis en propriété la source (GPS) et l'année d'acquisition. Je ne mettrai bien sur pas celles issues des vieilles cartes, c'etait juste pour moi (pour retrouver les pistes et y aller physiquement).

Je pensais donc plutôt à un Upload massif de tout ce qui interprété à partir de traces GPS et qui n'est pas Pointe-Noire et Brazzaville et supprimer les doublons par la suite. Il n'y a quasiment rien sur le pays en dehors de la couverture de ces deux villes, donc je pense que ça serait vraiment bénéfique pour tout le monde. Qu'en pensez vous ?

Comment puis-je préparer mes données pour les uploader ?

Merci

Sefoun
Messages : 239
Inscription : lun. nov. 03, 2014 8:01 pm

Re: Envoi données d'un pays entier

Message par Sefoun » mar. janv. 06, 2015 10:19 am

Si beaucoup des infos que tu veux uploader sont basé sur tes traces gps il faudra peut être vérifié que c'est correctement calé, pleins d'éléments peuvent diminué la precision d'un gps, notamment les forets. Sans chercher a avoir une precision centimetrique si decalage il y a il faudrait que ca reste acceptable. D'autres personnes pourraient cartographié a partir des données que tu aura envoyé en reproduisant involontairement le décalage.

Ensuite tout est il regroupé sur un seul et meme fichier osm sur josm ? Si non c'est pas plus mal ca te permettra de verifié les donnés que tu veux envoyé petit bout par petit bout, plus simple pour y detecter les éventuelles erreurs. Apres avoir ouvert ton fichier dans josm tu peux mettre a jour les données de ton calque a partir du serveur. Apres a toi de faire le tri entre ce qui est bon ou pas. Si c'est dans des zones ou il y a vraiment rien ca devrait pas être trop long.

sly
Messages : 488
Inscription : sam. févr. 07, 2009 6:33 pm
Localisation : Chambéry - savoie

Re: Envoi données d'un pays entier

Message par sly » mar. janv. 06, 2015 8:02 pm

En effet, si ton fichiers contient un mix "copie d'anciennes cartes" + "tracé par tes soins" il est probable que la licence ne soit pas bonne et qu'il faille d'abord retirer la copie d'ancienne carte comme dit vdct
(Ce qui n'est déjà pas forcément simple si tu as connecté route/piste/pont de la source 1 et de la source 2)

Ensuite, se pose la question de comparaison avec l'existant : Comment s'assurer de réduire les chances d'envoyer des pistes en doublons, comment connecter les routes que tu as tracé avec celles qui sont déjà dans OSM. Bref, comment "fusionner" en ne gardant que le meilleur des deux ?

Serait-il possible d'avoir une copie de ton (ou tes ?) fichier osm que tu as construit pendant plusieurs années que nous puissions regarder et voir quels tags ont été utilisés, sont-ils bien en phase avec ce qui est proposé par le wiki d'osm ?


Sinon, de manière générale, et pour d'autres qui voudraient tenter la même chose, la construction en local, d'un fichier pendant plusieurs années fait parti des plus mauvaises solutions à retenir (désolé !) car on augmente de manière importante des risques de superposition lorsque, 3 ans plus tard, on veut tout envoyer dans osm.
Qu'on puisse être déconnecté plusieurs jours ok, des fois on a pas le choix, mais plus on attend, plus le risque de conflit augmente. Et en plus, on ne profite pas au fûr et à mesure du travail des autres.
En clair, attend toi à un long et fastidieux travail de comparaison entre tes fichiers et l'existant.

iero

Re: Envoi données d'un pays entier

Message par iero » mar. janv. 06, 2015 10:42 pm

Merci de vos réponses

Comme je disais plus haut, toutes les routes ont des propriétés indiquant la source. Je viens d'extraire tous les chemins de type "source=GPS" et j'obtiens un GPX de 15Mo que je suis en train de mettre ici :
http://www.iero.org/tmp/osm/04_Pistes_GPS.osm

En très grande majorité les chemins "copie d'ancienne cartes" n'étaient reliés à rien car ils étaient là uniquement pour que je puisse ensuite trouver la vraie piste et la faire au GPS.

Je ferai de même pour les villages et points d'intérêts, chemins de fer, rivieres, etc par la suite.

De ce que je vois, le premier probleme est que l'existant sur Pointe-Noire par exemple est de vraiment mauvaise qualité. Ca a été pointé sur des cartes satellite je pense, mais pas par quelqu'un qui est allé là bas !
Je viens de corriger quelques rues... mais corriger tout une ville prendra des heures.
Il va y avoir ensuite la jointure entre l'existant et mes pistes.. C'est une autre paire de manches.

Désolé pour tout ca.. La fibre est tout juste en train d'arriver au Congo, et nous n'avions que des rares liaisons sat !

vdct
Messages : 225
Inscription : mar. janv. 22, 2013 10:16 pm

Re: Envoi données d'un pays entier

Message par vdct » mar. janv. 06, 2015 11:17 pm

Faut pas être désolé :)
Mais comme le dit sly, en gros, il n'y a pas de magie, il va falloir à un moment réconcilier les données déjà dans OSM et les tiennes, et le plus clean est de le faire avant d'envoyer tes données au serveur. Vue la masse accumulée (15 Mo de données ça commence à faire) il est clair que ça sera long. Si j'avais à le faire, je procéderais en téléchargeant par petits bouts les données OSM, en les fusionnant avec tes données, en dédoublonnant localement puis en envoyant tes modifs, mais sur une zone limitée. JOSM permet d'envoyer au serveur une sélection de données plutôt que le tout, ça peut te servir ici pour travailler par petits bouts.

Autre possibilité, peut-être plus simple à gérer sur la durée : morceler en avance tes données sous la forme de fichiers ayant une emprise restreinte, histoire d'appliquer la fusion/réconciliation sur des jeux complets (au sens d'un fichier entier à chaque fois). En cas de plantage, ça ne fiche pas en l'air ton fichier complet, qui serait un mix de données à envoyer et de données déjà envoyées, potentiellement pas sympa à démêler.

Bon, pas sûr d'être clair :)

vincent

sly
Messages : 488
Inscription : sam. févr. 07, 2009 6:33 pm
Localisation : Chambéry - savoie

Re: Envoi données d'un pays entier

Message par sly » mar. janv. 06, 2015 11:21 pm

Il n'y a pas a être désolé, c'est juste que ça va te faire plein de boulot !

Je pense que ce que je ferais, pour éviter que d'autres contributeurs ne bougent trop de chose pendant que tu t'occupes de fusionner, dé-doubler, corriger et que ça te rajoute encore des conflits (surtout si tu vois que ça risque de prendre plusieurs semaines) serait de prévenir au mieux les contributeurs actifs au Congo (http://wiki.openstreetmap.org/wiki/Wiki ... o-Kinshasa) et envoyer tout d'un bloc ce que tu as collecté pendant ces années, puis, petit à petit, reprendre secteur par secteur et fusionner avec l'existant.

Si toutefois tu sens que c'est jouable en quelque jour seulement de tout fusionner, ça peut se faire d'une traite. Mais comme dit vdct, gare si jamais un pépin survient ou si ça devient trop lourd à manipuler ton fichier de 15Mo + les données déjà dans OSM

ps: je n'ai pas encore regardé le fichier fourni, que je vais regarder maintenant

althio
Messages : 198
Inscription : jeu. oct. 09, 2014 8:50 am

Re: Envoi données d'un pays entier

Message par althio » mar. janv. 06, 2015 11:48 pm

Iero a écrit :Je pensais donc plutôt à un Upload massif de tout ce qui interprété à partir de traces GPS et qui n'est pas Pointe-Noire et Brazzaville et supprimer les doublons par la suite. [...] Comment puis-je préparer mes données pour les uploader ?
Suis les conseils de Sefoun et vdct :
  • travaille en local avec JOSM
  • charge ton fichier de données dans JOSM
  • télécharge (download) les données existantes de la base OSM dans une zone de travail
  • fusionne, réconcilie, dédoublonne en local ton fichier et la base OSM
  • envoie (upload) les données
Puis
  • Demande une revue pour repérer d'éventuelles erreurs ou améliorations (est-tu familier des tags en vigueur en Afrique ?)
  • Recommence dans une autre zone de travail
Iero a écrit : Il n'y a quasiment rien sur le pays en dehors de la couverture de ces deux villes, donc je pense que ça serait vraiment bénéfique pour tout le monde. Qu'en pensez vous ?
Comme Sefoun : "Si c'est dans des zones ou il y a vraiment rien ca devrait pas être trop long." Et oui pour le bénéfique.
Sefoun a écrit :Si beaucoup des infos que tu veux uploader sont basé sur tes traces gps il faudra peut être vérifié que c'est correctement calé, pleins d'éléments peuvent diminué la precision d'un gps, notamment les forets. Sans chercher a avoir une precision centimetrique si decalage il y a il faudrait que ca reste acceptable. D'autres personnes pourraient cartographié a partir des données que tu aura envoyé en reproduisant involontairement le décalage.
Pas comme Sefoun : dans une zone vierge, la piste de plusieurs kilomètres de long, même avec 50 mètres de décalage, je prends. Une trace, c'est moins bien que 100, mais c'est mieux que zéro. En forêt dense, savoir qu'il y a une piste continue sous la couverture végétale, c'est important, et l'imagerie satellite n'est pas efficace non plus.
iero a écrit :De ce que je vois, le premier probleme est que l'existant sur Pointe-Noire par exemple est de vraiment mauvaise qualité. Ca a été pointé sur des cartes satellite je pense, mais pas par quelqu'un qui est allé là bas !
Je viens de corriger quelques rues... mais corriger tout une ville prendra des heures.
Peux-tu préciser ce que tu considères comme de la mauvaise qualité ? Un décalage spatial, des tags inappropriés, des connexions hasardeuses ? Les symptômes et les traitements peuvent être très différents.

Enfin, peut-être que ton travail est solitaire, mais peut-être que tu peux recevoir de l'aide. Nous pouvons essayer de contacter la communauté francophone africaine OSM qui pourrait t'assister pour les grandes villes.

sly
Messages : 488
Inscription : sam. févr. 07, 2009 6:33 pm
Localisation : Chambéry - savoie

Re: Envoi données d'un pays entier

Message par sly » mer. janv. 07, 2015 12:34 am

J'ai regardé le fichier, ça ne m'a pas l'air mal du tout ! Bravo !

Et en effet, vu le nombre de zones vierges, la fusion me semble tout à fait réalisable. Bon, il y'a plusieures heures de boulot mais avec un ordinateur pas trop vieux (car ça ralenti un peu quand on dé-zoom) ça me semble jouable d'une traite, quitte à repasser ensuite en revu les quelques chevauchements oubliés.

iero

Re: Envoi données d'un pays entier

Message par iero » mer. janv. 07, 2015 12:52 pm

Merci de tous les conseils et des encouragements !

Pour les tags, je m'étais inspiré de Madagascar qui est aussi une ancienne collonie Francaise (avec un réseau routier en meilleur état cepandant). Il y a une fiche sur Madagascar dans le blog OSM. je n'ai pas vu de "conventions africaines" et j'ai respecté les plaques de rues. Par contre, attention, ca n'a rien à voir avec le Congo Kinshasa (RDC, ancien Congo belge ou Zaire) comme mentionné ci-dessus. On est ici en Republique du Congo (ancien Congo Francais) et il n'y a pas de groupe de travail sur ce pays.

Coté erreurs que j'ai vu, les avenues ne sont pas droites et alors qu'elles le sont (j'ai des centaines d'enregistrements GPS de ces rues), les ronds points sont en fait souvent des demi-rond points (spécificité congolaises), les rues ne sont pas alignées alors qu'elles le sont. J'avais pu vérifier mes enregistrement avec des photos aériennes.

J'ai tracé les routes avec des dizaines de traces GPS (des centaines de milliers de kilomètres au total : j'ai 1.58 Go de fichiers GPX . Je pense que c'est plutôt précis du coup.

J'ai actuellement, en dehors de ce fichier OSM :
- Un fichier avec les frontières que je n'uploaderai pas car les frontières Congolaises ne sont pas définies officiellement et non marterialisées. Donc c'est sujet à discussion
- Un fichier avec le terrain : plages, forets, marécages.
- Un fichier avec de l'hydro : j'uploaderai les rivières que j'ai descendu en canoé avec un GPS
- Un fichier avec les villages : j'uloaderai ceux que j'ai relevé au GPS
- Un fichier Waypoints avec quelques milliers de points d'intérêt : antennes GSM, baobabs, etc..
- un fichier rail avec les gares et voies ferrées relevées au GPS

Je vais commencer avec les parties "routes" loin des villes où il n'y a rien de carté, ca sera deja ca !

althio
Messages : 198
Inscription : jeu. oct. 09, 2014 8:50 am

Re: Envoi données d'un pays entier

Message par althio » mer. janv. 07, 2015 1:42 pm

J'ai également regardé directement ton fichier "routes", effectivement d'immenses félicitations pour tout ce travail accompli. Sans compter que tu as déjà très bien organisé ton travail avec les fichiers thématiques.

En superposant l'existant OSM sur ton fichier, on voit des divergences de tagging plutôt réduites (du genre: route de classe immédiatement inférieure par exemple primary/secondary). Cela s'explique peut-être par :
iero a écrit :Pour les tags, je m'étais inspiré de Madagascar [...] (avec un réseau routier en meilleur état cepandant). Il y a une fiche sur Madagascar dans le blog OSM. je n'ai pas vu de "conventions africaines"
Tu peux te référer à Highway_Tag_Africa (FR/EN). Comme postulat de départ tu peux considérer que les routes principales sont déjà tagguées correctement mais tu peux affiner l'allure. En cas de divergence notable de tracé ou de tag, je pense que le bon endroit pour discuter est hot-francophone@openstreetmap.org.
iero a écrit :ca n'a rien à voir avec le Congo Kinshasa (RDC, ancien Congo belge ou Zaire) [...] On est ici en Republique du Congo (ancien Congo Francais) et il n'y a pas de groupe de travail sur ce pays.
Mais de Kinshasa à Brazzaville il n'y a pas loin vu d'ici ! ;) Outre le groupe RDC, il y a l'Espace OpenStreetMap Francophone, des groupes actifs dans les pays francophones et la communauté HOT francophone. Donc d'autres sources de conseils et d'aide potentielle si besoin.
iero a écrit :J'ai tracé les routes avec des dizaines de traces GPS (des centaines de milliers de kilomètres au total : j'ai 1.58 Go de fichiers GPX . Je pense que c'est plutôt précis du coup.
Je pense que ces traces brutes sont également intéressantes et je t'encourage à les uploader sur http://www.openstreetmap.org/traces
iero a écrit :J'ai actuellement, en dehors de ce fichier OSM :
- Un fichier avec le terrain : plages, forets, marécages.
- Un fichier avec de l'hydro : j'uploaderai les rivières que j'ai descendu en canoé avec un GPS
- Un fichier avec les villages : j'uloaderai ceux que j'ai relevé au GPS
- Un fichier Waypoints avec quelques milliers de points d'intérêt : antennes GSM, baobabs, etc..
- un fichier rail avec les gares et voies ferrées relevées au GPS
Je t'ai déjà dit bravo ? :)

althio
Messages : 198
Inscription : jeu. oct. 09, 2014 8:50 am

Re: Envoi données d'un pays entier

Message par althio » mer. janv. 07, 2015 4:47 pm

althio a écrit :Tu peux te référer à Highway_Tag_Africa (FR/EN).
Autre modification que je te suggère : remplace highway=footway par highway=path.

iero

Re: Envoi données d'un pays entier

Message par iero » mer. janv. 07, 2015 9:29 pm

Hello

Sympa le Highway_Tag_Africa (FR/EN), je ne connaissais pas.

J'ai fait un quartier au sud de Pointe-noire et c'est vraiment long de refaire les connexions avec les routes principales.. J'ai mis plus d'une heure pour une 50aine de rues ! Il y a vraiment beaucoup d'erreurs dans l'existant.

Peut-etre que c'est possible en partageant le fichier d'avoir de l'aide et de rajouter tout ca à plusieurs avec la communauté francophone ?

althio
Messages : 198
Inscription : jeu. oct. 09, 2014 8:50 am

Re: Envoi données d'un pays entier

Message par althio » mer. janv. 07, 2015 10:23 pm

Je ne te promets pas une aide immédiate ni même une réponse rapide, mais je veux bien tenter une approche.
Laisse-moi une adresse email en MP si tu veux que je te mette dans la boucle de discussion. Précise-moi également si tu te sens à l'aise en anglais ou si tu préfères rester en français pour répondre à d'éventuelles questions.

iero

Re: Envoi données d'un pays entier

Message par iero » jeu. janv. 08, 2015 9:13 am

Pas de problème, je ne suis pas à la minute. J'essayerai de rajouter des données petit à petit, mais j'ai beaucoup moins de temps disponible aujourd'hui, donc ca sera de toutes façons long si je dois m'en occuper seul. Toute aide sera donc la bienvenue.

Mais je pense sincèrement que les dizaines d'heures d'incorporation de mes data en feront gagner beaucoup à la communauté !

Aucun soucis pour l'anglais, je te laisse mon email en mp.

Merci

GeorgeKaplan

Re: Envoi données d'un pays entier

Message par GeorgeKaplan » jeu. janv. 08, 2015 11:34 am

Bonjour,

C'est effectivement du gros et très bon boulot de récolte sur le terrain.
Volontaire aussi pour filer un coup de main.
Si tu peux découper en zones géographiques ton/tes fichiers sources, on peut se répartir le boulot grâce à l'outil de partage mapcraft : http://mapcraft.nanodesu.ru/

iero
Messages : 19
Inscription : jeu. janv. 08, 2015 9:16 am

Re: Envoi données d'un pays entier

Message par iero » jeu. janv. 08, 2015 12:13 pm

Chouette, je ne connaissais pas MapCraft (on en apprend tous les jours !)

Je vais donc essayer de faire un "cake"

Merci pour ton aide

iero
Messages : 19
Inscription : jeu. janv. 08, 2015 9:16 am

Re: Envoi données d'un pays entier

Message par iero » sam. janv. 10, 2015 11:44 am

Voilou !

J'ai créé :
- Un projet Mapcraft avec des zones de travail : http://mapcraft.nanodesu.ru/pie/466
- Une page wiki pour les conventions : http://wiki.openstreetmap.org/wiki/FR:W ... e_du_Congo

Je vais ajouter toutes les autres couches de données sur le répertoire http://www.iero.org/tmp/osm/ et je vais uploader les traces GPS (j'ai trouvé des scripts sur le wiki d'osm pour cela).
En cas de doute avec l'existant, mieux vaut utiliser mes données qui ont été maintes fois vérifiées et corrigées sur le terrain.

Merci de votre aide en tous cas, ca va être chouette une fois intégré !

GeorgeKaplan

Re: Envoi données d'un pays entier

Message par GeorgeKaplan » sam. janv. 10, 2015 1:58 pm

iero, je suis sur la page du gâteau mapcraft mais je ne trouve pas les fichiers .osm découpés suivants les morceaux du gâteau. Tu peux nous les mettre à disposition stp ?

iero
Messages : 19
Inscription : jeu. janv. 08, 2015 9:16 am

Re: Envoi données d'un pays entier

Message par iero » sam. janv. 10, 2015 2:58 pm

Hello

J'ai pas bien compris comment les rajouter à Mapcraft. Je viens de mettre les premiers sur mon serveur http://www.iero.org/tmp/osm/ !

iero
Messages : 19
Inscription : jeu. janv. 08, 2015 9:16 am

Re: Envoi données d'un pays entier

Message par iero » sam. janv. 10, 2015 3:23 pm

Ca y est, j'ai mis toutes les plaques découpées au niveau des routes. J'espère qu'il n'y a pas trop de chevauchements. S'il y a des trous dans les routes, c'est souvent des ponts pour lesquels j'ai oublié de rajouter le tag "source_type=GPS". Pour vérifier, j'ai mis le fichier original "04_pistes.osm" qui contient tout.

iero
Messages : 19
Inscription : jeu. janv. 08, 2015 9:16 am

Re: Envoi données d'un pays entier

Message par iero » sam. janv. 10, 2015 10:46 pm

Les 1034 traces GPS que j'ai en ma possession sont à présent toutes uploadées : https://www.openstreetmap.org/user/iero/traces

J'en profiterai pour uploader les traces du reste de l'Afrique que j'ai aussi.

Bon we et bonne manifestation !

JB

Re: Envoi données d'un pays entier

Message par JB » lun. janv. 12, 2015 10:57 am

Salut,
Je me suis essayé à la zone, et j'ai une petite question : est-ce que ça a du sens de créer deux voies parallèles en tertiary à 20 mètres l'une de l'autre, en zone rurale ? Est-ce que c'est suffisamment stable dans la durée, est-ce qu'on a atteint ce niveau de précision ?

Répondre

Qui est en ligne ?

Utilisateurs parcourant ce forum : Aucun utilisateur inscrit et 3 invités