bloqué suite a l'imporation du cadastre ( 71000 objets)

Importer dans OSM, contrôler, suivre et surveiller (osmose, keepright, ...)
Répondre
guiguid
Messages : 5
Inscription : dim. juil. 29, 2012 8:05 am

bloqué suite a l'imporation du cadastre ( 71000 objets)

Message par guiguid » dim. juil. 29, 2012 8:24 am

Bonjour à Tous,

Cela fait 6 mois que j'importe les petites et moyennes communes de ma zone.
J'ai vu qu'il y avait de plus en plus de contributeur, et sachant que c'est bien plus agréable de travailler sur un zone ou les bâtiments du
cadastre ont été importé, j'ai proposé au contributeur de mon entourage s'il voulait que j'importe leur commune.
En effet, l’importation décrite ici : http://wiki.openstreetmap.org/wiki/Wiki ... %A2timents
n'est pas à la portée du premier venu et demande un peu de pratique (génération du fichier, simplification, nettoyage avant import, récupération des tag sur les bâtiments déjà tracé, suppressions de ceux-ci, importation dans OSM)

Donc tout allait bien jusqu’à ce que j'importe une commune qui a 71000 objets ....
Je n'ai eu aucun problèmes techniques si ce n'est le temps passé .....

Et ce matin, je me retrouve Bloqué !!! C'est en fait un avertissement (En anglais !Super! ) qui me débloque à la simple lecture.

1 / il faut créer un autre compte pour l'importation
-> je ne suis pas d'accord, ce n'est pas un import 100% automatique, j'ai réalisé un travail avec mes mains et mon cerveau, je ne vois pas pourquoi je devrais prendre un autre compte !!!

2/ un modérateur (Anglais !!!!) me contacte et me demande ce que je fais si l'upload échoue.
-> comme écrit dans le WiKi, je fais par lot de 500 objets, mais cela ne semble pas répondre a la question, qu'il me repose sans cesse. (S'il a la réponse il a qu'a me la dire ...)

Donc voila, je copie colle nos échanges afin que certain d'entre-vous me prennent pas une douche froide en contribuant a ce fabuleux projet....

( J'ai toujours pas la réponse a mon dernier message, je vous ferais suivre....)
À pnorman Small
Objet Re: Revert plans
Date 29 juillet 2012 à 05:42


On 2012-07-29 05:16:13 UTC pnorman wrote:

On 2012-07-29 05:08:50 UTC guiguid wrote:

On 2012-07-29 01:53:42 UTC pnorman wrote:

What were your plans for fixing http://www.openstreetmap.org/browse/changeset/12527766 if the upload got interrupted?


Hi pnorman,

I only upload big changeset by 500 objects. So using 142 upload requests for this 71000 objects.

As you can see, this time the complete changeset was done in 3 times :

http://www.openstreetmap.org/browse/changeset/12527766 about 100 x 500 objects upload interrupt http://www.openstreetmap.org/browse/changeset/12528388 about 40 x 500 objects upload interrupt http://www.openstreetmap.org/browse/changeset/12528743 about 10 x 500 objects

but without need of fixing anything.

have nice day

Guillaume


With that plan if you get your connection interrupted and a response gets lost you can be left with 50k nodes in the database and you can't continue since JOSM doesn't know where to continue from. I've seen it happen multiple times. How would you fix this?

Sorry Pnorman,

but I don't understand "JOSM doesn't know where to continue from", I'm not a computer Ingenier ...

to be clear, I'm importing "French Cadastre" http://wiki.openstreetmap.org/wiki/Import/Catalogue of my area.

http://wiki.openstreetmap.org/wiki/Wiki ... n%C3%A7ais

this is leagal : http://wiki.openstreetmap.org/wiki/Wiki ... tilisation

I use the semi-automatic technic described here : http://wiki.openstreetmap.org/wiki/Wiki ... %A2timents

It never talks about "reverting" (only uploading by 500 objects technic) It never talks about dedicated account.

In my area there are bigger import of French Cadastre, I don't know how it was done.

So I don't know why you continuouly ask me my plans for fixing an hypotetic interrupted upload.

As I've folowed all wiki instructions given in " http://wiki.openstreetmap.org/wiki/Wiki ... %A2timents " So I'm very disappointed by your remarks.

If you have the solution, and contact writer of " http://wiki.openstreetmap.org/wiki/Wiki ... %A2timents " And explain how to process.

(sorry for my bad English)

Guillaume.

HelenePETIT
Messages : 8
Inscription : mer. avr. 04, 2012 11:01 am
Localisation : Escalquens (31)

Re: bloqué suite a l'imporation du cadastre ( 71000 objets)

Message par HelenePETIT » dim. juil. 29, 2012 9:37 am

Salut !
je fais moi aussi de temps en temps de gros imports de bâtiments ; je n'ai pas tendance à faire faire à mes machines et à moi-même plus que ce qu'ils peuvent supporter, et donc je fais ça par petits paquets ; la taille du paquet est ce que je peux faire en 20 à 30 minutes de mon temps de personne humaine pour gérer les simplifications, nettoyage avant import, récupération des tags sur les bâtiments déjà tracés, suppressions de ceux-ci ; ça me fait des sessions de travail de 30 minutes max, à l'issue de la quelle je charge (sans problème) dans osm.

Reste à conserver la trace, d'une cession à l'autre, de ce qui est déjà accompli et de ce qu'il reste à faire.

Pour ça je me suis fait un process qui me convient, et qui utilise le système des calques de josm, très très bien fait, je trouve :
- je charge le fichier houses .osm dans un nouveau calque que je nomme Ville00.osm (palette des calques, renommer) ;
- je mets le focus sur CE calque ; il devient en couleurs, et le calque destiné à l'import est dessiné en noir (il est neutralisé) ;
- je sélectionne les bâtiments d'un quartier (correspondant à ce que je vais faire en 30 minutes) ;
- je copie cette sélection, et je la détruis dans ce calque ; je renomme le calque Ville01.osm (ce qui le sauvegarde) ;
- je mets le focus sur le calque destiné à l'import ; et je fais bien attention de laisser le pointeur dans la palette des calques (pour ne pas perdre la localisation des bâtiments) ;
- je colle les bâtiments avec Ctrl+v

ensuite je fais les nettoyages divers, puis j'importe vers osm.

ce process me fournit une procédure de reprise à tout moment, puisque les fichiers Villexx.osm s'empilent dans mon dossier de sauvegarde.

j'ai migré ma machine vers le 64 bits, donné 4G de mémoire vive à josm, et j'ai un gros DD dédié ;

tout baigne ; j'aime bien les sessions de 30 minutes, ça me permet de promener le chien, de donner ses croquettes au chat et d'apprendre à lire à mes petits enfants, de balancer une vanne à l'un des 3 Vincent de la liste talk-fr, sans oublier la mise en route de la machine à café (qui n'a pas encore de linux embarqué).

Amicalement,
Hélène

didier2020
Messages : 9
Inscription : sam. oct. 01, 2011 6:10 pm
Contact :

Re: bloqué suite a l'imporation du cadastre ( 71000 objets)

Message par didier2020 » dim. juil. 29, 2012 10:30 am

bonjour,
un outil pour travailler sur des zones plus petites:
vincent95 a un outil pour découper un fichier osm en 4. (cela peut etre fait plusieurs fois)
http://wiki.openstreetmap.org/wiki/User ... tils/Split

bonne journee
didier

Avatar de l’utilisateur
cquest
Messages : 1823
Inscription : ven. avr. 16, 2010 12:22 am
Localisation : Val de Marne
Contact :

Re: bloqué suite a l'imporation du cadastre ( 71000 objets)

Message par cquest » dim. juil. 29, 2012 11:12 am

Avec un peu méthode, on ne peut pas se louper dans l'upload d'un bâti même volumineux (mon record c'est 480.000 objets lors du nettoyage du bâti de Caen).

L'upload de plusieurs dizaines de milliers d'objets peut être interrompu.
Dans ce cas, il faut penser à enregistrer le fichier JOSM en local pour conserver les ID des objets qui ont pu être créé avant l'interruption. Cela permet de reprendre l'upload là où on en était.

Autre solution: à l'aide de l'outil "lasso" de JOSM apparu il y a quelques temps déjà, on peut sélectionner une partie du bâti et utiliser "Envoyer la sélection" dans le menu Fichier de JOSM. Cette méthode a l'avantage d'envoyer un paquet de noeuds et de ways, donc des bâtiments complets alors que la méthode classique en cas d'interruption laisse derrière elle des milliers de noeuds orphelins car les ways sont envoyés après les nodes par JOSM.

guiguid
Messages : 5
Inscription : dim. juil. 29, 2012 8:05 am

Re: bloqué suite a l'imporation du cadastre ( 71000 objets)

Message par guiguid » dim. juil. 29, 2012 11:38 am

Merci pour vos réponses.

Je vais effectivement travailler par partie plus petite lorsqu'il y a déjà pas mal de bâtiments tagués.
Merci pour les 2 méthodes ci-dessus.

Voici la réponse :
http://wiki.openstreetmap.org/wiki/Impo ... he_data.21 says "If an import goes wrong, or you needed to interrupt an upload half way through, this should be cleaned up (reverted) immediately"

The way you uploaded makes it impossible to revert with the revert plugin.

http://wiki.openstreetmap.org/wiki/Impo ... er_account says to use a dedicated user account.

I've asked for some to fix the French documentation.
Donc ce qu'il demande c'est pouvoir faire un revert.

Je pense que c'est possible non ?

j'ai un fichier osm avec les bâtiments
je le charge dans un nouveau claque , je enregistre, le ré-ouvre, le simplifie ..... puis je le sauvegarde.
je charge la région correspondante depuis OSM dans un nouveau claque.
sur les bâtiments déjà tracés si ils ont été tracé a la main : je récupère les tag et je les copie sur le calque précédent (celui des bâtiments tirés du cadastre.), puis je les supprimes du claque des données OSM. Si non, je les supprimes du claque du cadastre.
A ce stade, j'ai le calque avec les données OSM (sans les bâtiments) modifiés, et le calque des donnes a importer.
j'envois les modifications des données OSM (souvent de la suppression de bâtiments tracés à la main)
Puis j’envoie le claque avec les données du cadastre ( par paquet de 500 objets comme expliqué dans le Wiki) complété des tag des bâtiments précédemment supprimés.

Je ne vois pas ce qui n'est pas réversible ? Puisque tout est fait dans un "changeset" différent, et que j'ai sur le disque les données OSM, et le cadastre que je viens d'envoyer.

Si quelqu'un peu m'éclairer sur ce que me demande exactement "pnorman".

Merci

1piedsurTerre

Re: bloqué suite a l'imporation du cadastre ( 71000 objets)

Message par 1piedsurTerre » dim. juil. 29, 2012 6:57 pm

Salut

J'ai eu le même problème dernièrement ... Import du bâti d'une commune rurale. Je n'ai pas pas fait de revert mais cela m'a tout de même un peu refroidi pour en faire d'autres ...

alkahouz

Re: bloqué suite a l'imporation du cadastre ( 71000 objets)

Message par alkahouz » dim. juil. 29, 2012 8:12 pm

Un peu hs (j'ai aussi eu un message de pnorman, j'ai supprimé un changeset de 11500 objets avec le plugin reverter) mais :

suite au travail du bot pour le changement de licence, est-ce qu'il est de nouveau autorisé de faire des imports massifs ?

Pieren

Re: bloqué suite a l'imporation du cadastre ( 71000 objets)

Message par Pieren » dim. juil. 29, 2012 11:15 pm

Il y a eu une discussion récemment sur la liste data group avec pnorman concernant l'import bâti en France. Le principal reproche était que des personnes ont continué à importer du bâti pendant la phase de "redaction bot" (quand la base a été nettoyée pour la transition de licence) malgré la demande des admins de suspendre tous les imports durant cette période (cette demande a été traduite et répercutée sur la liste de diffusion française talk-fr).
On a aussi expliqué à Paul Norman que nous ne pensons pas en France que la création d'un compte spécifique soit nécessaire pour l'import du bâti d'une seule commune. Par contre, nous voyons aussi des imports mal faits, qui laissent des doublons ou des chevauchements avec les highways. Ceux-ci méritent un blocage, au moins temporaire. Mais si l'intégration est bien faite, il n'y a aucune raison de bloquer un compte , même pour une grande ville. Si vous pensez bien agir et que vous êtes bloqué injustement, signalez vous sur la liste DWG ou talk-fr pour qu'on en discute.

withenemies

Re: bloqué suite a l'imporation du cadastre ( 71000 objets)

Message par withenemies » lun. juil. 30, 2012 11:02 am

Pieren a écrit :Il y a eu une discussion récemment sur la liste data group avec pnorman concernant l'import bâti en France.
Je ne retrouve pas cette discussion, c'est quelle liste ?

Ab_fab

Re: bloqué suite a l'imporation du cadastre ( 71000 objets)

Message par Ab_fab » lun. juil. 30, 2012 11:35 am

withenemies a écrit :
Pieren a écrit :Il y a eu une discussion récemment sur la liste data group avec pnorman concernant l'import bâti en France.
Je ne retrouve pas cette discussion, c'est quelle liste ?
Bonjour,

La discussion a été lancée sur la liste du conseil d'administration de l'association OpenStreetMap France.
http://listes.openstreetmap.fr/wws/info/ca
NB : Il est nécessaire de s'inscrire pour accéder aux archives, mais pas de sélection à priori des abonnés

L'ensemble des listes, dont quelques unes à portée régionale :
http://listes.openstreetmap.fr/wws/lists

withenemies

Re: bloqué suite a l'imporation du cadastre ( 71000 objets)

Message par withenemies » lun. juil. 30, 2012 6:57 pm

Ab_fab a écrit : Bonjour,

La discussion a été lancée sur la liste du conseil d'administration de l'association OpenStreetMap France.
http://listes.openstreetmap.fr/wws/info/ca
NB : Il est nécessaire de s'inscrire pour accéder aux archives, mais pas de sélection à priori des abonnés
Merci :)
Je suis un newbie, mais c'est quand même pas facile d'avoir les bonnes infos avec le nombre de sources "officielles" (wiki pas forcément cohérent, mailings lists pas facile à suivre, etc.) :D

Répondre

Qui est en ligne ?

Utilisateurs parcourant ce forum : Aucun utilisateur inscrit et 1 invité