OsmaAndmapcreator

Extraire des données OSM, créer sa carte, uMap, utiliser sur un GPS ou un smartphone...
Répondre
lapile07
Messages : 7
Inscription : lun. mars 17, 2014 1:40 pm

OsmaAndmapcreator

Message par lapile07 » jeu. août 11, 2016 3:58 pm

Bonjour,
Je génère un projet avec FME et j'ai en sortie un fichier .osm, qui fait 1.5 GO.
De ce fichier .osm je veux en faire un .obf en passant par OsmAndMapCreator.
Jusque là tout va bien et j'ai pu ainsi réaliser 3 fois ma carte de sortie en .obf que j'ai pu charger dans ma tablette ave l'apk OsmAnd en ayant modifié et corrigé mon projet FME et refait à chaque fois mon fichier .osm.
J'ai refait une quatrième fois mon fichier .osm sans problème.
Mais il se trouve que maintenant j'ai un souci avec OsmandMapCreator qui me dit ceci: "java.lang.OutOfMemoryError: Java heap space" et je ne peux plus générer mon fichier .obf.
J'ai fait appel à mon service informatique et rien à faire.
Je pense que la mémoire virtuelle de Java d'Osmandmapcreator est saturée mais je ne vois pas bien comment faire pour l'augmenter ayant déjà essayé pas mal de choses de ce côté.
Si quelqu'un avait une idée car je suis bien embêté. la mémoire de Java semble être la cause de mon problème.

Merci d'avance.

BrunoC
Messages : 374
Inscription : sam. juin 23, 2012 11:07 am
Localisation : Nantes
Contact :

Re: OsmaAndmapcreator

Message par BrunoC » ven. août 12, 2016 9:28 am

Bonjour,
Tu trouveras des détails sur la consommation mémoire ici :
http://wiki.openstreetmap.org/wiki/OsmAndMapCreator
https://code.google.com/archive/p/osman ... rself.wiki

Un OS 32 bits limite déjà à la base la mémoire accessible à 3.3 Gio. Si tu a un OS 64 bits, tu peux modifier les paramètres java -Xms et -Xmx.
De plus il semble que qu'au délà de 300 Mio de .pbf ( ce qui me me semble correspondre à la louche à 1 à 2 Gio de .osm ), il faut utiliser l'option sqlite_in_memory ce qui augmente d'autant la conso mémoire.

Sous Linux tu peux créer des fichiers de swap pour que le système puisse encaisser la charge mémoire, s'il n'y a pas déjà une partition de swap. Il m'est arrivé de créer un fichier de swap de 70 Gio sur un SSD pour un import du full planet français (tout l'historique OSM).

Questions : ton fichier, ce sont des données perso ? des données OSM ? Il y a un ration important de points (c'est ça qui bouffe de la RAM dans les outils qui manipule les format .osm/.pbf) ?

Bruno

lapile07
Messages : 7
Inscription : lun. mars 17, 2014 1:40 pm

Re: OsmaAndmapcreator

Message par lapile07 » ven. août 12, 2016 9:57 am

Bonjour,
Mon service informatique a changé mon ordi et est passé de 32 bits à 64 bits.
J'avais 4Go de Ram sur l'ancien et j'ai pu réaliser mon projet 3 fois sans problème.
J'ai maintenant 8 GO de Ram avec Windows 10 et ça ne marche toujours pas.
Pour info mon projet génère 1242440 objets à la sortie de FME au format .osm, ce qui me fait un fichier d'environ 1.5 GO en .osm.
Mon projet consiste a passer ma cartographie sous Géoconcept, donc pas mal de données, pour la transformer via FME et la passer dans une tablette android avec OSMAND en mode déconnecté.
Je travaille dans un sdis et j'ai donc des données particulières, je travaille au format SHP dans FME et je "mouline" l'ensemble.
Ce qui est troublant c'est que j'ai déjà réussi sans problème a le faire 3 fois et à la sortie mon fichier .obf fait 91.3 MO.
Donc si je comprends bien il faudrait aller dans le Batch.xml et modifier ceci: osmDbDialect="sqlite_in_memory" et mapDbdialect="sqlite_in_memory"/>.

Merci de me dire si c'est bien cela et surtout si ça va résoudre mes soucis.
Parce que m'arrêter là alors que j'ai fait un gros boulot de réflexion, de montage du projet, ce serait vraiment désolant et je ne peux compter que sur moi-même au sein de ma collectivité.

Merci d'avance pour ton aide.

BrunoC
Messages : 374
Inscription : sam. juin 23, 2012 11:07 am
Localisation : Nantes
Contact :

Re: OsmaAndmapcreator

Message par BrunoC » ven. août 12, 2016 10:31 am

Je dirai plutôt que c'est le paramètre -Xmx qu'il faut augmenter.

Tu as le fichier log ?

lapile07
Messages : 7
Inscription : lun. mars 17, 2014 1:40 pm

Re: OsmaAndmapcreator

Message par lapile07 » ven. août 12, 2016 10:56 am

On a déjà essayé mais ça ne marche pas.

Voici le fichier log de ce matin après un énième essai sans rien modifier:

août 12, 2016 10:49:39 AM net.osmand.map.MapTileDownloader$DownloadMapWorker run
PRÉCIS: Start downloading tile : http://tile.osmand.net/hd/5/15/11.png
août 12, 2016 10:49:39 AM net.osmand.map.MapTileDownloader$DownloadMapWorker run
PRÉCIS: Start downloading tile : http://tile.osmand.net/hd/5/15/9.png
août 12, 2016 10:49:39 AM net.osmand.map.MapTileDownloader$DownloadMapWorker run
PRÉCIS: Start downloading tile : http://tile.osmand.net/hd/5/15/10.png
août 12, 2016 10:49:39 AM net.osmand.map.MapTileDownloader$DownloadMapWorker run
PRÉCIS: Start downloading tile : http://tile.osmand.net/hd/5/15/8.png
août 12, 2016 10:49:39 AM net.osmand.map.MapTileDownloader$DownloadMapWorker run
PRÉCIS: Downloading tile : http://tile.osmand.net/hd/5/15/8.png successfull 141 ms
août 12, 2016 10:49:39 AM net.osmand.map.MapTileDownloader$DownloadMapWorker run
PRÉCIS: Downloading tile : http://tile.osmand.net/hd/5/15/9.png successfull 156 ms
août 12, 2016 10:49:39 AM net.osmand.map.MapTileDownloader$DownloadMapWorker run
PRÉCIS: Start downloading tile : http://tile.osmand.net/hd/5/21/11.png
août 12, 2016 10:49:39 AM net.osmand.map.MapTileDownloader$DownloadMapWorker run
PRÉCIS: Start downloading tile : http://tile.osmand.net/hd/5/21/10.png
août 12, 2016 10:49:39 AM net.osmand.map.MapTileDownloader$DownloadMapWorker run
PRÉCIS: Downloading tile : http://tile.osmand.net/hd/5/21/11.png successfull 126 ms
août 12, 2016 10:49:39 AM net.osmand.map.MapTileDownloader$DownloadMapWorker run
PRÉCIS: Downloading tile : http://tile.osmand.net/hd/5/15/10.png successfull 282 ms
août 12, 2016 10:49:39 AM net.osmand.map.MapTileDownloader$DownloadMapWorker run
PRÉCIS: Start downloading tile : http://tile.osmand.net/hd/5/21/9.png
août 12, 2016 10:49:39 AM net.osmand.map.MapTileDownloader$DownloadMapWorker run
PRÉCIS: Start downloading tile : http://tile.osmand.net/hd/5/21/8.png
août 12, 2016 10:49:39 AM net.osmand.map.MapTileDownloader$DownloadMapWorker run
PRÉCIS: Downloading tile : http://tile.osmand.net/hd/5/15/11.png successfull 297 ms
août 12, 2016 10:49:39 AM net.osmand.map.MapTileDownloader$DownloadMapWorker run
PRÉCIS: Start downloading tile : http://tile.osmand.net/hd/5/20/11.png
août 12, 2016 10:49:39 AM net.osmand.map.MapTileDownloader$DownloadMapWorker run
PRÉCIS: Downloading tile : http://tile.osmand.net/hd/5/21/10.png successfull 204 ms
août 12, 2016 10:49:39 AM net.osmand.map.MapTileDownloader$DownloadMapWorker run
PRÉCIS: Start downloading tile : http://tile.osmand.net/hd/5/20/10.png
août 12, 2016 10:49:39 AM net.osmand.map.MapTileDownloader$DownloadMapWorker run
PRÉCIS: Downloading tile : http://tile.osmand.net/hd/5/21/8.png successfull 78 ms
août 12, 2016 10:49:39 AM net.osmand.map.MapTileDownloader$DownloadMapWorker run
PRÉCIS: Start downloading tile : http://tile.osmand.net/hd/5/20/9.png
août 12, 2016 10:49:39 AM net.osmand.map.MapTileDownloader$DownloadMapWorker run
PRÉCIS: Downloading tile : http://tile.osmand.net/hd/5/21/9.png successfull 124 ms
août 12, 2016 10:49:39 AM net.osmand.map.MapTileDownloader$DownloadMapWorker run
PRÉCIS: Start downloading tile : http://tile.osmand.net/hd/5/20/8.png
août 12, 2016 10:49:39 AM net.osmand.map.MapTileDownloader$DownloadMapWorker run
PRÉCIS: Downloading tile : http://tile.osmand.net/hd/5/20/8.png successfull 63 ms
août 12, 2016 10:49:39 AM net.osmand.map.MapTileDownloader$DownloadMapWorker run
PRÉCIS: Start downloading tile : http://tile.osmand.net/hd/5/19/11.png
août 12, 2016 10:49:39 AM net.osmand.map.MapTileDownloader$DownloadMapWorker run
PRÉCIS: Downloading tile : http://tile.osmand.net/hd/5/20/11.png successfull 187 ms
août 12, 2016 10:49:39 AM net.osmand.map.MapTileDownloader$DownloadMapWorker run
PRÉCIS: Start downloading tile : http://tile.osmand.net/hd/5/19/10.png
août 12, 2016 10:49:39 AM net.osmand.map.MapTileDownloader$DownloadMapWorker run
PRÉCIS: Downloading tile : http://tile.osmand.net/hd/5/20/9.png successfull 172 ms
août 12, 2016 10:49:39 AM net.osmand.map.MapTileDownloader$DownloadMapWorker run
PRÉCIS: Start downloading tile : http://tile.osmand.net/hd/5/19/9.png
août 12, 2016 10:49:39 AM net.osmand.map.MapTileDownloader$DownloadMapWorker run
PRÉCIS: Downloading tile : http://tile.osmand.net/hd/5/20/10.png successfull 188 ms
août 12, 2016 10:49:39 AM net.osmand.map.MapTileDownloader$DownloadMapWorker run
PRÉCIS: Start downloading tile : http://tile.osmand.net/hd/5/19/8.png
août 12, 2016 10:49:39 AM net.osmand.map.MapTileDownloader$DownloadMapWorker run
PRÉCIS: Downloading tile : http://tile.osmand.net/hd/5/19/8.png successfull 125 ms
août 12, 2016 10:49:39 AM net.osmand.map.MapTileDownloader$DownloadMapWorker run
PRÉCIS: Start downloading tile : http://tile.osmand.net/hd/5/18/11.png
août 12, 2016 10:49:39 AM net.osmand.map.MapTileDownloader$DownloadMapWorker run
PRÉCIS: Downloading tile : http://tile.osmand.net/hd/5/19/10.png successfull 203 ms
août 12, 2016 10:49:39 AM net.osmand.map.MapTileDownloader$DownloadMapWorker run
PRÉCIS: Downloading tile : http://tile.osmand.net/hd/5/19/9.png successfull 156 ms
août 12, 2016 10:49:39 AM net.osmand.map.MapTileDownloader$DownloadMapWorker run
PRÉCIS: Start downloading tile : http://tile.osmand.net/hd/5/18/10.png
août 12, 2016 10:49:39 AM net.osmand.map.MapTileDownloader$DownloadMapWorker run
PRÉCIS: Start downloading tile : http://tile.osmand.net/hd/5/18/9.png
août 12, 2016 10:49:39 AM net.osmand.map.MapTileDownloader$DownloadMapWorker run
PRÉCIS: Downloading tile : http://tile.osmand.net/hd/5/19/11.png successfull 266 ms
août 12, 2016 10:49:39 AM net.osmand.map.MapTileDownloader$DownloadMapWorker run
PRÉCIS: Start downloading tile : http://tile.osmand.net/hd/5/18/8.png
août 12, 2016 10:49:40 AM net.osmand.map.MapTileDownloader$DownloadMapWorker run
PRÉCIS: Downloading tile : http://tile.osmand.net/hd/5/18/8.png successfull 140 ms
août 12, 2016 10:49:40 AM net.osmand.map.MapTileDownloader$DownloadMapWorker run
PRÉCIS: Start downloading tile : http://tile.osmand.net/hd/5/17/11.png
août 12, 2016 10:49:40 AM net.osmand.map.MapTileDownloader$DownloadMapWorker run
PRÉCIS: Downloading tile : http://tile.osmand.net/hd/5/18/9.png successfull 234 ms
août 12, 2016 10:49:40 AM net.osmand.map.MapTileDownloader$DownloadMapWorker run
PRÉCIS: Start downloading tile : http://tile.osmand.net/hd/5/17/10.png
août 12, 2016 10:49:40 AM net.osmand.map.MapTileDownloader$DownloadMapWorker run
PRÉCIS: Downloading tile : http://tile.osmand.net/hd/5/18/11.png successfull 282 ms
août 12, 2016 10:49:40 AM net.osmand.map.MapTileDownloader$DownloadMapWorker run
PRÉCIS: Start downloading tile : http://tile.osmand.net/hd/5/17/9.png
août 12, 2016 10:49:40 AM net.osmand.map.MapTileDownloader$DownloadMapWorker run
PRÉCIS: Downloading tile : http://tile.osmand.net/hd/5/18/10.png successfull 265 ms
août 12, 2016 10:49:40 AM net.osmand.map.MapTileDownloader$DownloadMapWorker run
PRÉCIS: Start downloading tile : http://tile.osmand.net/hd/5/17/8.png
août 12, 2016 10:49:40 AM net.osmand.map.MapTileDownloader$DownloadMapWorker run
PRÉCIS: Downloading tile : http://tile.osmand.net/hd/5/17/8.png successfull 157 ms
août 12, 2016 10:49:40 AM net.osmand.map.MapTileDownloader$DownloadMapWorker run
PRÉCIS: Start downloading tile : http://tile.osmand.net/hd/5/16/11.png
août 12, 2016 10:49:40 AM net.osmand.map.MapTileDownloader$DownloadMapWorker run
PRÉCIS: Downloading tile : http://tile.osmand.net/hd/5/17/11.png successfull 297 ms
août 12, 2016 10:49:40 AM net.osmand.map.MapTileDownloader$DownloadMapWorker run
PRÉCIS: Start downloading tile : http://tile.osmand.net/hd/5/16/10.png
août 12, 2016 10:49:40 AM net.osmand.map.MapTileDownloader$DownloadMapWorker run
PRÉCIS: Downloading tile : http://tile.osmand.net/hd/5/17/10.png successfull 266 ms
août 12, 2016 10:49:40 AM net.osmand.map.MapTileDownloader$DownloadMapWorker run
PRÉCIS: Start downloading tile : http://tile.osmand.net/hd/5/16/9.png
août 12, 2016 10:49:40 AM net.osmand.map.MapTileDownloader$DownloadMapWorker run
PRÉCIS: Downloading tile : http://tile.osmand.net/hd/5/17/9.png successfull 265 ms
août 12, 2016 10:49:40 AM net.osmand.map.MapTileDownloader$DownloadMapWorker run
PRÉCIS: Start downloading tile : http://tile.osmand.net/hd/5/16/8.png
août 12, 2016 10:49:40 AM net.osmand.map.MapTileDownloader$DownloadMapWorker run
PRÉCIS: Downloading tile : http://tile.osmand.net/hd/5/16/8.png successfull 141 ms
août 12, 2016 10:49:40 AM net.osmand.map.MapTileDownloader$DownloadMapWorker run
PRÉCIS: Downloading tile : http://tile.osmand.net/hd/5/16/11.png successfull 249 ms
août 12, 2016 10:49:40 AM net.osmand.map.MapTileDownloader$DownloadMapWorker run
PRÉCIS: Downloading tile : http://tile.osmand.net/hd/5/16/9.png successfull 187 ms
août 12, 2016 10:49:40 AM net.osmand.map.MapTileDownloader$DownloadMapWorker run
PRÉCIS: Downloading tile : http://tile.osmand.net/hd/5/16/10.png successfull 297 ms
août 12, 2016 10:50:01 AM net.osmand.osm.MapPoiTypes init
INFOS: Time to init poi types 15
août 12, 2016 10:50:01 AM net.osmand.osm.MapRenderingTypes init
INFOS: Time to init 219
août 12, 2016 10:50:01 AM net.osmand.data.preparation.DBDialect getDatabaseConnection
INFOS: SQLITE running in native mode
août 12, 2016 10:50:01 AM net.osmand.data.preparation.DBDialect getDatabaseConnection
INFOS: SQLITE running in native mode
août 12, 2016 10:50:01 AM net.osmand.data.preparation.DBDialect getDatabaseConnection
INFOS: SQLITE running in native mode
août 12, 2016 10:50:01 AM net.osmand.swing.ProgressDialog startTask
PRÉCIS: Memory before task exec: 64880640 free : 19575528
août 12, 2016 10:50:01 AM net.osmand.swing.ProgressDialog startTask
PRÉCIS: Chargement du fichierC:\Users\sig\Desktop\OSM 37\OSM37.osm started
août 12, 2016 10:50:03 AM net.osmand.data.preparation.IndexCreator extractOsmToNodesDB
INFOS: File indexed : 2235
août 12, 2016 10:50:03 AM net.osmand.swing.ExceptionHandler handle
GRAVE: Error in thread Thread-4
java.lang.OutOfMemoryError: Java heap space
at org.kxml2.io.KXmlParser.push(Unknown Source)
at org.kxml2.io.KXmlParser.pushText(Unknown Source)
at org.kxml2.io.KXmlParser.nextImpl(Unknown Source)
at org.kxml2.io.KXmlParser.next(Unknown Source)
at net.osmand.osm.io.OsmBaseStorage.parseOSM(OsmBaseStorage.java:110)
at net.osmand.data.preparation.IndexCreator.extractOsmToNodesDB(IndexCreator.java:320)
at net.osmand.data.preparation.IndexCreator.initDbAccessor(IndexCreator.java:355)
at net.osmand.data.preparation.IndexCreator.generateIndexes(IndexCreator.java:590)
at net.osmand.data.preparation.IndexCreator.generateIndexes(IndexCreator.java:519)
at net.osmand.swing.OsmExtractionUI$13.run(OsmExtractionUI.java:543)
at net.osmand.swing.ProgressDialog$WorkerThread.run(ProgressDialog.java:87)

Encore merci si tu peux m'aider...

BrunoC
Messages : 374
Inscription : sam. juin 23, 2012 11:07 am
Localisation : Nantes
Contact :

Re: OsmaAndmapcreator

Message par BrunoC » ven. août 12, 2016 2:25 pm

Tu dois sans doute lancer le traitement par OsmAndMapCreator.bat

C'est un fichier texte : peux-tu sortir la ligne qui commence par java ?

lapile07
Messages : 7
Inscription : lun. mars 17, 2014 1:40 pm

Re: OsmaAndmapcreator

Message par lapile07 » ven. août 12, 2016 2:31 pm

Est-ce que c'est celle-ci?

GRAVE: Error in thread Thread-4
java.lang.OutOfMemoryError: Java heap space

BrunoC
Messages : 374
Inscription : sam. juin 23, 2012 11:07 am
Localisation : Nantes
Contact :

Re: OsmaAndmapcreator

Message par BrunoC » ven. août 12, 2016 2:42 pm

Non, dans le fichier OsmAndMapCreator.bat

C'est pour voir quelle valeur tu as dans l'option -Xmx

lapile07
Messages : 7
Inscription : lun. mars 17, 2014 1:40 pm

Re: OsmaAndmapcreator

Message par lapile07 » ven. août 12, 2016 2:53 pm

Voilà ce que j'ai dans le .bat.
Je l'ai déjà modifié à plusieurs reprises, rien n'y fait !

REM the JVM. With the below settings the heap size (Available memory for the application)
REM will range from 64 megabyte up to 720 megabyte.

start javaw.exe -Djava.util.logging.config.file=logging.properties -Xms64M -Xmx720M -cp "./OsmAndMapCreator.jar;./lib/OsmAnd-core.jar;./lib/*.jar;./lib-gl/*.jar" net.osmand.swing.OsmExtractionUI

BrunoC
Messages : 374
Inscription : sam. juin 23, 2012 11:07 am
Localisation : Nantes
Contact :

Re: OsmaAndmapcreator

Message par BrunoC » ven. août 12, 2016 4:18 pm

Un peu à l'étroit avec 720 Mo de RAM.

Change le param -Xms64M en -Xms2000M
et le param -Xmx720M en -Xmx4000M


J'ai confiance :)

lapile07
Messages : 7
Inscription : lun. mars 17, 2014 1:40 pm

Re: OsmaAndmapcreator

Message par lapile07 » ven. août 12, 2016 4:25 pm

Merci pour l'info.
Je verrai ça la semaine prochaine.
Même si je suis un peu sceptique car j'ai déjà tenté pas mal de chose de ce côté.

Bon week-end.

lapile07
Messages : 7
Inscription : lun. mars 17, 2014 1:40 pm

Re: OsmaAndmapcreator

Message par lapile07 » mar. août 16, 2016 8:45 am

Bonjour,

J'ai testé ton info en changeant le Xms2000M et Xmx4000M mais dans ce cas OsmAndMapCreator en .bat ne se lance plus du tout.
Je ne sais plus vraiment quoi faire.
Alors j'ai relancé mon projet FME en modifiant quelques données pour revenir à un fichier .osm comme quand tout fonctionnait bien.
Je vais voir, sinon je ne sais plus faire car Java je ne maitrise pas...

Répondre

Qui est en ligne ?

Utilisateurs parcourant ce forum : Aucun utilisateur inscrit et 5 invités