Aller au contenu
Forum Avex

nouvelles cartes de PL 2017 ( France)


frédogoto

Messages recommandés

  • Administrators

Bonjour les amis. j'ai trouvé des données assez haute resolution pour la france qui vont me permettre de générer des cartes de PL géographiquement plus précises.

En effet , la nouvelle carte de pollu de la france aura une taille supérieures au carte de PL européenne


ci dessous un aperçu à l’échelle 1/4

NB version pas encore calibrée


531783Capture.png

1. Longuesse

2. Aéroport de cormeille en vexin

3. gare de triage d'Achère

4. port de Gennevilliers

5. Le bourget

6 Paris

7 Poissy

8 centrale EDF de Porcheville

9 Bute de l'autille

10 Conflan St Honorine

11 A15 et ZA herblay beauchamp

12 A13 / Foret de St Germain

Lien vers le commentaire
Partager sur d’autres sites

  • Administrators

ces nouvelles cartes sont infernales a manipuler : 8 heure juste pour faire un bête [glow=red]ctrl + s [/glow]sans compter les nombreux plantage photoshop :((((

pour faire simple je fait deux manipes, une purge de la mémoire, une sauvegarde, deux manipes une purge de la mémoire, une sauvegarde etc.

et vu que le moindre sauvegarde prend 8 heure.... pfuiiii

j'en suis a me demander si je vais ajouter la pondération altimétrique tellement c'est instable -taré-

Lien vers le commentaire
Partager sur d’autres sites

  • Administrators

la dernière sauvegarde à durée 19h00... la complexité du document augmentant, ça deviens très laborieux

pour le moment le document est toujours en niveau de gris 32 bit (16bit de niveau de gris + 16 bit de transparence)

j'ai peur de le passer en couleur 64bit (16x3 couches couleur + 16 bit de couche alpha de transparence)

le document en l'etat pèse 439.2go

record perso battu

Lien vers le commentaire
Partager sur d’autres sites

  • Membres du bureau

la dernière sauvegarde à durée 19h00... la complexité du document augmentant, ça deviens très laborieux

pour le moment le document est toujours en niveau de gris 32 bit (16bit de niveau de gris + 16 bit de transparence)

j'ai peur de le passer en couleur 64bit (16x3 couches couleur + 16 bit de couche alpha de transparence)

le document en l'etat pèse 439.2go

record perso battu

 

Là on arrive à un autre niveau.

Cela ne vaut il pas le coup de se demander s'il ne faudrait pas louer du temps de machine dans un data center ?

Lien vers le commentaire
Partager sur d’autres sites

  • Administrators

Xavier, oui, oui mille fois oui, mais je ne veux pas payer pour quelque chose que j'offre gratuitement derrière,,

en outre je ne sais pas si ces machine peuvent faire tourner du Photoshop....

Sirka : c'est simple : image une image qui fait 50.000 pixel carré (je dis ça mais je n'ai même pas pris la peine de mesurer mon image, je crois qu'elle fait plus)

50.000 pixel carré = 2.5 milliard de pixel

cette resolution donne 1pixel pour 20m pour la France. ce qui veux dire que les grosses routes deviennent visible à cette échelle (voir l'exemple que je montre plus haut )

imagine le poid d'un photo noir et blanc sur 8 bit : chaque pixel pese 1 octet

hors les carte de PL sont calculée sur 2 octet (image en 16 bit)

pour mémoire 8 bit = image en 256 niveau de gris entre le noir et le blanc.

en 16 bit on va atteindre 65.000 niveau de gris possible, pour les carte de pollution lumineuse la différence de précision et de rendu est spectaculaire (voir http://www.AVEX-asso.org/forum/viewtopic.php?f=3&t=3330 )

donc mon image de base peses 5 Giga octet


pour faire les carte de pollution lumineuse j'ai besoins de 16 calques

sur 9 d'entre eux j'ai les couches polution lumineuse a différentes valeur de propagation (PL looinatine à PL proche)

ensuite j'ai la couche de pondération altimétrique,

chaque calque pèse le poid de l'image entière soit 5x16 giga = 80 giga

sauf que chaque calque a une couche alpha (transparence) elle aussi codée sur 16 bit : 160 giga

et a ce stade je suis toujours en noir et blanc. les carte sont ensuite passé en couleur : on multiplie le poid par trois

240 giga octet pour la couleur + 80giga octet pour codage de la transparence

320 giga

voila comment on arrive vite à des résultat monstrueux. mon image est un peu plus grosse que le 50Kpixel² évoqué plus haut donc on arrive vite a 474 giga

Lien vers le commentaire
Partager sur d’autres sites

  • Membres du bureau

Merci Frédo


En effet, je me suis posé la question des applications. Peu être que Joseph ou Bruno ont une réponse.

Enfin, la question du cout est absolument bloquante, tu as entièrement raison. Néanmoins, à la condition que cela soit possible (cf plus haut), connaître la valeur serait une indication.

Lien vers le commentaire
Partager sur d’autres sites

Merci pour l'explication !


Je suis d'accord avec Xavier, il faudrait connaître le coût d'un tel projet. Ensuite, rien n'empêche de faire une plateforme collaborative pour que les astronomes participent à ce projet au combien utile pour tous !

Lien vers le commentaire
Partager sur d’autres sites

  • Administrators

Merci pour l'explication !


Je suis d'accord avec Xavier, il faudrait connaître le coût d'un tel projet. Ensuite, rien n'empêche de faire une plateforme collaborative pour que les astronomes participent à ce projet au combien utile pour tous !

 

d'autant que si j'ai une machine bien puissante sous la main, il ne faudrai pas plus de 48 heure de travail dessus

le process est bien huilé et surtout en grande partie scripté

Lien vers le commentaire
Partager sur d’autres sites

  • Administrators

Merci pour l'explication !


Je suis d'accord avec Xavier, il faudrait connaître le coût d'un tel projet. Ensuite, rien n'empêche de faire une plateforme collaborative pour que les astronomes participent à ce projet au combien utile pour tous !

 

d'autant que si j'ai une machine bien puissante sous la main, il ne faudrai pas plus de 48 heure de travail dessus

le process est bien huilé et surtout en grande partie scripté

Lien vers le commentaire
Partager sur d’autres sites

  • Administrators

Merci Frédo


En effet, je me suis posé la question des applications. Peu être que Joseph ou Bruno ont une réponse.

Enfin, la question du cout est absolument bloquante, tu as entièrement raison. Néanmoins, à la condition que cela soit possible (cf plus haut), connaître la valeur serait une indication.

 

Bonjour,


Quel est le composant qui pêche le plus dans la chaine de traitement, est-ce la mémoire, le CPU ou la rapidité du disque ?

Quelle est ta config actuelle pour traiter les images ?


Bruno

Lien vers le commentaire
Partager sur d’autres sites

  • Administrators

ma config

i7 (12 tread)

24 Go

2 SSD de 128 et 512 Go

3 DD mécanique de 2to

photoshop swap dabors sur les SSD puis sur les mécanique pour bosser

si mon doc fait 500Go j'en conclu qu'il faudrait une machine avec 1 ou 2 TO de ram et des SSD de 4 à 8 To de ram pour avoir une relative fluidité

ce qui est lent actuellement ce les monstrueuse opérations d’écriture puisque seule une toute petites partit du fichier est contenu dans la ram

la puissance de calcul de mon pc est suffisant a conditions que les procs soie convenablement "nourri" en données a calculer ce qui n'est pas pas le cas actuellement

Lien vers le commentaire
Partager sur d’autres sites

  • Administrators

Ha ouais quand même, c'est de la grosse machine quand même....

Si tu voulais louer du serveur chez un AWS ou autre, ça te couterais une blinde même pour 3 jours.

Après ce qui serait compliqué aussi serait d'acheminer la data initiale en cloud puis rapatrier le produit fini sans compter le cout de transfert data dans un environnement cloud.


Les machines en cloud, par exemple chez AWS ont un sizing avec un coefficient CPU/RAM multiple de 2 en général ce qui veux dire que si tu veux beaucoup de RAM, tu auras ausssi beaucoup de CPU et ça coutera cher.


Bruno

Lien vers le commentaire
Partager sur d’autres sites

  • Avexiens

Bonjour,

a mon avis à cette résolution c'est le concept même de photoshop qui est limitatif. La partie calcul de chacun de calques puis la combinatoire des calques doit donner une puissance de calcul qui ne doit pas être inabordable par contre la machinerie de Photoshop qui n'a pas été pensé pour ça doit induire des I/O disque plus qu'il ne faut.

Lien vers le commentaire
Partager sur d’autres sites

  • Administrators

J'y pensais justement à cette option Bruno je pense qu'au boulot je pourrais convaincre de me laisser utiliser un vieux serveur mais bon il faut installer Windows il faut installer Photoshop en licence non-officiel bien entendu c'est chiant

Lien vers le commentaire
Partager sur d’autres sites

  • Avexiens

Désolé, peux pas t'aider.

Aucune idée d'où trouver un supercalculateur... 8/

Ah si, y'a un vieux tromblon au boulot (8000 coeurs, 35 To de mémoire) mais vu son âge, il rame pas mal... (http://www.onera.fr/fr/les-moyens-de-calcul-intensifs) :p

Mais il n'y a pas Photoshop dessus. :-p

Lien vers le commentaire
Partager sur d’autres sites

  • Administrators

de toute façons, j'en suis a mon 6 jour de calcul, bon gres mal gré ça avance.

la ce matin j'ai put réduire la taille du fichier à 311go a fusionnant quelques couche de grande échelle de pollution lumineuse

MAIS.. je passe en couleur...

gloups....

Lien vers le commentaire
Partager sur d’autres sites

  • Administrators

photoshop vien de planter, heureusement j'avais fais un sauvegarde hier

le plantage est survenur pendant le passage du mode noir et blanc au mode couelur

ça me coûte mais je vais fusionner tous les calques de PL pour réduire le poids avant de passer en couleur

ce que ça me coute ? la possibilité d'affiner le poid de chaque calques d'emprise de PL pour corriger finement par rapport au mesures que j'ai faite.

du coup je ne pourrai plus que "jouer" sur les dégradé de couleur pour affiner tous cela...


c’est moin confortable et subtil mais ça devrait coller quand même

452493Capture2.png

notez la taille d'affichage : 0,7 % ;)

j'ai relodé le fichier, j'ai tout aplatit je recommence certaines opé...


je vais faire un premier export a 1/10 de resolution de la couche de PL pour importer tout ça dans un logiciel de cartographie

je vais georéférencer l'image , cad dire que tel ou tel point correspond a telle ou telle coordonnées géographique

je vais ensuite importer le RELIEF sur cette carte 'comme elle sera géoref la relief va se coller "pile poile" à la bonne positions

je vais ensuite exporter la couche relief en image TIF que je vais importer dans photoshop.

cette couche servira de "pondérateur de pollution lumineuse" sur un calque au-dessus de la pollu : le plaines seront amplifié , les sommets seront allégé de PL

cette opération est extremement lourde pour un gain somme toute assez minime, mais c'est la vraie valeur ajouté des carte de pollu AVEX sur TOUS les autre modèles : la prise en compte de l'altimétrie dans la restitution de la PL

je comprend pas comment DarkSky Lab peu passer a coté d'une telle evidence, je me demande si leur modèle mathématique peut tout simplement intégrer une telle correction

perso je ne sera pas faire ce qu'il font a base (sans doute ) de math lab, et c'est une solution certainement plus pratique et facile , mais elle offre sans doute moin de souplesse sur le rendu

en plus ils sont en 8bit ... http://darkskylab.com/method.html

alors le resultats est que leur cartes sont plus précises localement (mais je sais faire comme eux, je l'ai déjà fait pour l'aglo de LORIENT et alentour, ou j'avais l'emplacement de chaque luminaire)

mais comme il ne prennent pas en compte l'altimétrie ( dans le secteur des Pyrénées ou ils opèrent c'est quand même un sujet), la restitution de la PL est erronée : c’est con il font un boulot remarquable et monstrueux de précision en amont, ils se font suer comme des rat mort a faire d’innombrable et laborieux relever pour au final "rater" le Graal en "oubliant" l'altimetrie...

Enfin leur méthode est inapplicable a un pays entier....

Lien vers le commentaire
Partager sur d’autres sites

Bonjour Fredo,


Quel travail de dingue ! :)

Euh... tu as cela pour .... le Portugal... [mdr]

Plus sérieusement, il me semble que tu avais fait une version (2016?) traduite en anglais et espagnol ou/et allemand.

Si cela te dis, je peux faire une traduction portugaise (avec l'aide d'un vrai portugais ;) )


Bon we

Lien vers le commentaire
Partager sur d’autres sites

Rejoindre la conversation

Vous pouvez publier maintenant et vous inscrire plus tard. Si vous avez un compte, connectez-vous maintenant pour publier avec votre compte.

Invité
Répondre à ce sujet…

×   Collé en tant que texte enrichi.   Coller en tant que texte brut à la place

  Seulement 75 émoticônes maximum sont autorisées.

×   Votre lien a été automatiquement intégré.   Afficher plutôt comme un lien

×   Votre contenu précédent a été rétabli.   Vider l’éditeur

×   Vous ne pouvez pas directement coller des images. Envoyez-les depuis votre ordinateur ou insérez-les depuis une URL.

  • En ligne récemment   0 membre est en ligne

    • Aucun utilisateur enregistré regarde cette page.
×
×
  • Créer...

Information importante

Conditions générales