Administrators frédogoto Posté(e) 22 juillet 2017 Administrators Signaler Posté(e) 22 juillet 2017 Bonjour les amis. j'ai trouvé des données assez haute resolution pour la france qui vont me permettre de générer des cartes de PL géographiquement plus précises.En effet , la nouvelle carte de pollu de la france aura une taille supérieures au carte de PL européenneci dessous un aperçu à l’échelle 1/4NB version pas encore calibrée1. Longuesse2. Aéroport de cormeille en vexin3. gare de triage d'Achère4. port de Gennevilliers5. Le bourget6 Paris7 Poissy8 centrale EDF de Porcheville 9 Bute de l'autille 10 Conflan St Honorine11 A15 et ZA herblay beauchamp12 A13 / Foret de St Germain Citer
Membres du bureau Xavier Posté(e) 23 juillet 2017 Membres du bureau Signaler Posté(e) 23 juillet 2017 En effet le gap est très important ! Bon, te voila parti pou des heures et des heures de calcul.... :-) Citer
Avexiens Axel Posté(e) 23 juillet 2017 Avexiens Signaler Posté(e) 23 juillet 2017 Fais gaffe de pas trop zoomer, on risquerait de t'attaquer pour violation de l'intimité... Sinon, c'est très beau et impressionnant. Citer
Administrators frédogoto Posté(e) 24 juillet 2017 Auteur Administrators Signaler Posté(e) 24 juillet 2017 ces nouvelles cartes sont infernales a manipuler : 8 heure juste pour faire un bête [glow=red]ctrl + s [/glow]sans compter les nombreux plantage photoshop (pour faire simple je fait deux manipes, une purge de la mémoire, une sauvegarde, deux manipes une purge de la mémoire, une sauvegarde etc.et vu que le moindre sauvegarde prend 8 heure.... pfuiiiij'en suis a me demander si je vais ajouter la pondération altimétrique tellement c'est instable Citer
Administrators frédogoto Posté(e) 25 juillet 2017 Auteur Administrators Signaler Posté(e) 25 juillet 2017 la dernière sauvegarde à durée 19h00... la complexité du document augmentant, ça deviens très laborieuxpour le moment le document est toujours en niveau de gris 32 bit (16bit de niveau de gris + 16 bit de transparence)j'ai peur de le passer en couleur 64bit (16x3 couches couleur + 16 bit de couche alpha de transparence)le document en l'etat pèse 439.2gorecord perso battu Citer
Membres du bureau Xavier Posté(e) 25 juillet 2017 Membres du bureau Signaler Posté(e) 25 juillet 2017 la dernière sauvegarde à durée 19h00... la complexité du document augmentant, ça deviens très laborieuxpour le moment le document est toujours en niveau de gris 32 bit (16bit de niveau de gris + 16 bit de transparence)j'ai peur de le passer en couleur 64bit (16x3 couches couleur + 16 bit de couche alpha de transparence)le document en l'etat pèse 439.2gorecord perso battu Là on arrive à un autre niveau.Cela ne vaut il pas le coup de se demander s'il ne faudrait pas louer du temps de machine dans un data center ? Citer
Sirka Posté(e) 25 juillet 2017 Signaler Posté(e) 25 juillet 2017 Je suis un peu nouveau sur ce sujet, mais comment se fait il que tu as une carte d'un tel poids ? Citer
Administrators frédogoto Posté(e) 26 juillet 2017 Auteur Administrators Signaler Posté(e) 26 juillet 2017 Xavier, oui, oui mille fois oui, mais je ne veux pas payer pour quelque chose que j'offre gratuitement derrière,,en outre je ne sais pas si ces machine peuvent faire tourner du Photoshop....Sirka : c'est simple : image une image qui fait 50.000 pixel carré (je dis ça mais je n'ai même pas pris la peine de mesurer mon image, je crois qu'elle fait plus)50.000 pixel carré = 2.5 milliard de pixelcette resolution donne 1pixel pour 20m pour la France. ce qui veux dire que les grosses routes deviennent visible à cette échelle (voir l'exemple que je montre plus haut )imagine le poid d'un photo noir et blanc sur 8 bit : chaque pixel pese 1 octethors les carte de PL sont calculée sur 2 octet (image en 16 bit)pour mémoire 8 bit = image en 256 niveau de gris entre le noir et le blanc. en 16 bit on va atteindre 65.000 niveau de gris possible, pour les carte de pollution lumineuse la différence de précision et de rendu est spectaculaire (voir http://www.-asso.org/forum/viewtopic.php?f=3&t=3330 )donc mon image de base peses 5 Giga octetpour faire les carte de pollution lumineuse j'ai besoins de 16 calquessur 9 d'entre eux j'ai les couches polution lumineuse a différentes valeur de propagation (PL looinatine à PL proche)ensuite j'ai la couche de pondération altimétrique, chaque calque pèse le poid de l'image entière soit 5x16 giga = 80 gigasauf que chaque calque a une couche alpha (transparence) elle aussi codée sur 16 bit : 160 gigaet a ce stade je suis toujours en noir et blanc. les carte sont ensuite passé en couleur : on multiplie le poid par trois240 giga octet pour la couleur + 80giga octet pour codage de la transparence 320 gigavoila comment on arrive vite à des résultat monstrueux. mon image est un peu plus grosse que le 50Kpixel² évoqué plus haut donc on arrive vite a 474 giga Citer
Membres du bureau Xavier Posté(e) 26 juillet 2017 Membres du bureau Signaler Posté(e) 26 juillet 2017 Merci FrédoEn effet, je me suis posé la question des applications. Peu être que Joseph ou Bruno ont une réponse.Enfin, la question du cout est absolument bloquante, tu as entièrement raison. Néanmoins, à la condition que cela soit possible (cf plus haut), connaître la valeur serait une indication. Citer
Membres du bureau Xavier Posté(e) 26 juillet 2017 Membres du bureau Signaler Posté(e) 26 juillet 2017 Frédo, une question svpCe que tu fais sous toshop est il envisageable sous Gimp ? Citer
Sirka Posté(e) 26 juillet 2017 Signaler Posté(e) 26 juillet 2017 Merci pour l'explication ! Je suis d'accord avec Xavier, il faudrait connaître le coût d'un tel projet. Ensuite, rien n'empêche de faire une plateforme collaborative pour que les astronomes participent à ce projet au combien utile pour tous ! Citer
Administrators frédogoto Posté(e) 26 juillet 2017 Auteur Administrators Signaler Posté(e) 26 juillet 2017 Frédo, une question svpCe que tu fais sous toshop est il envisageable sous Gimp ? non. à ma connaissance gimp n'est pas capable de travailler sur des images 16 bit Citer
Administrators frédogoto Posté(e) 26 juillet 2017 Auteur Administrators Signaler Posté(e) 26 juillet 2017 Merci pour l'explication ! Je suis d'accord avec Xavier, il faudrait connaître le coût d'un tel projet. Ensuite, rien n'empêche de faire une plateforme collaborative pour que les astronomes participent à ce projet au combien utile pour tous ! d'autant que si j'ai une machine bien puissante sous la main, il ne faudrai pas plus de 48 heure de travail dessusle process est bien huilé et surtout en grande partie scripté Citer
Administrators frédogoto Posté(e) 26 juillet 2017 Auteur Administrators Signaler Posté(e) 26 juillet 2017 Merci pour l'explication ! Je suis d'accord avec Xavier, il faudrait connaître le coût d'un tel projet. Ensuite, rien n'empêche de faire une plateforme collaborative pour que les astronomes participent à ce projet au combien utile pour tous ! d'autant que si j'ai une machine bien puissante sous la main, il ne faudrai pas plus de 48 heure de travail dessusle process est bien huilé et surtout en grande partie scripté Citer
Sirka Posté(e) 26 juillet 2017 Signaler Posté(e) 26 juillet 2017 Dans ces cas là, n'hésite pas à mettre en place ce genre de plateforme ! Je participerai volontiers pour la mise en place d'un tel projet et je pense que je ne suis pas le seul. Citer
Administrators astronono Posté(e) 26 juillet 2017 Administrators Signaler Posté(e) 26 juillet 2017 Merci FrédoEn effet, je me suis posé la question des applications. Peu être que Joseph ou Bruno ont une réponse.Enfin, la question du cout est absolument bloquante, tu as entièrement raison. Néanmoins, à la condition que cela soit possible (cf plus haut), connaître la valeur serait une indication. Bonjour,Quel est le composant qui pêche le plus dans la chaine de traitement, est-ce la mémoire, le CPU ou la rapidité du disque ?Quelle est ta config actuelle pour traiter les images ?Bruno Citer
Administrators frédogoto Posté(e) 26 juillet 2017 Auteur Administrators Signaler Posté(e) 26 juillet 2017 ma config i7 (12 tread)24 Go2 SSD de 128 et 512 Go3 DD mécanique de 2tophotoshop swap dabors sur les SSD puis sur les mécanique pour bossersi mon doc fait 500Go j'en conclu qu'il faudrait une machine avec 1 ou 2 TO de ram et des SSD de 4 à 8 To de ram pour avoir une relative fluiditéce qui est lent actuellement ce les monstrueuse opérations d’écriture puisque seule une toute petites partit du fichier est contenu dans la ramla puissance de calcul de mon pc est suffisant a conditions que les procs soie convenablement "nourri" en données a calculer ce qui n'est pas pas le cas actuellement Citer
Administrators astronono Posté(e) 26 juillet 2017 Administrators Signaler Posté(e) 26 juillet 2017 Ha ouais quand même, c'est de la grosse machine quand même.... Si tu voulais louer du serveur chez un AWS ou autre, ça te couterais une blinde même pour 3 jours.Après ce qui serait compliqué aussi serait d'acheminer la data initiale en cloud puis rapatrier le produit fini sans compter le cout de transfert data dans un environnement cloud.Les machines en cloud, par exemple chez AWS ont un sizing avec un coefficient CPU/RAM multiple de 2 en général ce qui veux dire que si tu veux beaucoup de RAM, tu auras ausssi beaucoup de CPU et ça coutera cher.Bruno Citer
Avexiens peppuccio Posté(e) 26 juillet 2017 Avexiens Signaler Posté(e) 26 juillet 2017 Bonjour,a mon avis à cette résolution c'est le concept même de photoshop qui est limitatif. La partie calcul de chacun de calques puis la combinatoire des calques doit donner une puissance de calcul qui ne doit pas être inabordable par contre la machinerie de Photoshop qui n'a pas été pensé pour ça doit induire des I/O disque plus qu'il ne faut. Citer
Membres du bureau Xavier Posté(e) 26 juillet 2017 Membres du bureau Signaler Posté(e) 26 juillet 2017 Bon, mon idée ne semble pas la bonne.Désolé. Citer
Administrators astronono Posté(e) 26 juillet 2017 Administrators Signaler Posté(e) 26 juillet 2017 autre idée, on peux trouver un serveur de récup pour faire tourner ça en tache de fond...Bruno Citer
Administrators frédogoto Posté(e) 27 juillet 2017 Auteur Administrators Signaler Posté(e) 27 juillet 2017 J'y pensais justement à cette option Bruno je pense qu'au boulot je pourrais convaincre de me laisser utiliser un vieux serveur mais bon il faut installer Windows il faut installer Photoshop en licence non-officiel bien entendu c'est chiant Citer
Avexiens Axel Posté(e) 27 juillet 2017 Avexiens Signaler Posté(e) 27 juillet 2017 Désolé, peux pas t'aider.Aucune idée d'où trouver un supercalculateur... Ah si, y'a un vieux tromblon au boulot (8000 coeurs, 35 To de mémoire) mais vu son âge, il rame pas mal... (http://www.onera.fr/fr/les-moyens-de-calcul-intensifs) Mais il n'y a pas Photoshop dessus. Citer
Administrators frédogoto Posté(e) 27 juillet 2017 Auteur Administrators Signaler Posté(e) 27 juillet 2017 de toute façons, j'en suis a mon 6 jour de calcul, bon gres mal gré ça avance.la ce matin j'ai put réduire la taille du fichier à 311go a fusionnant quelques couche de grande échelle de pollution lumineuseMAIS.. je passe en couleur... gloups.... Citer
Administrators frédogoto Posté(e) 27 juillet 2017 Auteur Administrators Signaler Posté(e) 27 juillet 2017 photoshop vien de planter, heureusement j'avais fais un sauvegarde hierle plantage est survenur pendant le passage du mode noir et blanc au mode couelurça me coûte mais je vais fusionner tous les calques de PL pour réduire le poids avant de passer en couleurce que ça me coute ? la possibilité d'affiner le poid de chaque calques d'emprise de PL pour corriger finement par rapport au mesures que j'ai faite. du coup je ne pourrai plus que "jouer" sur les dégradé de couleur pour affiner tous cela...c’est moin confortable et subtil mais ça devrait coller quand mêmenotez la taille d'affichage : 0,7 % j'ai relodé le fichier, j'ai tout aplatit je recommence certaines opé...je vais faire un premier export a 1/10 de resolution de la couche de PL pour importer tout ça dans un logiciel de cartographieje vais georéférencer l'image , cad dire que tel ou tel point correspond a telle ou telle coordonnées géographiqueje vais ensuite importer le RELIEF sur cette carte 'comme elle sera géoref la relief va se coller "pile poile" à la bonne positionsje vais ensuite exporter la couche relief en image TIF que je vais importer dans photoshop.cette couche servira de "pondérateur de pollution lumineuse" sur un calque au-dessus de la pollu : le plaines seront amplifié , les sommets seront allégé de PLcette opération est extremement lourde pour un gain somme toute assez minime, mais c'est la vraie valeur ajouté des carte de pollu sur TOUS les autre modèles : la prise en compte de l'altimétrie dans la restitution de la PLje comprend pas comment DarkSky Lab peu passer a coté d'une telle evidence, je me demande si leur modèle mathématique peut tout simplement intégrer une telle correctionperso je ne sera pas faire ce qu'il font a base (sans doute ) de math lab, et c'est une solution certainement plus pratique et facile , mais elle offre sans doute moin de souplesse sur le renduen plus ils sont en 8bit ... http://darkskylab.com/method.htmlalors le resultats est que leur cartes sont plus précises localement (mais je sais faire comme eux, je l'ai déjà fait pour l'aglo de LORIENT et alentour, ou j'avais l'emplacement de chaque luminaire)mais comme il ne prennent pas en compte l'altimétrie ( dans le secteur des Pyrénées ou ils opèrent c'est quand même un sujet), la restitution de la PL est erronée : c’est con il font un boulot remarquable et monstrueux de précision en amont, ils se font suer comme des rat mort a faire d’innombrable et laborieux relever pour au final "rater" le Graal en "oubliant" l'altimetrie...Enfin leur méthode est inapplicable a un pays entier.... Citer
Administrators frédogoto Posté(e) 28 juillet 2017 Auteur Administrators Signaler Posté(e) 28 juillet 2017 je vien de vois la taille du documentl'image finale fera plus de [glow=red]10 GIGA PIXEL[/glow]le fichier PLAT en NB fait presque 20giga. il fera le triple en couleur...hargghhhavec les calques ça va etre monstrueux Citer
Membres du bureau Xavier Posté(e) 28 juillet 2017 Membres du bureau Signaler Posté(e) 28 juillet 2017 Enorme!! Astronomique !!!! Citer
tobyportugal Posté(e) 29 juillet 2017 Signaler Posté(e) 29 juillet 2017 Bonjour Fredo,Quel travail de dingue ! Euh... tu as cela pour .... le Portugal... Plus sérieusement, il me semble que tu avais fait une version (2016?) traduite en anglais et espagnol ou/et allemand.Si cela te dis, je peux faire une traduction portugaise (avec l'aide d'un vrai portugais )Bon we Citer
Messages recommandés
Rejoindre la conversation
Vous pouvez publier maintenant et vous inscrire plus tard. Si vous avez un compte, connectez-vous maintenant pour publier avec votre compte.