Nouveau projet, nouveau Blog

j'ai pu me procurer les data brutes du taux d'artificialisation des sols nouvelle version 2020.

les algorithmes des exploitants ont bien tourné et sont en constante amélioration  et outre une discrimination plus fine, on passe à une résolution de 10m, ce qui permetrait plus de finesse locale et globale

 

le hic c'est que le fichier en niveau de gris 8bit pèse déjà presque 18 go

pour économiser la mémoire j'ai été contraint de déplacer la corse au large de l'aquitaine ce qui évite d'avoir un énorme surface océanique vide
rien que ça me fait gagner 7go

notez la taille de l'affichage : 1%

j'ai rapidement calculer qu'une fois en rvb 16bit le fichier plat pèsera 60 go

avec les 8 claques de l'algorithme de transformation en PL on va passer a 560 go. je vais devoir constamment purger l'historique annulation si je ne veux pas devenir chèvre 
la je vais attaquer la duplication des calques avant de passer l'algo. ça va prendre la nuit je pense

t'utilise pas QGIS ?

non

il ne sais pas faire ce que je voudrais qu'il fasse

mais ça ne changerait pas grand chose c'est ..... enorme

 

l'image fait 105392 pixel de coté soit 11107473664 pixels ( 11 milliards de pixel) sans compter les 9 calques qu'il aura au total

la première convolution  est passée 5 heure calcul  quand même

11 heure de calcul plus tard, ça avance.....

122.6 go....

 

C'est énorme !!!

Tant au niveau de la quantité de données que du travail effectué.

Hâte de voir le résultat et merci à toi pour ce fantastique job

Xavier

Merci.

Les opérations continues. 190,5 go. l'enregistrement prends 3h10

encore trois couches à faire....

il est presque 21 heure, j'ai fini l'algo de convolution
je lance l'enregistrement
256 go chuis toujours en NB
prochaine étape : algo de pondération par le relief
puis mise en couleur

 

 

l'enregistrement  à foiré : plus assez de place sur le disque dur

 j'ai relancé ce matin à 9h il a fini a 15h41....

 

maintenant j'attaque la pondération par le relief.

la resolution n'est pas tres bonne (35 m contre 10 pour "ma" carte)

mai je vais extrapoler

Avant de me lancer dans un export de ouf, j'ai fait un essais sur la corse.

y'a un bug

 

je checherche d'ou vien la m......

bon faire toute la france est compliqué. et risqué...

il y a un nombre considérable de donnée à télécharger et interpoler a la taille finale. je ne vais pas prendre de risque, je vais séquencer en plusieurs dalles le travail

16 dalles (4*4)

ca va etre long.

Lancé hier soir j'en suis qu'a la dalle 5...

 

Ça me dépasse, cela à l'air éprouvant (autant pour l'homme que pour la machine).

la pondération par le relief est l'un des plus par rapport a d'autre modèle.

les autres cartes ne tiennent pas compte du masquage par le relief  ni des effets bénéfique sur l'altitude quant à la diffusion de la lumière sur les particules (pollution, humidité, poussières, aérosol)

Aussi la carte de pondération, bien compliquant très fortement le calcul des cartes est nécessaire à plus de justesse, surtout sur les reliefs. Les effets de l'altimétrie sont mesurable des 17m d'altitude (0.4%) d'amélioration et le gain altimétrie contre pl est maximal autour de 2000m. Aller plus haut est toujours mieux mais la progression sur les effets de la diffusion est moins rapide

 

l'exportation des 16 dalles est terminée.

je suis entrain de les importer dans  mon document 

l'enregistrement de cette nuit s'est bien passé

Chose curieuse : l'enregistrement de la nuit dernière a pris deux fois moins de temps alors que le fichier continue de s'alourdir...

 

edit je viens de finir. l'importation

calage de la corse

et voila.

et avec la pl...

 

Maintenant j'ai inversé les valeurs du relief et ajusté ses valeurs, 

je place le relief au-dessus de la pille.

les valeurs claire vont amplifier la pollu, les valeurs ssombres la minimiser

voila. l'intégration est terminée

j'enregistre, j'aplatis en 16bit et je passe en RVB pour appliquer les couche de PL

je pense en avoir pour 15-16heures

 

yo.

regardez un peu la taille des fichiers temporaire (et j'ai viré historique !)

voila. la conversion NB => RVB s'est bien passée. le fichier plat pese désormais 62.1 go

et regardez un peu le gain de précision !!!! (notez que l'affichage n'est qu' a 4% !!!! )

il faut encore que j'ajuste avec le calibrage

sinon vite faut je confirme que le site de Lalande est le meilleur site de l'ouest et nord parisien

cliquez pour voir en grand

et zoom sur paris / cergy  (10%)

j'avoue ne pas être très satisfait de comportement de la pondération du relief a basse altitude, trop impactant et brutal...

faut que je revienne en arrières... arggggg 48 heures perdue

Oui en effet pas terrible !

Je suis en blanc, alors que j'habite sur la colline (à 100 mètres d'altitude). Non mais!!🤣

Bravo Fredo, très sympa de partager !

Merci et bravo !

Les poids des fichiers laissent rêveur....

voila. j'ai rectifié les anomalies du relief a basse altitude.

j'ai lancé une sauvegarde . elle devrait prendre 6heure.

c'est une sauvegarde nouvelle qui n'ecrase pas les précédente.

j'ai un fichier multicalque NB (12 calques 10gigapixel 16bit) avec en gros les différentes convolutions de la PL

puis le nouveau fichier : 4 calques : RVB 16bit :

• un calque avec que la pl en niveau de gris
•  le calque altimétrique pondérateur,
• un calque de niveaux pour ajuster la puissance du calque de pondérations et
• le calque "transfert de dégradé" qui donne une couleur aux pixels en fonction de leur luminosité.

je ne garde pas les 12 calques de convolution sur ce fichier final car j'ai peur de crasher : en rvb ce serai trop gros (10 giga pixel x 16 calques)*3(rvb) = 480 giga pixel !!!!

pas de capture d'écran, car pour le moment le résultat est moche car même si le fichier est en 16/48 bit, l'affichage et la résultant des interactions des différents calque se fait en 8 bit et tant que ce n'est pas aplatit, c'est très moche

bon ca y est c'est enregistré et aplatit et.... c'est toujours pas bon

mais cette fois c'est moins grave j'ai perdu que 8heure....

la PL sur les valeurs médiane est trop forte par rapport aux mesure

faut que je baisse un poil

ci-dessous le secteur paris cergy vexin

 

et j'ai fini par piger....

le modèle que j'utilise est vachement plus détaille, donc ces détails rendent compte de vachement plus de sources de  PL

Donc agissent comme si le nombre de sources avait augmenté, Augmentant donc la PL global et l'effet relais / soutien à la propagation de la PL

voilà j'ai ajusté

ne tenez pas compte de l'effet de zonages qui disparaîtra une fois l'image aplatie

a comparer avec la précédente cartes

remarquez le gain de résolution et de détails

Hello

Le résultat est impressionnant !!!

Le gain en définition est tout simplement phénoménal !

Mais... tu ne dors jamais 🙂

Wow incroyable ! Je suis sur le cul.
C'est super de voir étape par étape le process.

Un grand respect pour le travail accompli, très bon boulot Fred 

j'ai bcp bossé dessus ce weekend. je ne peux pas tout détailler, mais la premiere carte pour google earth sera dispo ce soir. le reste attendra la rentrée

voila, un premier jet

https://www.avex-asso.org/dossiers/wordpress/la-pollution-lumineuse-light-pollution/carte-de-pollution-lumineuse-de-la-france-2020

ça va pas. je suis entrain de m'apercevoir qu'il ya des tres nombreux faux positif

certains champs "chaud" (terre ou pierre a nu) sont considéré comme du sol indument artificialisé

purin... je crois qu'il faut que je recommence... tout.....

exemple :

 

Zut!

Aie ...

jcdp

Damned !!!