[retina] Développement d'un logiciel de traitement astro

[frédogoto]

pour l'epace de lignes je pense qu'il faudrait faire un peut comme bridge : il y a un curseur sur bridge qui permet de regler la taille des vignettes : ainsi chacun fait a son idée

[Obiwan]

serait-il possible d'intégrer un convertisseur Canon EOS (CRW ou CR2) vers Fit ?

Voici quelques infos :

clef_Atik_383L_Artemis_Capture

 

clef_Atik_Titan_Artemis_Capture

 

clef_Atik_383L_Nebulosity

 

et le lien vers le dossier avec 2 dossiers Bin1 et Bin2 : http://www.albanbernard.fr/Divers/M81-M82_BIN2_M65-M66_BIN1.zip comprenant les offset (ou bias), images, dark et flat.

[jeff]

pour l'epace de lignes je pense qu'il faudrait faire un peut comme bridge : il y a un curseur sur bridge qui permet de regler la taille des vignettes : ainsi chacun fait a son idée

 

C'est jouable oui

 

serait-il possible d'intégrer un convertisseur Canon EOS (CRW ou CR2) vers Fit ?

Voici quelques infos :

et le lien vers le dossier avec 2 dossiers Bin1 et Bin2 : http://www.albanbernard.fr/Divers/M81-M82_BIN2_M65-M66_BIN1.zip comprenant les offset (ou bias), images, dark et flat.

 

Oui, l'import des RAW est au programme ! Merci les images, je vais m'empresser de tester ce que ca donne

Sinon, la version 'mosaique' du moment :

C'est mieux non ?

[jeff]

Avec les images d'alban :

Helas, pas de champ 'IMAGETYP'

[Axel]

La place pour la visualisation des vignettes est clairement mieux optimisée dans cette nouvelle mouture !

C'est en train de bien prendre forme. Bravo !

[frédogoto]

effectivement c'est nettement plus compact !

toute fois je pense que ce systeme interdis un systeme de tris par colone non ?

peux etre pourais tu proposer la possibilité de choisir, comme dans bridge

sinon un suggestion : au dessus des vignettes : propose des boutons qui permettrai de classerr les images par

date de shoot

exposure

filtre

bin etc

je vais faire un dessins de comme j'imagine que pourrai être un process de prétraitement / traitement

[jeff]

La place pour la visualisation des vignettes est clairement mieux optimisée dans cette nouvelle mouture !

C'est en train de bien prendre forme. Bravo !

 

Merci :-)

 

effectivement c'est nettement plus compact !

toute fois je pense que ce systeme interdis un systeme de tris par colone non ?

peux etre pourais tu proposer la possibilité de choisir, comme dans bridge

sinon un suggestion : au dessus des vignettes : propose des boutons qui permettrai de classerr les images par

date de shoot

exposure

filtre

bin etc

je vais faire un dessins de comme j'imagine que pourrai être un process de prétraitement / traitement

 

Oui effectivement plus de tris par colonne Mais rien n'empêche de mettre des boutons pour classer des images par date, etc ...d'ailleurs je vais tenter de le faire . On peut aussi envisager ici un bouton qui sélectionne toutes les dark (en utilisant le champ IMAGETYP, ou encore en cherchant 'dark' dans le nom de l'image, etc...)

Pour la vue en mode liste avec un choix, c'est toujours possible...mais ça fait deux fois plus de boulot C'est pas impossible à faire si vraiment c'est nécessaire

Enfin, j'ai encore la possibilité d'afficher un petit texte popup lors du survol de la souris ; qu'est ce que vous voudriez y voir ?

J'attends ton dessin frédo , parce qu'a par visualiser des vignettes, il va bien falloir que ca puisse faire autre chose

Sinon j'ai terminé le choix des colormap :

Le dernier executable est dispo ici : https://www.wuala.com/jromang/Partage/?key=1McFhUXLHykJ (enfin dans quelques minutes le temps que ca uploade)

[frédogoto]

je m'occupe du dessins mais la j'ai des soucis perso, rien de très grave, mais je ne pourrais de faire ça que ce Dimanche

[jeff]

je m'occupe du dessins mais la j'ai des soucis perso, rien de très grave, mais je ne pourrais de faire ça que ce Dimanche

Rien ne presse ! J'espere que ça ira

[jeff]

Est-ce que ça va pour remplacer le tri par colonnes ?

On retrouve dans la combobox tous les champs fits des images du répertoire sélectionné. On peut trier par température de CCD, date, ou que sais-je

[frédogoto]

c'est parfait pour moi ça

[frédogoto]

donc avant de faire un dessins je vais expliquer comment je vois la chose

il y aurait 5 onglets

le premier est un onglet de visualisation / tri / renomage des Raw / Fits

ainsi que "l'attribution" automatique et ou manuel du type de fichier (flat, dark offset, dark-flat, images)

le second onglet serai tle processus de pretraitement disposé en liste de fichier (comme ce que j'ai fait sur l'autre pages) sous forme d'arbre

dans un rectangle on aurait la liste des fichier exemple de flat 1 a flat 11, au somet du rectangle le master flat qui serai ecris en rouge tans qu'il ne serai pas fait puis en vert quand il est calculé

je continuerai mes explication plus tard

[jeff]

c'est parfait pour moi ça

Executable mis à jour avec le tri en ligne d'ici qques minutes : https://www.wuala.com/jromang/Partage/?key=1McFhUXLHykJ

[jeff]

donc avnt de faire un dessins je vais expliquer comment je vois la chose

il y aurait 5 onglet

le premier est un onglet de visualisation / tri / renomage des Raw / Fits

ainsi que "l'attribution" automatique et ou manuel du type de fichier (flat, dark offset, dark-flat, images)

le second onglet serai le processus de pretraitement disposé en liste de fichier (comme ce que j'ai fait sur l'autre pages) sous forme d'arbre

dans un rectangle on aurait la liste des fichier exemple de flat 1 a flat 11, au somet du rectangle le master flat qui serai ecris en rouge tans qu'il ne serai pas fait puis en vert quand il est calculé je continuerai mes explication plus tard

 

Prends ton temps, je ne suis pas pressé, et j'ai encore de quoi faire pendant un bout de temps rien que sur la sélection

De mon coté, grosso-modo, je voyais l'appli comme ca (attention mes talents d'infographiste sous paintbrush sont à l'oeuvre) :

L'arbre en question auquel je pensais serait un truc toujours visible (une fenètre dockable comme le shell actuellement), qui contiendrait les images sélectionnées, régroupées si nécessaires dans différentes catégorises (prédéfinies ou non)

[Obiwan]

Est-ce que ça va pour remplacer le tri par colonnes ?

On retrouve dans la combobox tous les champs fits des images du répertoire sélectionné. On peut trier par température de CCD, date, ou que sais-je

 

C'est PARFAIT !

[Obiwan]

1: Sans vouloir faire de chichi, je trouve le chargement des images super long.

Sachant que j'ai plus de 50 images par répertoires, c'est long à charger.

2 :ensuite une erreur est survenue. Voici la copie du shell:

"

.....

Creating preview : D:/Astronomie/02 - PHOTOS - VIDEOS/2012_Astro/120308_M81_M82_NGC3070\120308_M81_M82_NGC3070_bin2_-20_25_900s.fit ...

C:\Users\Jeff\sync\Projets\retina\build\pyi.win32\retina\outPYZ1.pyz/imagebrowser:40: RuntimeWarning: divide by zero encountered in divide

C:\Users\Jeff\sync\Projets\retina\build\pyi.win32\retina\outPYZ1.pyz/imagebrowser:40: RuntimeWarning: invalid value encountered in multiply

Traceback (most recent call last):

File "C:\Users\Jeff\sync\Projets\retina\build\pyi.win32\retina\outPYZ1.pyz/imagebrowser", line 165, in store_current_selection

File "C:\Users\Jeff\sync\Projets\retina\build\pyi.win32\retina\outPYZ1.pyz/imagebrowser", line 56, in __init__

File "C:\Users\Jeff\sync\Projets\retina\build\pyi.win32\retina\outPYZ1.pyz/imagebrowser", line 41, in createThumb

ValueError: cannot convert float NaN to integer

D:/Astronomie/02 - PHOTOS - VIDEOS/2012_Astro/120315_IC434_BIN1_HA7/Bias\bias_exp0_1x1__frame2_001.fit ...

Traceback (most recent call last):

File "C:\Users\Jeff\sync\Projets\retina\build\pyi.win32\retina\outPYZ1.pyz/imagebrowser", line 178, in colorMapChanged

RuntimeError: dictionary changed size during iteration

D:/Astronomie/02 - PHOTOS - VIDEOS/2012_Astro/120315_IC434_BIN1_HA7/Bias\120315_exp0_1x1_BIAS_frame21_001.fit ...

Traceback (most recent call last):

File "C:\Users\Jeff\sync\Projets\retina\build\pyi.win32\retina\outPYZ1.pyz/imagebrowser", line 178, in colorMapChanged

RuntimeError: dictionary changed size during iteration

"

Je crois que ça plante parce que le champ "Sort by" est vide.

3: Est-il possible de pouvoir trier soit par name, size, type ou date dans la partie browse ?

[jeff]

Oui, c'est long ; je vais tenter d'y remédier, principalement en chargeant les images au fur et a mesure sans bloquer l'interface. Pour l'instant, ca n'exploite pas le multicoeur non plus. Tu as quoi comme PC ?

L'erreur revient à chaque fois ? Sur le même répertoire ? A vue de nez je dirait que c'est l'image 120308_M81_M82_NGC3070_bin2_-20_25_900s.fit qui fait planter le truc, si c'est le cas, je suis preneur de l'image ne question

[jeff]

Mh non, le plantage c'est autre chose, je viens de trouver

Mais à mon avis il y a aussi un problème avec l'image (elle est en float?)

[Obiwan]

Mon PC : Boitier CoolerMaster Elite 430, Carte mère Gigabyte P67-UD4-B3, Processeur Intel Corei7 2600K à 3.4 Ghz (possible de le booster à 4.2Ghz), 1 système water-cooling pour processeur Corsair CWC H50, Carte graphique Gainward Geforce GTX 560 Ti 2Go Ram, 4 x 4 Go de RAM Gskill Ripjaw X = 16 Go de Ram, 1 SSD CRUCIAL de 128 Go, 1 alimentation CARSAIR TX 650W + 2 serveurs Synology DS212+(2To) et DS207+(1To).

Lors du lancement j'ai le message suivant :

Python 2.7.2 (default, Jun 12 2011, 15:08:59) [MSC v.1500 32 bit (Intel)] on win32

Type "copyright", "credits" or "license" for more information.

>>> gray

et le champ Sort by est vide.

une question, tu n'a pas intégré le Jpg ni le PNG dans le browser car je ne les vois pas ?

Est-il possible de l'ouvrir en double cliquant sur l'image ?

Je n'arrive pas à ouvrir un jpg.

Quand j'ouvre un fit, il est tout bleu !

 

 

[jeff]

Et bien il n'y a qu'un seul coeur qui mouline au chargement pour le moment Mais clairement les opérations sur les images sont lentes, il y a plein de conversions à faire pour avoir un truc affichable avec une fits. Ca doit mettre entre 0.5 a 1 sec à charger par image chez toi non ?

Les messages lors du lancement sont normaux, pas grave si le champ sort by est vide (c'est même normal puisqu'il ne se remplit que lorsque tu sélectionne un répertoire, en fonction des champs qu'il trouve dans les images fits qui y sont)

Pour l'instant pas de jpg, png ; je compte les traiter comme les raw, en import vers du fits De toutes facons vous ne bossez pas sur des images jpeg non ?

Sinon en hors sujet j'envisage justement d'acquérir un synology, principalement pour la fonction "cloud station" à travers internet. Tu l'as testé ? Ca marche bien ?

EDIT : non pour l'instant le double clic ne fait rien non plus (ce qui rend l'application extremement utile à ce stade )

EDIT2 : la fonction d'affichage grand format n'est pas au point non plus, j'ai juste bidouillé qque chose en 3 lignes, pas d'inquiétude pour le bleu, on pourra choisir les mêmes color map que pour les vignettes, avec des seuils etc..

[Obiwan]

j'ai ajouter un pb de fit bleu.

il serait aussin intéressant de mettre le nom de l'image qu'on ouvre dans le titre de la fenêtre.

Pour le Synology je peut te dire que ça fonctionne parfaitement.

Je l'ai acheté pour cette raison et aussi pour avoir un second NAS (plus volumineux).

Mais attention, le prix des DD est en train de flamber.

[jeff]

Avec le nouvel exécutable ça ne devrait plus planter : https://www.wuala.com/jromang/Partage/?key=1McFhUXLHykJ

Oui je vais modifier cette fenêtre d'affichage en grand, c'est juste un affichage par défaut sur lequel je n'ai pas bossé

J'ai vu le prix des DD , je compte me prendre un 212 mais avec un seul disque pour le moment, et en rajouter un deuxième par la suite

[jeff]

J'ai rajouté un nouvel éxécutable : 'retina_nearest.exe' ; le mode d'interpolation pour le redimensionnement de la vignette est changé, c'est (un peu) plus moche mais (un peu) plus rapide normalement. Mon seul espoir pour améliorer les choses ensuite est de faire le chargement en parallèle sur plusieurs coeurs

[jeff]

Ah ben finalement j'ai quand même réussi a améliorer les choses sans multi-core L’exécutable est dispo dans le même répertoire partagé qui ci-dessus : 'retina-fast.exe'

[jeff]

Nouvelle version avec chargement progressif des vignettes :

L'éxécutable est 'retina_progress.exe'

[frédogoto]

donc ça ne change pas grand choses a ton interface

simplement on mettrais des onglets, un par etapes de processus

http://data.imagup.com/11/1147426690.png

donc l'onglet visu / et "typage" est a mon sens terminé, fuadrat pouvoir prpoposer (ou pas ) un espace de visualisation

faudrat ajoute sous l'image trois bouton

un bouton fit (pour scaler l'image a la taille de la fenetre)

un bouton 1:1 pour avoir un crop a 100 % sur le centre (on pourai bouger par cliquer glisser)

et un boutons 4 coins + centre

je fais une demo sur ce dernier point

[jeff]

Si je comprends bien, je vire ma présentation mosaique pour revenir a un tableau, mais avec les infos de coté en plus ? (et au passage je réduis la taille des vignettes ?)

Pour l'arbre de coté, pour moi ce n'est pas le système de fichier, mais un ensemble de dossier 'virtuels' dans lesquels on range les images pour faire les traitements dans les onglets d’après ; sinon comment savoir que qui est sélectionné ou pas ? En fait il y aurait l'arbre 'virtuel' affiché tout le temps, et en plus l'arbre de système de fichiers dans le 1er onglet.

Pas de soucis pour l'espace de visu ; en revanche je ne vois pas ce qu'est le bouton "4 coins + centre "

Enfin, si tu veux faire des icones pour ces jolis boutons, je suis preneur , sinon un texte peut être tout aussi explicite !

[frédogoto]

tu vire si tu veux : perso je pense qu'il faut proposer le choix : simplement est ce plus compliqué ?

pour le "classement" ton idée est une bonnes idée mais perso je voyais ça plustot dans le second onglet du dessin .

en fait dans se second onglet on reprend l'arbre virtuel que tu a fais, mais plutot a l'horizontale avec des branche qui se grefe au tronc au fur et a mesuer du process de prétraitement

je fais un dessin sous illustrator et j'envoie ça asap

pour les 4 coins voici ce a quoi je pense

[frédogoto]

voici l'onglet "2"

avec l'arbre de prétraitement

http://data.imagup.com/11/1147496270.png

des que je le peut je ferai l'onglet 1

[frédogoto]

donc présentation au choix par ligne, icone, seule ou mixtes (ta présentation)

avec possibilité d’agrandir les icônes

et sélection par rectangle de sélection à la souris puis glisser dans les dossiers ad hoc

[jeff]

Merci frédo !

Ok pour l'onglet 1 c''est clair Pour commencer je préfère me concentrer sur un seul mode de visu (grille ou lignes), je vais donc revenir sur les lignes. Sur ton screen, il n'y a plus d'explorateur de fichiers, j'en colle quand même un à droite ?

Je comprends mieux les 4 coins+centre, c'est une super idée ; reste plus qu'à programmer ça :-)

Enfin, les deux flèches sous les images permettent de parcourir les images dans le dossier je suppose ?

Pour le deuxieme onglet je comprends mieux le "workflow", va falloir que je cogite encore un peu la dessus

[frédogoto]

Merci frédo !

Ok pour l'onglet 1 c''est clair Pour commencer je préfère me concentrer sur un seul mode de visu (grille ou lignes), je vais donc revenir sur les lignes. Sur ton screen, il n'y a plus d'explorateur de fichiers, j'en colle quand même un à droite ?

ben oui , si tu a la place !!

sinon effectivement on peut ajouter un onglet "03 qui serai un explorateur de fichier : ecran diviser en 3 a

a gauche explorateur de fichier, au mileir les images en vrac que tu aura fait glisser depuis l'explorateur de fichier, et a droite le mini visualiseur

Je comprends mieux les 4 coins+centre, c'est une super idée ; reste plus qu'à programmer ça :-)

l'idée n'est pas de moi, elle existe depuis fort longtemps et est déjà implémenté dans certain logiciel de traitement

 

Enfin, les deux flèches sous les images permettent de parcourir les images dans le dossier je suppose ?

non mais c'est une super idée , initialement c'etait juste une tentative maladroite de picto pour dire redimensionner à la taille de la fenêtre

donc ton idée est top (as tu remarqué le surlignement de l'image 5 dans la liste de fichier ? ) mais il faudrait prévoir un picto pour ajuster l'image à la fenêtre

 

Pour le deuxieme onglet je comprends mieux le "workflow", va falloir que je cogite encore un peu la dessus

 

oui : alors tans que le master machin n'est pas calculé l'image apparaît en rouge, des qui est calculé il apparaît en vert

il faudrait bien sur pouvoir virer des fichier en temps réel du workflow si necessaire ?!

[Obiwan]

J'aime bien. L'interface devient claire mais j'ai une remarque.

Dans l'onglet visualisation/tri, il serait peut-être judicieux de pouvoir déplacer les images sélectionnées dans les "dossiers" dark ou bias ou flat ou images (coté gauche) directement à la souris en glissé/déposé.

l'interface ressemble à DPP à la base, non ?

[Obiwan]

Merci frédo !

Ok pour l'onglet 1 c''est clair Pour commencer je préfère me concentrer sur un seul mode de visu (grille ou lignes), je vais donc revenir sur les lignes. Sur ton screen, il n'y a plus d'explorateur de fichiers, j'en colle quand même un à droite ?

ben oui , si tu a la place !!

sinon effectivement on peut ajouter un onglet "03 qui serai un explorateur de fichier : ecran diviser en 3 a

a gauche explorateur de fichier, au mileir les images en vrac que tu aura fait glisser depuis l'explorateur de fichier, et a droite le mini visualiseur

Oui, je suis d'occard avec Frédo.

 

Je comprends mieux les 4 coins+centre, c'est une super idée ; reste plus qu'à programmer ça :-)

l'idée n'est pas de moi, elle existe depuis fort longtemps et est déjà implémenté dans certain logiciel de traitement

Je suis tout à fait d'accord. Par contre, il faudrait rajouter un cadre blanc de 1px autour des cadres pour une meilleure lisibilité.

 

Enfin, les deux flèches sous les images permettent de parcourir les images dans le dossier je suppose ?

non mais c'est une super idée , initialement c'etait juste une tentative maladroite de picto pour dire redimensionner à la taille de la fenêtre

donc ton idée est top (as tu remarqué le surlignement de l'image 5 dans la liste de fichier ? ) mais il faudrait prévoir un picto pour ajuster l'image à la fenêtre

Perso, je pense qu'il serait préférable de mettre le défilement des images au-dessus de celles-ci et laisser les fonctions destinnées à l'image dessous.

 

Pour le deuxieme onglet je comprends mieux le "workflow", va falloir que je cogite encore un peu la dessus

oui : alors tans que le master machin n'est pas calculé l'image apparaît en rouge, des qui est calculé il apparaît en vert

il faudrait bien sur pouvoir virer des fichier en temps réel du workflow si necessaire ?!

Pour la calibration, il serait peut-être plus intéressant de suivre une logique traditionnelle : a savoir de gauche à droite et de haut en bas (pas du bas vers le haut).

Donc traitement dans l'ordre comme présenté ci-dessous:

Issu de DeepSkyStacker :

"Le processus de calibration et comment chaque images est utilisé (brutes, darks, flats…) est souvent perçu comme un mystère alors qu’il est relativement simple.

Ci-dessous le schéma expliquant le processus de calibration complète lorsque tous les types de fichiers sont disponibles)

Calibration complète (tous les types de fichiers sont disponibles)

Toutefois il est courant et parfaitement possible de calibrer sans utiliser de dark flat. Dans ce cas le processus est décrit ci-dessous:

Calibration alternative I (sans dark flat)

Enfin, si vous utilisez des dark flat, vous pouvez parfaitement calibrer sans utiliser de bias/offset. Dans ce cas le processus est décrit ci-dessous:

Calibration alternative (sans bias/offset)

Tout autre combinaison mène à une calibration imparfaite et pour obtenir les meilleures images il est impératif d’utiliser une de ces trois possibilités."

[frédogoto]

alban tu parle de logique traditionnele, alors qu'il n'y a jusqu'a présent jamais eu de logique : toute les traitements sont "linéaire" et non visible par les users.

un truc qui serai cool JEFF serai éventuellement de voir dans l'onglet deux, par un système de soulignage par exemple, quelle images (ou dark ou flat etc) est entrain d’être traitée