Des chercheurs de l'Institut Max Planck (Allemagne) ont mis au point un algorithme de deep learning capable de "dépixeliser" des images de faible résolution.

PIXEL. Grâce à l'accroissement de la puissance de calcul des processeurs, les algorithmes de traitement d'images enchaînent les prouesses : au-delà du simple lifting numérique, il est par exemple désormais possible de plaquer en un clic un sourire bright sur une photo de visage.

Mais certaines opérations, en apparence beaucoup plus simples, résistent encore aux miracles du numérique. La "dépixelisation" en fait partie.

Le défi : accroître la résolution d'une image en laissant un programme tenter de deviner la couleur des pixels manquants, mécanisme d'interpolation qui jusqu'à présent n'aboutissait qu'à des images floues dans la plupart des cas.

Mais c'était avant la percée réalisée par des chercheurs du Max Planck Institute (MPI), récemment présentée à l'occasion d'un symposium sur la vision artificielle, disponible en pré-publication. Ces derniers ont recours au deep learning, pour des résultats qui, même s'ils ne sont pas parfaits, restent bluffants.

Image d'oiseau agrandie par simple interpolation linéaire à gauche, et par la méthode développée par le MPI au milieu. A droite, la même image photographiée directement avec la résolution souhaitée.

Des algorithmes actuels mal optimisés

De nombreuses propositions techniques avaient déjà vu le jour ces dernières années afin de construire des images haute résolution à partir d'images de plus faible résolution. Le principe ? Ajouter de nouveaux pixels dans le tableau bidimensionnel que constitue l'image, puis déduire leur couleur grâce à des calculs statistiques portant sur les pixels limitrophes.

Leur efficacité est mesurée par un indicateur de distorsion appelé rapport signal de crête/bruit (peak signal-to-noise ratio ou PSNR).

Le problème, c'est que "cet indicateur est mal corrélé à la perception humaine de la qualité visuelle", rappellent les chercheurs. Or, c'était bien cet indicateur que les algorithmes de traitement d'image entendaient jusqu'alors améliorer, au point de produire des images manquant singulièrement de contraste pour l'oeil humain, apparaissant globalement floues.

Apprendre à deviner l'invisible grâce aux réseaux neuronaux

L'équipe de l'institut allemand a ainsi opté pour une autre approche : le deep learning (apprentissage machine profond). "L'algorithme apprend à échantillonner à partir d'images disponibles en faible et haute résolution. À la fin du processus, on peut ainsi lui montrer l'image cible en haute résolution, de sorte qu'il apprend au fur et à mesure de ses erreurs", explique Mehdi Sajjadi, co-auteur de la publication. Le réseau neuronal, appelé EnhancedNet-PAT, peut ainsi être optimisé pour un type d'images grâce à une base d'apprentissage donnée, avant d'ensuite se passer de photos originales et de savoir dépixeliser seul des images similaires !

TEXTURE.

Contrairement au traitement d'image classique, EnhancedNet-PAT s'intéresse à la reproduction des textures plus qu'à la finesse du rendu au pixel près. Autrement dit, les réseaux neuronaux convolutifs permettent à l'algorithme de mémoriser les motifs géométriques de l'image, et de s'en inspirer ensuite pour la reconstitution des pixels manquants... De quoi donner une seconde vie aux anciennes photos numériques, saisies à une époque où les téléphones portables n'étaient pas encore dotés de capteurs d'une taille de plusieurs méga-pixels... Et pour les bidouilleurs de l'extrême qui souhaiteraient jouer avec le modèle des chercheurs, il est possible de le télécharger ici !

l'article complet (en anglais ) http://webdav.tuebingen.mpg.de/pixel/enhancenet/

Merci pour l'info

Même si c'est encore expérimental, cela reste bluffant.

Où s’arrêteront ils?