Des chercheurs d’Apple ont mis au point un modèle d’IA capable d’améliorer considérablement les photos prises dans des conditions de faible luminosité. En intégrant un modèle d’image basé sur la diffusion directement dans le pipeline de traitement d’image de l’appareil photo, ils permettent de récupérer des détails à partir de données brutes du capteur qui seraient normalement perdues.
Le problème des photos en basse lumière
Vous avez probablement déjà pris une photo dans des conditions sombres, résultant en une image encombrée de bruit numérique. Cela se produit lorsque le capteur d’image n’attrape pas suffisamment de lumière. Pour compenser, des entreprises comme Apple utilisent des algorithmes de traitement d’image souvent critiqués pour leurs effets trop lissés, où les détails fins disparaissent ou sont reconstruits de manière à devenir à peine reconnaissables.
Présentation de DarkDiff
Pour remédier à cela, des chercheurs d’Apple et de l’université de Purdue ont développé un modèle nommé DarkDiff. Dans leur étude intitulée DarkDiff : Avancer l’amélioration des images brutes en basse lumière en recontextualisant les modèles de diffusion pour le traitement d’image de caméra, ils expliquent :
La photographie de haute qualité dans des conditions de faible luminosité extrême pose des défis mais a un impact fort pour les caméras numériques. Avec des matériels informatiques avancés, les algorithmes traditionnels de traitement d’image de caméra (ISP) sont progressivement remplacés par des réseaux profonds efficaces qui améliorent plus intelligemment les images brutes bruyantes. Cependant, les modèles basés sur la régression minimisent souvent les erreurs de pixels, entraînant un lissage excessif des photos en basse lumière ou des ombres profondes.
En d’autres termes, plutôt que d’appliquer l’IA au stade du post-traitement, les chercheurs ont recontextualisé Stable Diffusion, un modèle open-source entraîné sur des millions d’images, pour comprendre quels détails devraient apparaître dans les zones sombres des photos. Cette méthode a été intégrée dans le pipeline de traitement d’image de l’ISP.
Les avantages de DarkDiff
Cette approche permet à l’ISP de l’appareil photo de gérer les premiers traitements nécessaires à la compréhension des données brutes du capteur, tels que l’équilibre des blancs et la dématrice. DarkDiff fonctionne ensuite sur cette image RGB linéaire, en la débruitant et en produisant directement l’image finale en sRGB.
Des limitations à prendre en compte
Cependant, les chercheurs ont noté que le traitement basé sur l’IA est significativement plus lent que les méthodes traditionnelles et nécessiterait probablement un traitement dans le cloud afin de compenser les exigences computationnelles élevées. De plus, des limitations dans la reconnaissance des textes non anglophones dans des scènes à faible éclairage ont également été signalées.
Bien qu’aucune mention ne soit faite sur un déploiement de DarkDiff sur les iPhones imminents, cette recherche témoigne de l’engagement continu d’Apple en faveur des avancées en photographie computationnelle.
