Prophesee porte l’IA neuromorphique dans les smartphones
Prophesee, pionnier de l’IA neuromorphique, a commercialisé un modèle de référence pour son capteur et son logiciel dans les téléphones portables.
Le capteur neuromorphique piloté par événements, développé en collaboration avec Sony, est utilisé parallèlement à un appareil photo traditionnel pour fournir davantage de données sur l’image. Cette fonction peut être utilisée pour détourer une image ou une vidéo et améliorer la qualité de l’image, en particulier en cas de faible luminosité et de temps d’exposition plus longs.
La solution Metavision Image Deblur pour smartphones est désormais un module prêt à la production, optimisé pour la plateforme mobile Snapdragon 8 Gen 3 utilisée par les fabricants de smartphones haut de gamme.
Le capteur neuromorphique a 1 million de pixels et utilise les données de mouvement pour optimiser le réglage du capteur d’image pour la photographie numérique, explique Luca Verre, PDG et cofondateur de Prophesee, à eeNews Europe lors d’une démonstration au Mobile World Congress 2024.
« Nous avons fait des progrès significatifs depuis que nous avons annoncé cette collaboration avec Qualcomm en février 2023, en atteignant les étapes techniques qui démontrent l’impact impressionnant sur la qualité de l’image de notre technologie basée sur les événements dans les appareils mobiles contenant des plates-formes mobiles Snapdragon. Par conséquent, notre solution Metavision Deblur est désormais prête pour la production « , a déclaré M. Verre.
L’ajout d’un capteur neuromorphique, piloté par les événements, à un téléphone ouvre la voie à d’autres applications. L’une d’entre elles est la possibilité d’augmenter la qualité vidéo jusqu’à 60 images/s et 4K en utilisant les données de mouvement.
« Il s’agit de la première étape de la photographie numérique », a-t-il déclaré. « Vous pouvez obtenir un flou à tout moment en intérieur avec un certain mouvement, de quelques pixels à 40 ou 50 pixels. Nous avons obtenu de bons résultats avec le dé-brouillage jusqu’à 100 pixels et nous pouvons réduire le flou résiduel à 1 ou 2 pixels dans toutes les conditions, mais particulièrement lors d’expositions prolongées à faible luminosité.
- Prophesee publie gratuitement tous ses logiciels d’IA neuromorphique
- 50 millions d’euros pour le fabricant de caméras événementielles Prophesee
- Capteur basé sur les événements pour la vidéo en continu et les applications à faible consommation d’énergie
Chaque pixel du capteur Metavision intègre un noyau logique, ce qui lui permet d’agir comme un neurone.
Chacun d’entre eux s’active de manière intelligente et asynchrone en fonction de la quantité de photons qu’il perçoit. Un pixel qui s’active est appelé un événement. Par essence, les événements sont pilotés par la dynamique de la scène, et non plus par une horloge arbitraire, de sorte que la vitesse d’acquisition correspond toujours à la dynamique réelle de la scène.
La synchronisation d’un capteur basé sur les images et d’un capteur basé sur les événements de Prophesee permet d’obtenir un ébarbage performant basé sur les événements. Le système remplit ensuite les espaces entre les images et à l’intérieur de celles-ci avec des événements d’une microseconde pour extraire algorithmiquement des informations sur le mouvement pur et réparer le flou de mouvement.
Prophesee dispose également d’un capteur quart VGA de cinquième génération fabriqué par STMicroelectronics qui peut être utilisé pour le suivi des yeux dans les lunettes intelligentes ou pour réduire la bande passante de la vidéo dans les applications domestiques intelligentes et les applications IoT, ainsi que pour fournir une « capacité toujours active » à faible consommation pour réveiller le système lorsqu’un mouvement est détecté.
« Nous suivons deux voies, l’une pour augmenter la résolution et l’autre pour réduire la taille du capteur, avec l’imagerie numérique d’un côté et la radiographie XR de l’autre », a déclaré M. Verre.
www.prophesee.ai/event-based-vision-mobile/
Si vous avez apprécié cet article, vous aimerez les suivants : ne les manquez pas en vous abonnant à :
