Le consortium du projet Tulipp (Towards Ubiquitous Low-power Image Processing Platforms) a annonc\u00e9 que le projet europ\u00e9en de trois ans avait \u00e9t\u00e9 men\u00e9 \u00e0 bien. Sa conclusion voit la publication d’une plate-forme de r\u00e9f\u00e9rence compl\u00e8te pour les concepteurs de syst\u00e8mes int\u00e9gr\u00e9s bas\u00e9s sur la vision, permettant aux concepteurs de produits de vision par ordinateur de relever plus facilement les d\u00e9fis combin\u00e9s de la faible consommation, de la faible latence, des performances \u00e9lev\u00e9es et des contraintes de conception du traitement des images en temps r\u00e9el. <\/p>\n
\u00c0 compter de janvier 2016, le projet Tulipp visait l\u2019am\u00e9lioration du d\u00e9veloppement de syst\u00e8mes \u00e0 hautes performances et \u00e0 haut rendement \u00e9nerg\u00e9tique pour la gamme croissante d’applications de traitement d’images complexes et bas\u00e9es sur la vision. Il a \u00e9t\u00e9 financ\u00e9 \u00e0 hauteur de pr\u00e8s de 4 millions d\u2019euros par Horizon 2020, le plus important programme de recherche et d\u2019innovation de l\u2019Union europ\u00e9enne \u00e0 ce jour.<\/p>\n
La plate-forme de r\u00e9f\u00e9rence qui d\u00e9coule l\u2019aboutissement du projet Tulipp comprend un kit de d\u00e9veloppement complet, avec une carte de calcul bas\u00e9e sur un circuit multic\u0153ur et FPGA, un syst\u00e8me d\u2019exploitation temps r\u00e9el et parall\u00e8le et une cha\u00eene d\u2019outils de d\u00e9veloppement avec des lignes directrices, ainsi que des cas d’utilisation \u00abde la vie r\u00e9elle\u00bb ax\u00e9s sur diverses applications telles que l’imagerie m\u00e9dicale rayons x, l’assistance \u00e0 la conduite et les drones autonomes avec l\u2019\u00e9vitement d\u2019obstacles. L’\u00e9cosyst\u00e8me complet de Tulipp a \u00e9t\u00e9 pr\u00e9sent\u00e9 plus t\u00f4t dans l’ann\u00e9e aux concepteurs de syst\u00e8mes bas\u00e9s sur la vision dans une s\u00e9rie de tutoriels.<\/p>\n
\u00ab Le projet Tulipp a atteint tous ses objectifs \u00bb, a d\u00e9clar\u00e9 Philippe Millet de Thales et coordinateur du projet Tulipp. \u00ab En prenant un large spectre de domaines d’applications pour d\u00e9finir une plate-forme de traitement de r\u00e9f\u00e9rence capturant le caract\u00e8re commun d’applications de traitement d’images et de vision haute performance et temps r\u00e9el, cela nous a permis de relever avec succ\u00e8s les d\u00e9fis fondamentaux auxquels sont confront\u00e9s les concepteurs de syst\u00e8mes de vision embarqu\u00e9s actuels. \u00bb<\/p>\n
D\u00e9velopp\u00e9 par Sundance Multiprocessor Technology, chaque instance de la plate-forme de traitement Tulipp mesure 40 mm x 50 mm et est conforme \u00e0 au standard de carte processeur PC \/ 104. La plate-forme mat\u00e9rielle utilise le puissant processeur multic\u0153ur Xilinx Zynq Ultrascale+ MPSoC, qui contient, avec le Xilinx FinFET+ FPGA, un processeur quad-core ARM Cortex-A53, une unit\u00e9 de traitement graphique ARM Mali-400 MP2, et une unit\u00e9 de traitement temps-r\u00e9el (RPU) contenant un processeur temps r\u00e9el 32 bits ARM Cortex-R5 double c\u0153ur bas\u00e9 sur l\u2019architecture ARM-v7R. Un module d\u2019extension s\u00e9par\u00e9 (VITA57.1 FMC) permet de cr\u00e9er des cartes sp\u00e9cifiques \u00e0 l\u2019application avec diff\u00e9rents types d\u2019interfaces d\u2019entr\u00e9es sorties tout en maintenant la coh\u00e9rence des interfaces avec le module de traitement.<\/p>\n
Coupl\u00e9 \u00e0 la plate-forme mat\u00e9rielle Tulipp, un syst\u00e8me d\u2019exploitation temps r\u00e9el embarqu\u00e9 parall\u00e8le \u00e0 faible temps de latence a \u00e9t\u00e9 sp\u00e9cialement d\u00e9velopp\u00e9 par Hipperos pour g\u00e9rer de mani\u00e8re pr\u00e9visible les applications int\u00e9gr\u00e9es multithreads complexes. Une parfaite coordination en temps r\u00e9el garantit une cadence \u00e9lev\u00e9e sans enfreindre les d\u00e9lais et sans perte de donn\u00e9es. En outre, afin de faciliter le d\u00e9veloppement efficace d’applications de traitement d’images sur le mat\u00e9riel Tulipp et d’aider les concepteurs de syst\u00e8mes bas\u00e9s sur la vision \u00e0 comprendre l’impact de leurs choix de placement et de s\u00e9quencementfonctionnel sur les ressources disponibles, la plate-forme de r\u00e9f\u00e9rence Tulipp a \u00e9t\u00e9 \u00e9tendue par Norges Teknisk-Naturvitenskapelige Universitet (NTNU) et Technische Universit\u00e4t Dresden (TUD) avec des fonctions de mesure de la puissance consomm\u00e9e et d’analyse des performances qui ont \u00e9t\u00e9 mises en \u0153uvre dans la cha\u00eene d\u2019outils STHEM de Tulipp.<\/p>\n
Les connaissances des experts du consortium Tulipp ont \u00e9galement \u00e9t\u00e9 rassembl\u00e9es dans un ensemble de directives comprenant des conseils pratiques, des meilleures pratiques d\u2019approche et des m\u00e9thodes recommand\u00e9es pour la mise en \u0153uvre afin d\u2019aider les concepteurs de syst\u00e8mes bas\u00e9s sur la vision \u00e0 choisir la strat\u00e9gie de mise en \u0153uvre optimale pour leurs propres applications. Ces connaissances seront rassembl\u00e9es dans un livre devant \u00eatre publi\u00e9 par Springer d\u2019ici \u00e0 la fin de 2019 et appuy\u00e9 par le soutien de l\u2019\u00e9cosyst\u00e8me croissant de d\u00e9veloppeurs qui testent actuellement le concept.<\/p>\n
Pour d\u00e9montrer la possibilit\u00e9 de d\u00e9finir une plate-forme de traitement de r\u00e9f\u00e9rence commune comprenant le mat\u00e9riel, le syst\u00e8me d’exploitation et un environnement de programmation, Tulipp a \u00e9galement d\u00e9velopp\u00e9 trois applications r\u00e9elles dans des domaines d’application tr\u00e8s diff\u00e9rents: imagerie m\u00e9dicale \u00e0 rayons X, syst\u00e8mes ADAS (Advanced Driver Assistance Systems) d\u2019assistance \u00e0 la conduite et v\u00e9hicules a\u00e9riens sans pilote (UAV), refl\u00e9tant les caract\u00e9ristiques communes en temps r\u00e9el et hautes performances du traitement d\u2019images et de la vision. <\/p>\n
L\u2019application d\u2019imagerie m\u00e9dicale par rayons X de Tulipp, pr\u00e9sente des algorithmes avanc\u00e9s d\u2019am\u00e9lioration d\u2019image pour les images \u00e0 rayons X fonctionnant \u00e0 une cadence \u00e9lev\u00e9e. Il se concentre sur l’am\u00e9lioration des performances des arceaux mobilescompacts pour l\u2019imagerie chirurgicale par rayons X, qui fournissent une vue interne du corps d’un patient en temps r\u00e9el tout au long d’une op\u00e9ration afin d’accro\u00eetre l’efficacit\u00e9 et la pr\u00e9cision des chirurgiens avec des tailles minimales d’incision, une r\u00e9cup\u00e9ration plus rapide des patients, et qui r\u00e9duit les risques de maladies nosocomiales. Ces am\u00e9liorations permettent de r\u00e9duire de 75% les doses de rayonnement auxquelles les patients et le personnel sont expos\u00e9s.<\/p>\n
L\u2019adoption de l\u2019ADAS est d\u00e9pendante de la mise en \u0153uvre de syst\u00e8mes de vision ou de combinaisons de vision et de radar. Les algorithmes doivent de plus pouvoir \u00eatre int\u00e9gr\u00e9s dans une petite unit\u00e9 de contr\u00f4le \u00e9lectronique (ECU) \u00e9conome en \u00e9nergie. Un algorithme ADAS doit \u00eatre \u00e0 minima capable de traiter un flux d\u2019images vid\u00e9o avec une taille d\u2019image de 640×480 \u00e0 30Hz \u00e0 demi-d\u00e9bit. Le cas d’utilisation ADAS de Tulipp illustre la reconnaissance des pi\u00e9tons en temps r\u00e9el sur la base de l’algorithme Viola & Jones. \u00c0 l’aide de la plate-forme de r\u00e9f\u00e9rence Tulipp, le cas d’utilisation ADAS r\u00e9alise un temps de traitement par image de 66 ms, ce qui signifie que l’algorithme atteint son objectif, \u00e0 savoir une image sur deux lorsque la cam\u00e9ra fonctionne \u00e0 30Hz.<\/p>\n
Le cas d\u2019utilisation de Tulipp pour les UAV illustre un syst\u00e8me d\u2019\u00e9vitement d\u2019obstacles en temps r\u00e9el bas\u00e9 sur une configuration de cam\u00e9ra st\u00e9r\u00e9o avec des cam\u00e9ras orient\u00e9es dans la direction du vol. M\u00eame si nous parlons de drones autonomes, la plupart des syst\u00e8mes actuels sont encore pilot\u00e9s \u00e0 distance par des personnes. Le cas d’utilisation repose sur des cartes de disparit\u00e9, calcul\u00e9es \u00e0 partir des images des cam\u00e9ras, pour localiser les obstacles sur la trajectoire de vol et pour diriger automatiquement le drone entre les obstacles qui l\u2019entourent. C’est la cl\u00e9 n\u00e9cessaire vers des drones totalement autonomes.<\/p>\n
\u00ab Alors que les applications de traitement d’images et de vision grandissent en complexit\u00e9 et en diversit\u00e9 et deviennent de plus en plus int\u00e9gr\u00e9es, les concepteurs de syst\u00e8mes bas\u00e9s sur la vision doivent savoir qu’ils peuvent facilement et simplement r\u00e9soudre les probl\u00e8mes de contraintes de conception li\u00e9s \u00e0 la faible consommation, au faible temps de latence et aux performances \u00e9lev\u00e9es et un traitement d\u2019image fiable et temps r\u00e9el qui leur font face \u00bb, a conclu Philippe Millet. \u00ab Le projet europ\u00e9en Tulipp a bien rempli ses objectifs. En outre, l’\u00e9cosyst\u00e8me d\u2019acteurs du domaine que nous avons cr\u00e9\u00e9 tout au long du projet assurera sa continuit\u00e9 dans le futur. Tulipp laissera vraiment un h\u00e9ritage. \u00bb<\/p>\n