L’impact des « transformers » sur la conception des puces d’IA
Les transformers passent de l’IA générative et des LLM – grands modèles de langage- aux puces intégrées.
Avi Baum, directeur de la technologie et cofondateur de Hailo en Israël, s’entretient avec Nick Flaherty des différents cas d’utilisation de l’IA transformatrice à l’origine de sa troisième génération de conception de puces.
« Il y a énormément d’abus de langage dans ce domaine », déclare M. Baum. « Les transformers sont les principaux éléments de base issus du traitement du langage naturel (NLP), mais ils sont désormais utilisés dans de nombreux domaines, pour l’imagerie, l’audio, le texte, etc. C’est aussi essentiel que complémentaire aux CNN », explique-t-il à eeNews Europe et ECInews.
La technologie est déjà utilisée pour réduire la bande passante des réseaux radio 5G en débruitant les données, et même en recréant des avatars numériques pour les vidéoconférences avec la puce Hailop-8 de première génération. « Chez Hailo, notre soutien aux transformers s’accroît au fil du temps, sous l’impulsion de nos clients », a-t-il déclaré.
- Hailo porte l’IA du transformateur sur une puce intégrée – mise à jour
- La deuxième génération de processeurs de vision artificielle cible les caméras intelligentes
L’entreprise Hailo est l’un des concepteurs de puces d’IA les mieux financés, ayant levé 224 millions de dollars selon Crunchbase. Les puces de deuxième génération lancées en mars et actuellement en cours d’échantillonnage sont en train d’être modifiées pour ajouter la prise en charge de l’IA transformatrice, et il s’agit d’un domaine clé pour l’architecture de troisième génération qui est en cours de développement.
Si les transformers sont essentiels pour les systèmes d’IA générative basés sur le cloud tels que Dall-E et ChatGPT, ils sont également utilisés pour la reconnaissance d’images edge sur des puces intégrées telles que le processeur Hailo-8. Selon lui, la clé réside dans l’équilibre entre le traitement dans le cloud et le traitement local pour chaque cas d’utilisation.
« Les gens utilisent l’IA générative pour deux choses différentes, pour générer du contenu tel que de nouvelles images à partir d’un texte, mais je vois de nombreux cas où les gens étendent l’IA générative à n’importe quoi avec des LLM ou des modalités multiples pour construire l’IA de la nouvelle ère. Cela crée beaucoup de confusion », a-t-il déclaré.
« Comme pour les appareils mobiles à leurs débuts, je pense qu’en général edge et l’informatique dématérialisée se rejoindront pour former un ensemble plus vaste, de sorte que chaque type de cas d’utilisation sera divisé de manière significative. Pour certaines applications, il est préférable de placer les éléments dans le cloud, car ils sont plus faciles à utiliser, et d’autres éléments à la périphérie (edge).
- Kontron fait appel à Hailo pour l’IA de pointe
- MicroSys et Hailo s’associent pour une plateforme d’IA embarquée
Il mentionne un logiciel d’IA pour la surveillance des caméras de sécurité qui combine l’IA générative et le traitement d’images à l’aide de transformers.
« Vous pouvez prendre d’énormes systèmes de gestion vidéo tels que des caméras de surveillance et trouver certaines images à l’aide d’un texte, par exemple pour trouver une personne portant des vêtements spécifiques, en combinant les LLM avec la capacité de comprendre les images de toutes les caméras dans un même cadre », a-t-il déclaré.
« La bonne façon de déployer un tel cas d’utilisation est d’interroger toutes les caméras du site avec la même requête, plutôt que d’envoyer toutes les vidéos à un point central. Cependant, la création des synoptiques et de l’intégration que la caméra peut comprendre est beaucoup plus efficace dans le cloud. En revanche, pour la traduction vocale, il est préférable de l’effectuer sur l’appareil edge.
La vidéoconférence est une autre combinaison possible. « Au lieu de fournir une vidéo, vous pouvez fournir un avatar suffisamment détaillé et, grâce à l’IA générative sur le client, recréer l’ensemble de la tête parlante sur la machine locale », a-t-il déclaré.
« Un autre cas d’utilisation que nous présenterons est l’utilisation de l’IA pour le débruitage des images – la version débruitée crée une bande passante beaucoup plus faible au niveau de l’encodeur », a-t-il déclaré. « Dans notre solution, nos clients utilisent la détection d’objets basée sur les transformers.
Les transformaters sont utilisés pour la détection d’objets standard, en particulier dans l’industrie automobile. « Un transformer donne une meilleure précision à une fréquence d’images donnée, principalement parce que les transformers créent cette notion d’attention pour regarder des parties particulières de l’image, ce qui peut donner de meilleurs résultats que CNN », a déclaré M. Baum.
« Nous avons fait la démonstration d’un appareil unique avec un transformer qui fonctionne en Full HD sur 6 caméras en temps réel sur Hailo-8 pour l’automobile en tant qu’appareil compagnon », a-t-il déclaré. « En fin de compte, ce qui nous limite, ce sont les ressources de l’ensemble de la plate-forme. Nous finirons par avoir besoin d’un endroit pour stocker tous les modèles. Plus le modèle est grand, plus les performances sont faibles. Ainsi, si je double la taille du modèle, les performances diminuent de moitié.
« Mais nous constatons que les algorithmes réduisent les modèles de transformers et que les constructeurs de matériel étendent les plates-formes. Le point d’interception va se développer, jusqu’à ce que nous arrivions à un bon équilibre entre le cloud et edge, mais cela prendra quelques années », a-t-il déclaré.
Hailo est une architecture flexible avec un ensemble d’unités à accumulation multiple qui peut être construit sur n’importe quel nœud de process et qui ne dépend pas de la dernière technologie de pointe pour la performance.
« Nous avons conçu Hailo pour qu’il soit flexible, car nous l’avons construit dès le départ en nous appuyant sur le compilateur et la chaîne d’outils. À l’avenir, nous envisageons d’optimiser le matériel, de le modifier un peu pour qu’il soit plus convivial pour les transformers et pour ce vers quoi nous pensons que les transformers évolueront. Il est suffisamment flexible, mais lorsque nous avons conçu Hailo-8, les transformers n’entraient pas en ligne de compte. Il y a des choses que nous pouvons encore améliorer », a-t-il déclaré.
- d-Matrix retarde le processeur chiplet pour mieux répondre aux besoins de la GenAI
- Esperanto fait tourner l’IA générative sur RISC-V
« Il y a beaucoup de choses qui sont spécifiques aux transformers, comme les types de fonctions de normalisation, la nature des changements rapides de poids à la volée et, surtout, l’énumération », a-t-il déclaré. « Chaque type de réseau neuronal a une portée typique de tenseurs qui entrent et sortent de chaque couche et qui change avec les transformers, de sorte qu’il peut être nécessaire de modifier certains paramètres et c’est ce que nous faisons », a-t-il déclaré.
« Certaines de ces mesures ont été prises lors de la deuxième génération et d’autres seront plus évidentes lors de la prochaine génération. La feuille de route n’est pas encore totalement arrêtée et nous sommes toujours en discussion. Notre technologie de base est l’architecture plutôt que le nœud technologique, nous avons donc le luxe de pouvoir le faire dans les géométries actuelles, nous pouvons choisir de le faire ou non, en fonction des marchés cibles. »
Articles connexes sur l’IA générative
- Le patron de Nvidia présente l’IA générative pour la fabrication de puces
- Intel Capital sur l’avenir de l’IA générative
- Nouvelle technique d’IA générative pour la conception de véhicules
- Les tendances de Google X en matière d’IA générative : apprendre aux ordinateurs à apprendre
Si vous avez apprécié cet article, vous aimerez les suivants : ne les manquez pas en vous abonnant à :
