MENU

VSORA dévoile le processeur d’IA générative Jotunn

VSORA dévoile le processeur d’IA générative Jotunn

Technologies |
Par Peter Clarke, A Delapalisse



VSORA SA (Paris, France), société spécialisée dans les puces DSP et la propriété intellectuelle, a annoncé Jotunn, sa plate-forme de traitement pour l’inférence générative de l’IA.

Jotunn devrait être disponible en 2024, et son architecture est destinée à surmonter le « mur de la mémoire » qui fait que les processeurs actuels restent inactifs la plupart du temps pendant qu’ils attendent des données dans les logiciels d’IA générative. Aucune information n’a été donnée sur le process de fabrication VSORA.

L’IA générative GPT-3.5 récemment introduite nécessite 175 milliards de paramètres et GPT-4 nécessiterait près de 2000 milliards de paramètres. Avec un modèle de mémoire hiérarchique traditionnel, la latence augmente. L’efficacité de l’exécution de GPT-4 chute à environ 3 %, affirme VSORA. Des milliers de processeurs restent inactifs 97 % du temps.

Jotunn est une architecture de puce évolutive conçue pour accompagner un processeur hôte et une interface avec une mémoire à large bande passante (HBM). L’implémentation Jotunn-4, avec quatre cœurs de processeur, fournira 192 Gbytes de mémoire sur puce et sera capable de réaliser entre 12 et 3 200 TFLOPS en fonction du type de données. La consommation électrique est évaluée à 100 W en crête dans un boîtier de 45 mm par 45 mm.

ChatGPT, basé sur GPT-3.5, peut être géré par Jotunn4 entièrement sur la puce, ce qui réduit la consommation d’énergie de plus d’un ordre de grandeur par rapport aux concurrents. Jotunn4 atteint une efficacité de plus de 50 % pour GPT-3.5 et GPT-4.

Jotunn a été initialement conçu comme une architecture de puce à faible consommation, à faible coût et à haute performance pour les véhicules à conduite autonome de niveau L3 à L5 (voir VSORA introduit la puce Tyr pour la conduite autonome).VSORA a étendu l’architecture pour accélérer les applications GenAI.

L’implémentation des algorithmes est rapide et facile, grâce au langage de haut niveau VSORA et au flux de développement du compilateur de graphes. L’architecture VSORA, à l’épreuve du temps, est agnostique en matière d’algorithmes, ce qui permet d’exécuter des algorithmes existants ou nouveaux sur n’importe quelle puce VSORA.

Khaled Maalej, fondateur et PDG de VSORA, a déclaré que l’intelligence artificielle générative a besoin d’un matériel conçu pour la prendre en charge.

VSORA a été fondée en 2015 et possède des bureaux à Meudon-La-Forêt (France), à San Diego (Californie) et à Taïwan.

Liens et articles connexes :

www.vsora.com

Articles de presse :

VSORA présente la puce Tyr pour la conduite autonome

Le Leti et VSORA font la démonstration de la radio 5G sur DSP

Si vous avez apprécié cet article, vous aimerez les suivants : ne les manquez pas en vous abonnant à :    ECI sur Google News

Partager:

Articles liés
10s