Esperanto exécute l’IA générative sur RISC-V

Actualité générale | 24 avril 2023

Par Peter Clarke, A Delapalisse

Esperanto Technologies Inc. (Mountain View, Californie) a annoncé avoir porté une gamme de modèles d’IA générative sur son processeur RISC-V.

Le travail initial comprend l’exécution d’une gamme de grands modèles de langage (LLM Large Language Models), y compris le modèle d’IA générative ouvert pré-formé de Meta. La consommation d’énergie peut être de moins que 25 W pour l’inférence IA sur la puce ET-SoC-1.

Caractéristiques de l’ET-SoC-1 :

1088 cœurs ET-Minion 64 bits RISC-V économes en énergie, chacun avec une unité vecteur/tenseur personnalisée optimisée pour les applications ML
4 cœurs ET-Maxion 64 bits RISC-V « out of order » hautes performances pour exécuter un système d’exploitation en mode auto-hébergé
Plus de 160 millions d’octets de SRAM sur puce

Plusieurs versions du modèle Open Pre-Trained Transformer (OPT) de Meta fonctionnent maintenant sur le matériel d’Esperanto à plusieurs niveaux de précision et tailles de contexte avec des niveaux de puissance aussi bas que 25 W par puce pour l’inférence.

Esperanto a déclaré qu’il prévoyait de fournir un accès aux chercheurs de la communauté RISC-V pour aider à accélérer le développement de la technologie d’IA générative sur RISC-V.

Aider la recherche

« L’IA générative est l’une des dernières avancées en matière d’apprentissage automatique, et nous sommes ravis de contribuer à la communauté de recherche RISC-V avec des éléments de nos efforts dans le domaine des grands modèles de langage LLM », a déclaré Art Swift, PDG d’Esperanto, dans un communiqué. .

« RISC-V offre des opportunités inégalées de collaboration et de personnalisation, ce qui le rend parfaitement adapté à cette prochaine vague d’innovation en IA », a déclaré Calista Redmond, PDG de RISC-V International. « Esperanto est l’une des entreprises à la pointe de la technologie dans ce domaine, repoussant les limites de la performance et de l’efficacité énergétique pour rendre le développement de l’IA générative plus accessible. »

Esperanto livre actuellement des serveurs d’évaluation AI dans un format standard de 2U, chaque serveur d’évaluation Esperanto comprend deux processeurs hôtes Xeon et 8 ou 16 cartes ET-SoC-1 PCIe. Ainsi, un serveur 2U peut contenir plus de 16 000 processeurs RISC-V.