
Esperanto Technologies Inc. (Mountain View, Californie) a annoncé avoir porté une gamme de modèles d’IA générative sur son processeur RISC-V.
Le travail initial comprend l’exécution d’une gamme de grands modèles de langage (LLM Large Language Models), y compris le modèle d’IA générative ouvert pré-formé de Meta. La consommation d’énergie peut être de moins que 25 W pour l’inférence IA sur la puce ET-SoC-1.
Caractéristiques de l’ET-SoC-1 :
- 1088 cœurs ET-Minion 64 bits RISC-V économes en énergie, chacun avec une unité vecteur/tenseur personnalisée optimisée pour les applications ML
- 4 cœurs ET-Maxion 64 bits RISC-V « out of order » hautes performances pour exécuter un système d’exploitation en mode auto-hébergé
- Plus de 160 millions d’octets de SRAM sur puce
Plusieurs versions du modèle Open Pre-Trained Transformer (OPT) de Meta fonctionnent maintenant sur le matériel d’Esperanto à plusieurs niveaux de précision et tailles de contexte avec des niveaux de puissance aussi bas que 25 W par puce pour l’inférence.
Esperanto a déclaré qu’il prévoyait de fournir un accès aux chercheurs de la communauté RISC-V pour aider à accélérer le développement de la technologie d’IA générative sur RISC-V.
Aider la recherche
« L’IA générative est l’une des dernières avancées en matière d’apprentissage automatique, et nous sommes ravis de contribuer à la communauté de recherche RISC-V avec des éléments de nos efforts dans le domaine des grands modèles de langage LLM », a déclaré Art Swift, PDG d’Esperanto, dans un communiqué. .
« RISC-V offre des opportunités inégalées de collaboration et de personnalisation, ce qui le rend parfaitement adapté à cette prochaine vague d’innovation en IA », a déclaré Calista Redmond, PDG de RISC-V International. « Esperanto est l’une des entreprises à la pointe de la technologie dans ce domaine, repoussant les limites de la performance et de l’efficacité énergétique pour rendre le développement de l’IA générative plus accessible. »
Esperanto livre actuellement des serveurs d’évaluation AI dans un format standard de 2U, chaque serveur d’évaluation Esperanto comprend deux processeurs hôtes Xeon et 8 ou 16 cartes ET-SoC-1 PCIe. Ainsi, un serveur 2U peut contenir plus de 16 000 processeurs RISC-V.
Related links and articles:
News articles:
Rapid Silicon lets engineers use GPT for FPGA design
How AI technology can aid natural language processing deployment
Esperanto raises funds for AI superchip
