Esperanto exécute l’IA générative sur RISC-V
Esperanto Technologies Inc. (Mountain View, Californie) a annoncé avoir porté une gamme de modèles d’IA générative sur son processeur RISC-V.
Le travail initial comprend l’exécution d’une gamme de grands modèles de langage (LLM Large Language Models), y compris le modèle d’IA générative ouvert pré-formé de Meta. La consommation d’énergie peut être de moins que 25 W pour l’inférence IA sur la puce ET-SoC-1.
Caractéristiques de l’ET-SoC-1 :
- 1088 cœurs ET-Minion 64 bits RISC-V économes en énergie, chacun avec une unité vecteur/tenseur personnalisée optimisée pour les applications ML
- 4 cœurs ET-Maxion 64 bits RISC-V « out of order » hautes performances pour exécuter un système d’exploitation en mode auto-hébergé
- Plus de 160 millions d’octets de SRAM sur puce
Plusieurs versions du modèle Open Pre-Trained Transformer (OPT) de Meta fonctionnent maintenant sur le matériel d’Esperanto à plusieurs niveaux de précision et tailles de contexte avec des niveaux de puissance aussi bas que 25 W par puce pour l’inférence.
Esperanto a déclaré qu’il prévoyait de fournir un accès aux chercheurs de la communauté RISC-V pour aider à accélérer le développement de la technologie d’IA générative sur RISC-V.
Aider la recherche
« L’IA générative est l’une des dernières avancées en matière d’apprentissage automatique, et nous sommes ravis de contribuer à la communauté de recherche RISC-V avec des éléments de nos efforts dans le domaine des grands modèles de langage LLM », a déclaré Art Swift, PDG d’Esperanto, dans un communiqué. .
« RISC-V offre des opportunités inégalées de collaboration et de personnalisation, ce qui le rend parfaitement adapté à cette prochaine vague d’innovation en IA », a déclaré Calista Redmond, PDG de RISC-V International. « Esperanto est l’une des entreprises à la pointe de la technologie dans ce domaine, repoussant les limites de la performance et de l’efficacité énergétique pour rendre le développement de l’IA générative plus accessible. »
Esperanto livre actuellement des serveurs d’évaluation AI dans un format standard de 2U, chaque serveur d’évaluation Esperanto comprend deux processeurs hôtes Xeon et 8 ou 16 cartes ET-SoC-1 PCIe. Ainsi, un serveur 2U peut contenir plus de 16 000 processeurs RISC-V.
Related links and articles:
News articles:
Rapid Silicon lets engineers use GPT for FPGA design
How AI technology can aid natural language processing deployment
Esperanto raises funds for AI superchip
Si vous avez apprécié cet article, vous aimerez les suivants : ne les manquez pas en vous abonnant à :
