Cerebras livre un supercalculateur d’IA de 4exaFLOP
Cerebras a utilisé son processeur d’IA « wafer scale » pour fournir un superordinateur d’IA de 4 exaFLOP dans le cadre d’un contrat d’une valeur de 100 millions de dollars
Le Condor Galaxy 1 (CG-1) est un supercalculateur d’IA à 64 nœuds, doté de 54 millions de cœurs et de 82 téraoctets de données, capable d’effectuer 4 exaFLOPs de traitement. La feuille de route prévoit le déploiement de performances allant jusqu’à 36 exaFLOPS,
Le supercalculateur a été commandé par G42, la principale société d’IA et de cloud des Émirats arabes unis. Il s’agit du premier d’une série de neuf supercalculateurs qui seront construits et exploités dans le cadre d’un partenariat stratégique entre Cerebras et G42. Une fois achevés en 2024, les neuf superordinateurs interconnectés disposeront de 36 ExaFLOPS de calcul d’IA, ce qui en fera l’un des superordinateurs d’IA dans le cloud les plus puissants au monde.
CG-1 est situé à Santa Clara, en Californie, dans le centre de données de Colovore. Cerebras s’apprête à partager les résultats d’un nouveau modèle entraîné sur CG-1 lors d’une conférence qui aura lieu la semaine prochaine.
- Intégrité de l’alimentation pour l’IA à l’échelle de la plaquette avec 400 000 cœurs
- Les pénuries d’électricité freinent les centres de données
Le supercalculateur d’IA est rendu possible grâce au Cerebras Wafer-Scale Cluster, une nouvelle architecture de système qui permet de connecter jusqu’à 192 systèmes Cerebras CS-2 et de les faire fonctionner comme un seul accélérateur logique. La conception découple la mémoire du calcul, ce qui nous permet de déployer des téraoctets de mémoire pour les modèles d’IA plutôt que les gigaoctets possibles avec les GPU.
Cette méthode est combinée avec le « weight streaming », une nouvelle façon d’entraîner de grands modèles sur des grappes de taille réduite en utilisant uniquement le parallélisme des données. Cela permet d’exploiter les fonctions de calcul et de mémoire à grande échelle du matériel de traitement à l’échelle du wafer et de distribuer le travail en diffusant le modèle une couche à la fois de manière purement parallèle.
Ces deux technologies ont été utilisées en novembre 2022 pour le supercalculateur Andromeda AI avec 16 clusters qui a atteint 1 exaFLOP. Ce projet a fourni une conception de référence pour les clusters à l’échelle du wafer de Cerebras, ainsi qu’une plateforme pour l’entraînement de grands modèles génératifs, ce qui a permis à Cerebras d’entraîner sept grands modèles linguistiques GPT open source en quelques semaines seulement. C’est devenu l’offre phare de Cerebras Cloud.
- La plateforme logicielle d’IA permet l’entraînement de modèles géants
- Cerebras annonce un moteur de deuxième génération à l’échelle du wafer
- Le supercalculateur Exascale à l’échelle de la plaquette possède 13,5 millions de cœurs
La configuration de base prend en charge 600 milliards de paramètres, extensibles jusqu’à 100 billions, avec 386 térabits de bande passante interne pour le cluster, reliant 72 704 cœurs de processeurs AMD EPYC Gen 3.
Condor Galaxy sera déployé en quatre phases au cours de l’année à venir. CG-1 se compose aujourd’hui de 32 systèmes CS-2 et est opérationnel dans le centre de données de Colovore à Santa Clara.
La phase 2 doublera l’empreinte du CG-1, l’étendant à 64 systèmes CS-2 à 4 exaFLOPS. Un système de 64 nœuds représente une instance complète de superordinateur. La phase 3 consiste en deux instances complètes supplémentaires à travers les États-Unis, ce qui porte le total des calculs déployés à 3 centres à 12 exaFLOPS.
La phase 4 comprendra six autres centres de supercalcul, ce qui portera la base d’installation complète à 9 instances à 36 exaFLOPS de calcul d’IA. Cela place Cerebras dans le top 3 des entreprises mondiales pour l’infrastructure publique de calcul de l’IA.
|
Galaxie Condor |
Phase 1 réalisée |
Phase 2 T4 2023 |
Phase 3 H1 2024 |
Phase 4 H2 2024 |
|
ExaFLOPS |
2 |
4 |
12 |
36 |
|
Systèmes CS-2 |
32 |
64 |
192 |
576 |
|
Centres de supercalculateurs |
1 |
1 |
3 |
9 |
|
Jalon |
Le plus grand déploiement de CS-2 à ce jour |
Premier supercalculateur d’IA Cerebras à 64 nœuds |
Premier réseau de superordinateurs distribués |
Le plus grand réseau de superordinateurs distribués |
Lorsqu’il sera entièrement déployé en 2024, Condor Galaxy sera l’un des plus grands supercalculateurs d’IA dans le cloud au monde. Avec 36 exaflops, il est neuf fois plus puissant que le supercalculateur Israel-1 de Nvidia et quatre fois plus puissant que le plus grand pod TPU v4 annoncé par Google.
Cerebras gère et exploite le CG-1 pour G42 et le met à disposition via le Cerebras Cloud. Les instances de superordinateurs dédiées à la formation à l’IA sont essentielles au développement de modèles.
Articles connexes sur les superordinateurs d’IA
Si vous avez apprécié cet article, vous aimerez les suivants : ne les manquez pas en vous abonnant à :
