MENU

AMD lance le MI300, plus puissant que le H100 Nvidia pour l’IA

AMD lance le MI300, plus puissant que le H100 Nvidia pour l’IA

Technologies |
Par A Delapalisse, Peter Clarke



Advanced Micro Devices Inc. a lancé la série Instinct MI300 d’accélérateurs d’intelligence artificielle pour centres de données, ainsi que la pile logicielle ROCm 6 prenant en charge les modèles de langage de grande taille (LLM).

Le composant MI300 se décline en deux variantes : le MI300x pour le déploiement de serveurs de centres de données sur un module OAM, et les unités de traitement accéléré MI300A, qui comprennent plusieurs cœurs x86.

Module AMD Instinct MI300, spécifications de l’APU et de la plate-forme. Source : AMD.

Dans sa  documentation, AMD a fait des déclarations audacieuses sur la capacité du MI300x à surpasser la H100 de Nvidia. AMD revendique un avantage de 32 % en termes de performances pour le MI300x par rapport au H100 de Nvidia pour les types de données TensorFloat, à virgule flottante, block-float et entiers, comparés au H100. Le H100 ne dispose que de 80 Go de mémoire HBM3 contre 192 Go pour le MI300X.

Il convient également de noter que le MI300X est fabriqué à l’aide des technologies de fabrication TSMC 5nm et 6nm, tandis que le H100 est fabriqué à l’aide du processus plus avancé TSMC 4N (4nm).

Performances du MI300X AI (TFLOPs de pointe) par type de données. Source : AMD.

Le MI300 suit l’architecture GPU CDNA3 d’AMD et est fabriqué à l’aide de chiplets issus des technologies FinFET 5nm et 6nm du fondeur TSMC. Le composant possède 19 456 processeurs de flux et 304 unités de calcul avec une fréquence d’horloge maximale de 2,1 GHz. Cela permet d’obtenir des performances maximales de 1,3 PFLOPS en FP16 et de 2,6 PFLOPS en INT8.

Le composant est livré sur un module d’accélération OCP (OAM) et utilise un refroidissement passif. Le module comprend 192 gigaoctets de mémoire HBM3 avec une bande passante théorique maximale de 5,3 téraoctets par seconde.

ROCm 6 prend en charge de nouveaux types de données, des optimisations avancées des graphes et des noyaux, des bibliothèques optimisées et des algorithmes d’attention de pointe, qui, avec MI300X, permettent d’augmenter d’environ 8 fois les performances pour la latence globale dans la génération de texte sur Llama 2, par rapport à ROCm 5 fonctionnant sur MI250.

APU et plateforme

L’AMD Instinct MI300A est une unité de traitement accéléré (APU) qui comporte moins d’accélérateurs Instinct mais inclut des processeurs Epyc avec mémoire partagée pour permettre une efficacité, une flexibilité et une programmabilité accrues. Ils sont conçus pour accélérer la convergence de l’IA et du calcul à haute performance.

Le MI300A comprend 228 unités de calcul et 24 cœurs de CPU x86 Zen 4, ainsi que 128 gigaoctets de mémoire HBM3.

La plateforme AMD Instinct est une plateforme d’IA générative dotée de huit accélérateurs MI300X offrant une capacité de mémoire HBM3 de 1,5 To. Comparée à la Nvidia H100 HGX, la plateforme AMD Instinct peut offrir une augmentation de débit allant jusqu’à 1,6 fois lors de l’exécution de l’inférence sur des LLM tels que BLOOM 176B. AMD affirme qu’il s’agit de la seule option sur le marché capable d’exécuter l’inférence d’un modèle à 70 milliards de paramètres, tel que Llama2, sur un seul accélérateur MI300X.

Combien ?

Le H100 de Nvidia a déjà été reconnu comme le processeur GPU d’IA le plus performant pour l’entraînement et l’inférence dans les centres de données. Selon Nvidia, la H100 a établi des records de performance dans les benchmarks MLPerf standard de l’industrie, avec des performances 4,5 fois supérieures à celles de sa propre unité A100. Le H100 est généralement utilisé pour le traitement du langage naturel, la vision par ordinateur et l’intelligence artificielle générative et peut coûter entre 25 000 et 40 000 dollars selon les rapports.

Le gouvernement américain a décidé que les H100 et A100 étaient trop performants pour être exportés en Chine et dans d’autres pays sans licence d’exportation et, compte tenu des performances annoncées par AMD, on peut s’attendre à ce que les mêmes restrictions s’appliquent à la série MI300.

« Nous constatons une très forte demande pour nos nouveaux GPU Instinct MI300, qui sont les accélérateurs les plus performants au monde pour l’IA générative », a déclaré Lisa Su, présidente et CEO d’AMD, dans un communiqué. « Nous sommes également en train de créer une dynamique importante pour nos solutions d’IA pour centres de données avec les plus grandes entreprises de cloud, les meilleurs fournisseurs de serveurs de l’industrie et les startups d’IA les plus innovantes avec lesquelles nous travaillons en étroite collaboration pour mettre rapidement sur le marché des solutions Instinct MI300 qui accéléreront considérablement le rythme de l’innovation dans l’ensemble de l’écosystème de l’IA. »

Lors de l’événement de lancement, AMD a cité Microsoft, Dell Technologies, Hewlett Packard Enterprise, Lenovo, Meta, Oracle, Supermicro et d’autres qui ont adopté les accélérateurs d’IA pour centres de données AMD Instinct MI300x et MI300a pour des solutions d’entraînement et d’inférence.

Liens et articles connexes :

www.amd.com

Articles de presse :

Microsoft dévoile ses propres processeurs

Les livraisons de serveurs d’IA feront un bond de 40 % en 2023

Nvidia et AMD s’apprêtent à défier Intel avec des processeurs pour PC basés sur la technologie Arm

Si vous avez apprécié cet article, vous aimerez les suivants : ne les manquez pas en vous abonnant à :    ECI sur Google News

Partager:

Articles liés
10s