Le réseau KAN rend l’IA plus économe en énergie
Le fabricant de puces d’intelligence artificielle programmables Quadrics présente un nouveau cadre d’intelligence artificielle qui permet de réduire considérablement la consommation d’énergie.
Le réseau de Kolmogorov Arnold (KAN) supprime les opérations de multiplication de la matrice afin de réduire la consommation d’énergie de l’IA. Cette approche est similaire à celle développée à l’Université de Californie Santa Cruz qui élimine également les opérations de multiplication de matrice pour améliorer l’efficacité énergétique à 13W pour un modèle LLM à un milliard de paramètres.
- Implémentation à faible puissance pour l’IA générative .
- La start-up Quadric, spécialisée dans les processeurs d’IA, se tourne vers les licences de propriété intellectuelle
- Quadric rejoint Silicon Catalyst pour offrir de la propriété intellectuelle en matière d’IA
La KAN a été présentée dans un document de recherche publié par des chercheurs du MIT et de CalTech, qui propose une approche fondamentalement nouvelle des réseaux d’apprentissage automatique.
Les premières analyses suggèrent que les KAN peuvent être 10 x ou même 20 x plus petits que les grands modèles de langage (LLM) conventionnels basés sur des transformateurs, tout en donnant des résultats équivalents. L’exécution d’une inférence KAN consiste à calculer un grand nombre de fonctions univariées telles que des polynômes, puis à AJOUTER les résultats avec très peu de MATMUL.
La plupart des processeurs neuronaux NPU disposent de machines d’état câblées pour l’exécution de la multiplication matricielle, ainsi que de machines d’état pour la mise en œuvre des fonctions courantes d’activation (telles que ReLu et GeLu) et de mise en commun.
Cette mesure s’adresse à la fois aux exploitants de centres de données, afin de réduire la consommation d’énergie, et aux services d’inférence, afin de réduire les besoins en mémoire de l’intelligence artificielle. Les fabricants de composants qui cherchent à faire fonctionner la GenAI dans les appareils sont également confrontés à des exigences en matière de calcul et de stockage. L’utilisation de la KAN a permis d’obtenir un modèle de paramètre 1B qui s’intègre parfaitement à la plate-forme existante avec seulement 4 Go de DDR, soit une petite fraction des 32 Go requis pour les modèles actuels.
- L’IA va entraîner une augmentation de 160 % de la puissance des centres de données
- L’IA fait grimper les besoins en énergie des centres de données
Quadrics affirme que son NPU à usage général Chimera est capable de prendre en charge les KAN ainsi que le matériel de multiplication matricielle nécessaire pour faire fonctionner efficacement les réseaux neuronaux conventionnels avec un réseau massivement parallèle d’ALU programmables C++ à usage général, capables d’exécuter tous les modèles d’apprentissage automatique.
Le processeur Chimera QB16 de Quadric, par exemple, associe 8192 MAC à un nombre impressionnant de 1024 ALU à 32 bits en virgule fixe, ce qui donne 32 768 bits de parallélisme pour faire fonctionner les réseaux KAN.
L’année dernière, Quadrics a annoncé la prise en charge des modèles d’inférence d’apprentissage machine (ML) du transformateur de vision (ViT). Les ViT ont été décrits pour la première fois en 2021 et entrelacent de manière répétée des opérations lourdes pour le MAC (convolutions et couches denses) avec du code centré sur le DSP/CPU (normalisation, SoftMax). Cela met en évidence le moment opportun pour faire passer un cadre de la recherche à la mise en œuvre.
L’émergence des réseaux ViT a rompu avec les hypothèses sous-jacentes des NPU câblées, car l’adaptation d’une charge de travail ViT à un SoC hétérogène impliquerait des déplacements répétés de données entre NPU et DSP/CPU. La puissance du système gaspillée par tous ces transferts de données annule les gains d’efficacité du calcul matriciel dus à la présence du NPU.
» En 2018, lorsque nous avons conçu l’architecture GPNPU Chimera, nous savions que l’évolution rapide de l’apprentissage automatique signifiait que nous devions construire une IP de processeur à la fois optimisée en termes de performances matricielles et à usage général « , a déclaré Veerbhan Kheterpal, PDG de Quadric. « Nous savions que quelque chose serait inventé pour reléguer la famille de réseaux ResNet aux oubliettes, mais nous ne savions pas que les transformateurs seraient les grands gagnants du moment. Et nous ne savons pas à quoi ressemblera l’état de l’art en 2027, mais nous savons que les détenteurs de licences du GPNPU Chimera seront prêts à relever le prochain défi. »
Si vous avez apprécié cet article, vous aimerez les suivants : ne les manquez pas en vous abonnant à :
