Bas\u00e9e sur des innovations architecturales in\u00e9dites utilisant la technologie analogique, Sagence AI permet d’am\u00e9liorer de plusieurs ordres de grandeur l’efficacit\u00e9 \u00e9nerg\u00e9tique et de r\u00e9duire les co\u00fbts de l’inf\u00e9rence IA, tout en maintenant des performances \u00e9quivalentes \u00e0 celles des syst\u00e8mes \u00e0 base de GPU\/CPU de haute performance.<\/p>\n
Compar\u00e9e au GPU de volume leader traitant le grand mod\u00e8le de langage Llama2-70B avec une performance normalis\u00e9e \u00e0 666K tokens\/s, la technologie Sagence fonctionne avec une puissance 10 fois inf\u00e9rieure, un prix 20 fois inf\u00e9rieur, et un espace de rack 20 fois plus petit. En utilisant une architecture modulaire de chiplets pour une int\u00e9gration maximale, la technologie permet une machine d’inf\u00e9rence hautement efficace qui s’\u00e9tend de l’IA g\u00e9n\u00e9rative des centres de donn\u00e9es aux applications de vision Edge dans de multiples secteurs d’activit\u00e9. Cette technologie allie haute performance et faible consommation \u00e0 un co\u00fbt abordable, ce qui permet de r\u00e9soudre le probl\u00e8me croissant du retour sur investissement pour les applications d’IA g\u00e9n\u00e9rative \u00e0 grande \u00e9chelle, car le calcul de l’IA dans le centre de donn\u00e9es passe de l’entra\u00eenement de mod\u00e8les au d\u00e9ploiement de mod\u00e8les pour les t\u00e2ches d’inf\u00e9rence.<\/p>\n
\u00ab\u00a0Une avanc\u00e9e fondamentale dans le mat\u00e9riel d’inf\u00e9rence de l’IA est vitale pour l’avenir de l’IA. L’utilisation de grands mod\u00e8les de langage (LLM) et de l’IA g\u00e9n\u00e9rative entra\u00eene une demande de changements rapides et massifs au c\u0153ur de l’informatique, ce qui n\u00e9cessite une combinaison sans pr\u00e9c\u00e9dent de performances maximales avec une consommation d’\u00e9nergie minimale et une \u00e9conomie qui adapte les co\u00fbts \u00e0 la valeur cr\u00e9\u00e9e\u00a0\u00bb, a d\u00e9clar\u00e9 Vishal Sarin, PDG et fondateur de Sagence AI. \u00ab\u00a0Aujourd’hui, les composants informatiques traditionnels capables de r\u00e9aliser des inf\u00e9rences IA extr\u00eamement performantes co\u00fbtent trop cher pour \u00eatre \u00e9conomiquement viables et consomment trop d’\u00e9nergie pour \u00eatre \u00e9cologiquement durables. Notre mission consiste \u00e0 d\u00e9passer ces limites en termes de performances et d’\u00e9conomie, tout en respectant l’environnement.\u00a0\u00bb<\/p>\n
\u00a0\u00bb Les exigences de la nouvelle g\u00e9n\u00e9ration de mod\u00e8les d’IA ont donn\u00e9 lieu \u00e0 des acc\u00e9l\u00e9rateurs dot\u00e9s d’une m\u00e9moire massive on-package et, par cons\u00e9quent, d’une consommation d’\u00e9nergie extr\u00eamement \u00e9lev\u00e9e. Entre 2018 et aujourd’hui, les GPU les plus puissants sont pass\u00e9s de 300 W \u00e0 1200 W, tandis que les CPU de serveurs de premier plan ont rattrap\u00e9 les niveaux de consommation d’\u00e9nergie du GPU A100 de NVIDIA \u00e0 partir de 2020 \u00ab\u00a0, a d\u00e9clar\u00e9 Alexander Harrowell, analyste principal, Advanced Computing, Omdia. \u00ab\u00a0Cela a des r\u00e9percussions sur le refroidissement des centres de donn\u00e9es, la distribution \u00e9lectrique, l’\u00e9conomie des applications d’IA et bien d’autres choses encore. Une fa\u00e7on de sortir de l’impasse est de red\u00e9couvrir l’informatique analogique, qui offre une consommation d’\u00e9nergie beaucoup plus faible, une tr\u00e8s faible latence, et permet de travailler avec des n\u0153uds de process de fabrication matures.\u00a0\u00bb<\/p>\n
Sagence AI est \u00e0 la pointe de l’innovation en mati\u00e8re de calcul en m\u00e9moire. Elle est la premi\u00e8re \u00e0 effectuer un calcul profond \u00e0 l’int\u00e9rieur de cellules de m\u00e9moire multi-niveaux, une combinaison sans pr\u00e9c\u00e9dent qui ouvre la voie \u00e0 des am\u00e9liorations de plusieurs ordres de grandeur n\u00e9cessaires pour fournir une inf\u00e9rence \u00e0 l’\u00e9chelle. Alors que la technologie num\u00e9rique atteint ses limites en termes de puissance et de co\u00fbt, Sagence a innov\u00e9 une nouvelle voie analogique en tirant parti des avantages inh\u00e9rents \u00e0 l’analogique en termes d’efficacit\u00e9 \u00e9nerg\u00e9tique et de co\u00fbts, afin de rendre possible l’adoption massive de l’IA, qui est \u00e0 la fois \u00e9conomiquement viable et \u00e9cologiquement durable.<\/p>\n
L’informatique en m\u00e9moire s’aligne \u00e9troitement sur les \u00e9l\u00e9ments essentiels de l’efficacit\u00e9 dans les applications d’inf\u00e9rence de l’IA. La fusion du stockage et du calcul \u00e0 l’int\u00e9rieur des cellules de m\u00e9moire \u00e9limine le stockage de m\u00e9moire \u00e0 usage unique et les circuits complexes de multiplication-accumulation programm\u00e9s qui ex\u00e9cutent la multiplication vectorielle-matricielle faisant partie int\u00e9grante du calcul de l’intelligence artificielle. Les puces et les syst\u00e8mes qui en r\u00e9sultent sont beaucoup plus simples, moins co\u00fbteux, moins gourmands en \u00e9nergie et dot\u00e9s d’une capacit\u00e9 de calcul nettement sup\u00e9rieure. <\/p>\n
Sagence consid\u00e8re le d\u00e9fi de l’inf\u00e9rence en IA non pas comme un probl\u00e8me informatique g\u00e9n\u00e9ral, mais comme un probl\u00e8me de traitement de donn\u00e9es \u00e0 forte intensit\u00e9 math\u00e9matique. La gestion de l’\u00e9norme quantit\u00e9 de traitement arithm\u00e9tique n\u00e9cessaire pour \u00ab\u00a0faire tourner\u00a0\u00bb un r\u00e9seau neuronal sur des machines num\u00e9riques CPU\/GPU exige une r\u00e9utilisation et une programmation extr\u00eamement compliqu\u00e9es du mat\u00e9riel. La solution mat\u00e9rielle naturelle n’est pas une machine informatique polyvalente, mais plut\u00f4t une architecture qui refl\u00e8te plus fid\u00e8lement le fonctionnement des r\u00e9seaux neuronaux biologiques.<\/p>\n
L’architecture de calcul en m\u00e9moire profonde \u00e0 programmation statique employ\u00e9e par les puces Sagence est beaucoup plus simple et \u00e9limine les variabilit\u00e9s et les complexit\u00e9s de la programmation dynamique requise par les CPU et les GPU. L’ordonnancement dynamique impose des exigences extr\u00eames au SDK pour g\u00e9n\u00e9rer le code d’ex\u00e9cution et contribue \u00e0 l’inefficacit\u00e9 en termes de co\u00fbts et d’\u00e9nergie. Le flux de conception Sagence AI importe un r\u00e9seau neuronal entra\u00een\u00e9 \u00e0 l’aide d’interfaces standard telles que PyTorch, ONNX et TensorFlow, et le convertit automatiquement au format Sagence. Le syst\u00e8me Sagence re\u00e7oit le r\u00e9seau neuronal bien apr\u00e8s que le logiciel GPU l’a cr\u00e9\u00e9, ce qui rend inutile le logiciel GPU.<\/p>\n