Graphcore et son partenaire Aleph Alpha viennent de pr\u00e9senter une avanc\u00e9e cons\u00e9quente en termes d\u2019efficacit\u00e9 de calcul d\u2019IA avec la sparsification d\u2019un mod\u00e8le \u00e0 13 milliards de param\u00e8tres, permettant d\u2019obtenir un mod\u00e8le \u00e0 seulement 2,6 milliards de param\u00e8tres. Cette technique avanc\u00e9e, gr\u00e2ce \u00e0 laquelle il est possible de supprimer environ 80\u00a0% des poids du mod\u00e8le tout en conservant la plupart de ses capacit\u00e9s, se sert de l\u2019IPU pour les multiplications de matrices \u00e0 points clairsem\u00e9es (une caract\u00e9ristique propre \u00e0 son architecture con\u00e7ue pour l\u2019IA).<\/p>\n
Les deux entreprises ont pr\u00e9sent\u00e9 une variante sparsifi\u00e9e du Luminous Chatbot d\u2019Aleph Alpha \u00e0 la conf\u00e9rence SC22 au Texas. Celle-ci n\u2019utilise que 20\u00a0% des FLOPS de traitement et 44\u00a0% de la m\u00e9moire de son \u00e9quivalent dense. Et surtout, ses 2,6\u00a0milliards de param\u00e8tres peuvent \u00eatre enti\u00e8rement stock\u00e9s dans la m\u00e9moire int\u00e9gr\u00e9e ultra haute vitesse d\u2019un IPU-POD16<\/sub> Classic, ce qui permet d\u2019optimiser les performances.<\/p>\n \u00c9lagage des param\u00e8tres<\/strong><\/p>\n La plupart des applications d\u2019IA s\u2019appuient encore sur des mod\u00e8les denses dans lesquels tous les param\u00e8tres b\u00e9n\u00e9ficient d\u2019une repr\u00e9sentation et de calculs \u00e9gaux, qu\u2019ils contribuent ou non au comportement du mod\u00e8le. Par cons\u00e9quent, des ressources pr\u00e9cieuses (temps, m\u00e9moire) sont consacr\u00e9es au stockage et \u00e0 la r\u00e9alisation de calculs sur des param\u00e8tres inutiles.<\/p>\n Aleph Alpha et Graphcore ont \u00e9t\u00e9 en mesure d\u2019en \u00ab\u00a0\u00e9laguer\u00a0\u00bb les 80\u00a0% les moins pertinents et de r\u00e9-entra\u00eener le mod\u00e8le Luminous uniquement gr\u00e2ce aux poids les plus importants (repr\u00e9sent\u00e9s \u00e0 l\u2019aide du format CSR, ou Compressed Sparse Row).<\/p>\n La quantit\u00e9 de FLOPS de calcul n\u00e9cessaire pour l\u2019inf\u00e9rence correspond \u00e0 20 % de celle du mod\u00e8le dense. L\u2019utilisation de la m\u00e9moire a \u00e9t\u00e9 r\u00e9duite \u00e0 44 % car de l\u2019espace suppl\u00e9mentaire est requis pour stocker les informations de valeur et d\u2019emplacement li\u00e9es aux param\u00e8tres non nuls restants. En outre, le mod\u00e8le sparsifi\u00e9 consomme 38\u00a0% moins d\u2019\u00e9nergie que son homologue dense.<\/p>\n <\/p>\n Efficacit\u00e9 optimale<\/strong><\/p>\n La sparsification est consid\u00e9r\u00e9e comme une contre-mesure essentielle \u00e0 la croissance exponentielle de la taille et de la demande en calcul des mod\u00e8les d\u2019IA. Un grand nombre d\u2019avanc\u00e9es li\u00e9es aux capacit\u00e9s des mod\u00e8les (langage, vision, multimodalit\u00e9) d\u00e9coulent de cette croissance. Cependant, les calculs li\u00e9s \u00e0 l\u2019entra\u00eenement se multiplient tellement (le nombre de param\u00e8tres au carr\u00e9, environ) que les co\u00fbts s\u2019envolent et que la viabilit\u00e9 des solutions d\u2019IA en \u00e9volution constantes est remise en question.\u00a0 La prochaine g\u00e9n\u00e9ration de mod\u00e8les pr\u00e9sentera des capacit\u00e9s encore plus avanc\u00e9es, faisant de la sparsification une \u00e9tape primordiale, permettant de cr\u00e9er des sous-mod\u00e8les hautement sp\u00e9cialis\u00e9s pour mieux tirer parti des connaissances. Gr\u00e2ce \u00e0 des techniques telles que la sparsit\u00e9 approximative ou la s\u00e9lectivit\u00e9, il est possible de profiter d\u2019avanc\u00e9es rapides et continues, et d\u2019une croissance durable et lin\u00e9aire des calculs.<\/p>\n Plus t\u00f4t cette ann\u00e9e, Graphcore et Aleph Alpha ont annonc\u00e9 leur intention de collaborer sur la recherche et le d\u00e9ploiement de mod\u00e8les. Aleph Alpha d\u00e9veloppe des mod\u00e8les multimodaux originaux et faits en Europe, dont Luminous, capable de prendre en charge des t\u00e2ches multilingues, et de comprendre et de r\u00e9pondre \u00e0 des questions sur les contextes avec n\u2019importe quelle combinaison de langues et d\u2019informations visuelles. Ce mod\u00e8le Luminous original est vendu via API aux entreprises et organisations souhaitant cr\u00e9er des produits et services bas\u00e9s sur l\u2019IA. Graphcore et Aleph Alpha offrent des applications commerciales de leurs mod\u00e8les sparsifi\u00e9s Luminous Base et Luminous Extended \u00e0 30 milliards de param\u00e8tres, qui incluent des options conversationnelles pour les applications bas\u00e9es sur les connaissances d\u2019entreprise.<\/p>\n