Les neuroscientifiques pensent que le cerveau humain poss\u00e8de un \u00ab\u00a0centre s\u00e9mantique\u00a0\u00bb dans le lobe temporal ant\u00e9rieur qui int\u00e8gre les informations s\u00e9mantiques provenant de diff\u00e9rentes modalit\u00e9s, telles que les donn\u00e9es visuelles et les entr\u00e9es tactiles. Ce centre s\u00e9mantique est reli\u00e9 \u00e0 des \u00ab\u00a0rayons\u00a0\u00bb sp\u00e9cifiques \u00e0 chaque modalit\u00e9 qui acheminent les informations vers le centre. Les chercheurs du MIT ont d\u00e9couvert que les LLM utilisent un m\u00e9canisme similaire en traitant de mani\u00e8re abstraite des donn\u00e9es provenant de diverses modalit\u00e9s de mani\u00e8re centrale et g\u00e9n\u00e9ralis\u00e9e. Par exemple, un mod\u00e8le dont la langue dominante est l’anglais s’appuierait sur l’anglais comme support central pour traiter des donn\u00e9es en japonais ou raisonner sur l’arithm\u00e9tique, le code informatique, etc. En outre, les chercheurs d\u00e9montrent qu’ils peuvent intervenir dans le p\u00f4le s\u00e9mantique d’un mod\u00e8le en utilisant du texte dans la langue dominante du mod\u00e8le pour modifier ses r\u00e9sultats, m\u00eame lorsque le mod\u00e8le traite des donn\u00e9es dans d’autres langues.<\/p>\n
\u00ab\u00a0Les LLM sont de grandes bo\u00eetes noires. Ils ont atteint des performances tr\u00e8s impressionnantes, mais nous n’avons que tr\u00e8s peu de connaissances sur leurs m\u00e9canismes de fonctionnement internes. J’esp\u00e8re qu’il s’agit l\u00e0 d’une premi\u00e8re \u00e9tape vers une meilleure compr\u00e9hension de leur fonctionnement, afin que nous puissions les am\u00e9liorer et mieux les contr\u00f4ler en cas de besoin\u00a0\u00bb, d\u00e9clare Zhaofeng Wu, \u00e9tudiant dipl\u00f4m\u00e9 en g\u00e9nie \u00e9lectrique et en informatique (EECS) et auteur principal d’un article sur cette recherche.<\/p>\n
Ses coauteurs sont Xinyan Velocity Yu, \u00e9tudiant dipl\u00f4m\u00e9 \u00e0 l’universit\u00e9 de Californie du Sud (USC), Dani Yogatama, professeur associ\u00e9 \u00e0 l’USC, Jiasen Lu, chercheur chez Apple, et l’auteur principal Yoon Kim, professeur adjoint d’EECS au MIT et membre du Computer Science and Artificial Intelligence Laboratory (CSAIL).<\/p>\n