Projet Européen pour une IA fonctionnant comme le cerveau
La collaboration avec le centre de neuroimagerie Neurospin, qui fait partie du CEA, compare la façon dont les modèles de langage de l’IA et le cerveau réagissent aux mêmes phrases parlées ou écrites.
« Bien sûr, nous ne faisons qu’effleurer la surface – il y a encore beaucoup de choses que nous ne comprenons pas sur le fonctionnement du cerveau, et nos recherches se poursuivent », a déclaré Jean Remi King, chercheur scientifique chez Meta, propriétaire de Facebook.
« Maintenant, nos collaborateurs de NeuroSpin créent un ensemble de données de neuroimagerie original pour étendre cette recherche. Nous allons ouvrir l’ensemble de données, les modèles d’apprentissage en profondeur, le code et les documents de recherche résultant de cet effort pour aider à stimuler les découvertes dans les communautés de l’IA et des neurosciences. Tout ce travail fait partie de la recherche sur l’IA « de niveau humain » qui apprend tout seul avec peu ou pas de supervision.
autre articles sur l’IA
-
Loamics s’allie à Microsoft France pour révolutionner l’Intelligence Artificielle
- RISC-V boom from edge AI says Facebook’s chief AI scientist
- ‘Brainternet’ project makes human brain an IoT node
- Researchers want to ‘copy and paste’ the brain into memory
- Three team for SpiNNaker2 neuromorphic AI chip
Les études d’imagerie par résonance magnétique fonctionnelle (IRMf) ne capturent que quelques instantanés des activités cérébrales, généralement à partir d’un petit échantillon. Pour répondre à la quantité importante de données requises pour l’apprentissage en profondeur, la recherche utilise des milliers de scans cérébraux IRMf enregistrés à partir d’ensembles de données publics et les modélise simultanément à l’aide de la magnétoencéphalographie (MEG), un scanner qui prend des instantanés de l’activité cérébrale toutes les millisecondes. Ces dispositifs de neuroimagerie fournissent les grandes données de neuroimagerie nécessaires pour détecter où et dans quel ordre les activations ont lieu dans le cerveau.
«Avec la magnétoencéphalographie, nous pouvons identifier les réponses cérébrales à des mots et des phrases individuels à chaque milliseconde. Nous pouvons ensuite comparer les zones du cerveau aux algorithmes du langage moderne », a déclaré King.
Les ensembles de données ont été collectés et partagés par plusieurs institutions universitaires, dont l’Institut Max Planck de psycholinguistique en Allemagne et l’Université de Princeton aux États-Unis. Meta tient à souligner que chaque institution a collecté et partagé les ensembles de données avec le consentement éclairé des volontaires conformément aux politiques légales approuvées par leurs comités d’éthique respectifs, y compris le consentement obtenu auprès des participants à l’étude.
« Notre comparaison entre les cerveaux et les modèles de langage a déjà conduit à des informations précieuses », a déclaré King. Les modèles de langage qui ressemblent le plus à l’activité cérébrale sont ceux qui prédisent le mieux le mot suivant à partir du contexte. Les prédictions basées sur des entrées partiellement observables sont au cœur de l’apprentissage auto-supervisé (SSL) dans l’IA et peuvent être la clé de la façon dont les gens apprennent une langue.
« Cependant, nous découvrons que des régions spécifiques du cerveau anticipent les mots et les idées très en avance dans le temps, alors que la plupart des modèles de langage actuels sont généralement entraînés à prédire le mot suivant. Déverrouiller cette capacité de prévision à long terme pourrait aider à améliorer les modèles modernes d’IA de langage », a-t-il déclaré.
La recherche fonctionne dans les deux sens, permettant de mieux comprendre le fonctionnement du cerveau.
« Notre travail s’inscrit dans le cadre des efforts plus larges de la communauté scientifique pour utiliser l’IA afin de mieux comprendre le cerveau. Les neuroscientifiques ont toujours été confrontés à des limitations majeures dans l’analyse des signaux cérébraux – sans parler de les comparer avec des modèles d’IA », a déploré King. « L’étude de l’activité neuronale et de l’imagerie cérébrale est un processus gourmand en temps et en ressources, nécessitant de la machinerie lourde pour analyser l’activité neuronale, qui est souvent opaque et avec bruits de fond. Concevoir des expériences linguistiques pour mesurer les réponses cérébrales de manière contrôlée peut également être fastidieux. Par exemple, dans les études de langage classiques, les phrases doivent correspondre en complexité, et les mots doivent correspondre à la fréquence ou au nombre de lettres, pour permettre une comparaison significative des réponses cérébrales.
En collaboration avec l’Inria, les chercheurs de Meta ont comparé divers modèles de langage aux réponses cérébrales de 345 volontaires, qui ont écouté des récits complexes tout en étant enregistrés par IRMf. Ces modèles ont été améliorés avec des prédictions à long terme pour suivre les prévisions dans le cerveau.
« Nos résultats montrent que des régions cérébrales spécifiques, telles que les cortex préfrontal et pariétal, sont mieux expliquées par des modèles de langage améliorés avec des représentations profondes de mots loin dans le futur. Ces résultats mettent en lumière l’organisation informatique du cerveau humain et sa nature intrinsèquement prédictive et ouvrent la voie à l’amélioration des modèles d’IA actuels », a-t-il déclaré.
ai.facebook.com; www.inria.fr; joliot.cea.fr
Related articles
- Baidu, Facebook and Microsoft work together on AI spec
- SpiNNaker neuromorphic supercomputer reaches one million cores
- Brain simulator AI platform processes 3 billion synapses/s
- Europe spends €3 million in neuromorphic R&D around SynSense
Si vous avez apprécié cet article, vous aimerez les suivants : ne les manquez pas en vous abonnant à :
