Le super calculateur Jean Zay héberge le modèle d’IA le plus avancé
BLOOM est un grand modèle de langage (LLM Large Language Model) avec plus de 176 milliards de paramètres et 341 milliards de mots, formé pour créer et continuer le texte à partir d’une invite sur de grandes quantités de données textuelles à l’aide de ressources informatiques à l’échelle industrielle. Celui-ci est capable de produire un texte cohérent dans 59 langues, dont le français, l’espagnol, le portugais et l’arabe pour la première fois, qui se distingue à peine de textes écrit par des humains, ainsi que 13 langages de programmation.
Cela a des implications importantes pour les outils de génération automatique de code.
Le modèle d’accès libre a été développé par le groupe BigScience de plus de 1 000 chercheurs de 60 pays et de plus de 250 institutions. Le modèle fonctionne sur le supercalculateur de 28 pétaflops Jean Zay (IDRIS) près de Paris, France.
Autres articles IA
-
Loamics s’allie à Microsoft France pour révolutionner l’Intelligence Artificielle
- Synopsys lance des IP de processeurs IA pour SoCs
- AI software platform enables giant model training
- Battle for the AI toolflow
- AI drives big data analytics for chip design
Les modèles de langage de programmation couvrent Rust, PyTorch, Tensorflow, mais BLOOM peut également être chargé d’effectuer des tâches de texte pour lesquelles ils n’a pas été explicitement formé, ainsi que des tâches de traitement d’image et audio.
« Bloom est capable de générer du texte dans 46 langues naturelles et dialectes et 13 langages de programmation », ont déclaré les chercheurs. « Bien qu’il n’ait jamais été formé à l’une de ces tâches spécifiques, on peut demander à Bloom de produire des résumés ou des traductions de texte, de générer du code à partir d’instructions et de suivre des invites pour effectuer des tâches originales telles que rédiger des recettes, extraire des informations d’un article de presse ou composer des phrases en utilisant un mot inventé nouvellement défini… La performance de Bloom continuera de s’améliorer à mesure que l’atelier continue d’expérimenter et d’avancer au-dessus de Bloom.
Le modèle est disponible avec une licence qui limite les abus, et il y a une transparence sur le matériel utilisé pour la formation du modèle. BLOOM est disponible sur le site Web de Hugging Face à l’adresse https://huggingface.co/
Si vous avez apprécié cet article, vous aimerez les suivants : ne les manquez pas en vous abonnant à :
