Nvidia renforce la formation à l’IA pour les robots humanoïdes
Nvidia fournit ses services et modèles d’IA aux fabricants de robots pour la prochaine génération de robots humanoïdes de la plupart des grands développeurs.
Nvidia a développé de nouveaux microservices et cadres d’IA pour les robots humanoïdes dans le cadre de son offre NIMS lancée au début de l’année, ainsi que la plateforme Jetson Thor qui exécute l’IA sur une variante du GPU Blackwell.
Ils seront utilisés par 1x, Boston Dynamics, ByteDance Research, Field AI, Figure, Fourier, Galbot, LimX Dynamics, Mentee, Neura Robotics, RobotEra et Skild AI, qui ont tous adhéré à un nouveau programme de développement de robots humanoïdes offrant un accès anticipé à une série de nouveaux outils, dont les modèles de base du projet Gr00t.
La société Nvidia a également mis au point un service d’orchestration appelé Osmo pour l’exécution de charges de travail robotiques en plusieurs étapes, ainsi qu’un flux de travail de téléopération basé sur l’IA et la simulation qui permet aux développeurs de former des robots en utilisant de petites quantités de données de démonstration humaine.
» La prochaine vague de l’IA est la robotique et l’un des développements les plus excitants est celui des robots humanoïdes « , a déclaré Jensen Huang, fondateur et CEO de NVIDIA. « Nous faisons progresser l’ensemble de la pile robotique de NVIDIA, ouvrant l’accès aux développeurs et aux entreprises humanoïdes du monde entier pour qu’ils utilisent les plates-formes, les bibliothèques d’accélération et les modèles d’IA les mieux adaptés à leurs besoins. «
Les microservices NIM accélèrent les développements
Les microservices NIM fournissent des conteneurs Docker préconstruits avec le logiciel d’inférence de Nvidia pour réduire les temps de déploiement de plusieurs semaines à quelques minutes. Deux nouveaux microservices d’IA permettront aux roboticiens d’améliorer les flux de travail de simulation pour l’IA physique générative dans Isaac Sim, une application de référence pour la simulation robotique construite sur la plateforme Omniverse.
Le microservice MimicGen NIM génère des données de mouvement synthétiques basées sur des données téléopérées enregistrées à partir de dispositifs informatiques spatiaux tels que Apple Vision Pro. Le microservice Robocasa NIM génère des tâches robotiques et des environnements prêts pour la simulation dans OpenUSD, un cadre universel pour le développement et la collaboration dans des mondes en 3D.
Osms est un service géré dans le cloud qui permet aux utilisateurs d’orchestrer et de mettre à l’échelle des flux de travail complexes de développement robotique sur des ressources informatiques distribuées, que ce soit sur place ou dans le nuage.
Cela simplifie considérablement la formation des robots et les flux de travail de simulation, réduisant les cycles de déploiement et de développement de plusieurs mois à moins d’une semaine. Les utilisateurs peuvent visualiser et gérer une série de tâches, telles que la génération de données synthétiques, l’entraînement de modèles, l’apprentissage par renforcement et la mise en œuvre de tests en boucle à l’échelle pour les humanoïdes, les robots mobiles autonomes et les manipulateurs industriels.
La formation de modèles de base pour les robots humanoïdes nécessite une quantité incroyable de données. La téléopération est l’un des moyens de recueillir des données de démonstration humaine, mais ce processus devient de plus en plus coûteux et de plus en plus long.
Robot humanoïde Flux de travail de l’IA
Un flux de travail de référence pour la téléopération, présenté lors de la conférence SIGGRAPH sur l’infographie, permet aux chercheurs et aux développeurs d’IA de générer des quantités massives de données synthétiques de mouvement et de perception à partir d’un nombre minimal de démonstrations humaines capturées à distance.
Tout d’abord, les développeurs utilisent Apple Vision Pro pour capturer un petit nombre de démonstrations téléopérées. Ils simulent ensuite les enregistrements dans Isaac Sim et utilisent le microservice MimicGen NIM pour générer des ensembles de données synthétiques à partir des enregistrements.
Les développeurs forment le modèle de base humanoïde du projet GR00T à l’aide de données réelles et synthétiques, ce qui leur permet de gagner du temps et de réduire les coûts. Ils utilisent ensuite le microservice Robocasa NIM dans Isaac Lab, un cadre pour l’apprentissage des robots, afin de générer des expériences pour entraîner à nouveau le modèle de robot. Tout au long du flux de travail, NVIDIA OSMO affecte de manière transparente les tâches informatiques aux différentes ressources, épargnant ainsi aux développeurs des semaines de tâches administratives.
Fourier, une société spécialisée dans les plates-formes robotiques à usage général, voit l’avantage d’utiliser la technologie de simulation pour générer synthétiquement des données de formation.
« Le développement de robots humanoïdes est extrêmement complexe et nécessite une quantité incroyable de données réelles, capturées de façon fastidieuse dans le monde réel « , a déclaré Alex Gu, CEO de Fourier. « Les nouveaux outils de simulation et de développement d’IA générative de NVIDIA nous aideront à démarrer et à accélérer nos workflows de développement de modèles « .
Les superordinateurs Nvidia AI sont utilisés pour former les modèles, tandis que l’Isaac Sim permet aux robots d’apprendre et d’affiner leurs compétences dans des mondes simulés, et que les ordinateurs du robot humanoïde Jetson Thor font fonctionner les modèles.
« Boston Dynamics et Nvidia collaborent étroitement depuis longtemps pour repousser les limites du possible en matière de robotique », a déclaré Aaron Saunders, directeur de la technologie chez Boston Dynamics. « Nous sommes très enthousiastes à l’idée de voir les fruits de ce travail accélérer l’industrie dans son ensemble, et le programme d’accès anticipé est un moyen fantastique d’accéder à une technologie de premier ordre. »
Les développeurs peuvent dès à présent rejoindre le programme Nvidia Humanoid Robot Developer Programme pour accéder à Osmo et Isaac Lab, et auront bientôt accès aux microservices NIM.
Si vous avez apprécié cet article, vous aimerez les suivants : ne les manquez pas en vous abonnant à :
