Technologies
Écart simulation-réalité : pourquoi la locomotion d’un humanoïde peut échouer sur le matériel
Les travaux cités associent une commande à fréquence suffisamment élevée, des dynamiques variées et des perturbations pour transférer un contrôleur, et évaluent aussi l’ajustement d’un simulateur à partir de trajectoires réelles.
Un simulateur physique résout des équations différentielles pour représenter les mouvements et les interactions dans un monde virtuel. Comme les modèles physiques construits à la main ne correspondent pas exactement au réel, la simulation d’un robot marchant sur un matelas doit notamment prendre en compte la déformation du support.
Un contrôleur peut donc réussir en simulation puis échouer sur le matériel lorsque la physique calculée ne reproduit pas assez fidèlement la dynamique du robot réel. Dans les expériences citées, la combinaison d’une commande à fréquence suffisamment élevée, d’une diversification ciblée des dynamiques et de perturbations pendant l’entraînement a permis un transfert de bonne qualité, tandis que l’ajustement du simulateur à partir de trajectoires réelles constitue une méthode évaluée sur des tâches de locomotion robotique.
Préparer le contrôleur aux variations du réel
Dans Learning Agile Soccer Skills for a Bipedal Robot with Deep Reinforcement Learning, Google DeepMind rapporte l’entraînement en simulation d’un humanoïde miniature pour un match de football simplifié à un contre un. Le contrôleur a ensuite été transféré sur des robots réels sans nouvel entraînement. Les auteurs attribuent la qualité de ce transfert à la combinaison d’une commande à fréquence suffisamment élevée, d’une diversification ciblée des dynamiques et de perturbations appliquées pendant l’apprentissage.
Face à un contrôleur programmé servant de référence, l’agent a marché 181 % plus vite, tourné 302 % plus vite, mis 63 % moins de temps à se relever et frappé le ballon 34 % plus vite lors des expériences rapportées. Ces mesures comparent l’agent à cette référence dans les expériences rapportées sur le robot footballeur.
Corriger le simulateur avec des trajectoires réelles
SimGAN traite le simulateur physique comme un composant ajustable. Sa fonction de récompense pénalise les écarts entre les trajectoires produites en simulation et un petit nombre de trajectoires recueillies sur des robots réels. La méthode combine des réseaux de neurones ajustables et des équations physiques analytiques pour équilibrer capacité de représentation et cohérence physique.
Sur les tâches de locomotion robotique considérées, les auteurs indiquent que la méthode a dépassé plusieurs références, dont la diversification des domaines. L’extrait disponible ne fournit toutefois ni résultat chiffré ni preuve propre à un humanoïde pour cette méthode.