Usages
Humanoïde : distinguer téléopération, apprentissage et autonomie
L’article sur OmniH2O décrit l’intervention humaine dans la téléopération, l’apprentissage à partir de démonstrations et l’autonomie.
La téléopération en direct transmet une commande humaine pendant la tâche, les démonstrations fournissent des exemples à l’apprentissage, et l’exécution autonome confie l’action à une politique déployée sans commande humaine instantanée. Le moment où intervient l’humain constitue donc le premier critère de distinction.
Une commande humaine pendant la tâche
Le résumé de l’article OmniH2O: Universal and Dexterous Human-to-Humanoid Whole-Body Teleoperation and Learning indique qu’OmniH2O utilise la pose cinématique comme interface de commande commune. Les auteurs lui associent plusieurs modalités de contrôle d’un humanoïde de taille humaine doté de mains, notamment un casque VR, une instruction verbale et une caméra RGB. La téléopération en temps réel se reconnaît ici au maintien d’une commande humaine pendant l’action.
Des démonstrations utilisées en amont
Le même document indique qu’OmniH2O peut apprendre à partir de démonstrations téléopérées et annonce OmniH2O-6, un jeu de données de contrôle du corps entier comprenant six tâches quotidiennes. Dans ce cas, l’humain produit des exemples qui servent à l’apprentissage : son intervention précède l’exécution de la politique obtenue.
La chaîne décrite par les auteurs va de la simulation au robot réel. Elle comprend l’adaptation et l’augmentation à grande échelle de données de mouvements humains, puis l’imitation d’une politique enseignante afin d’obtenir une politique déployable avec peu de données issues des capteurs. Les récompenses d’apprentissage sont également conçues, d’après l’article, pour améliorer la robustesse et la stabilité.
Une exécution sans opérateur en direct
Les auteurs revendiquent une autonomie complète fondée soit sur les démonstrations téléopérées, soit sur une intégration avec des modèles tels que GPT-4. Une exécution peut donc être autonome même si des humains ont fourni auparavant les mouvements ou exemples utilisés pour l’apprentissage : ce qui compte pour la classer est l’absence de commande humaine instantanée pendant la tâche.
Le résumé rapporte des activités comme pratiquer plusieurs sports, déplacer ou manipuler des objets et interagir avec des humains, en téléopération ou en autonomie. Il ne précise toutefois pas, pour chaque tâche, le mode employé, le protocole, les conditions ni un taux de réussite. Ces exemples illustrent les capacités revendiquées pour OmniH2O, mais ne permettent ni de considérer chaque démonstration comme autonome ni de généraliser ces résultats à tous les humanoïdes.