Responsable technique
Frédéric ELISEI
Responsable scientifique
Gérard BAILLY
Plateformes associées
Mots Clés
robotique humanoïde, robotique sociale, parole et cognition, comportements multimodaux, téléopération immersive, réalité virtuelle, analyse du regard, interaction multimodale
Le plateau technique de robotique humanoïde Nina est dédié au développement d’expérimentations innovantes autour d’interactions naturelles homme-robot. Une attention plus particulière est portée à la gestion des tours de parole, la gestion du regard, le pointage d’objets du monde physique et leur synchronisation avec la parole. Il est principalement utilisé par les chercheurs du GIPSA-lab, dans le cadre de plusieurs projets de recherche, ou d’autres laboratoires sur réservation.
Domaines disciplinaires
- Interaction homme–robot
- Parole, langage et cognition
- Intelligence artificielle / apprentissage
Domaines applicatifs
- Robotique sociale
- Interfaces homme-machine avancées
- Sciences humaines et sociales
Environnement technique et ressources associées
Le plateau est basé sur deux robots :
- un robot de type iCub, baptisé NINA, modifié pour améliorer ses capacités à communiquer avec des partenaires humains (lèvres et mâchoire articulées, pavillons d’oreille, iris plus efficace…).
- un robot Furhat (depuis novembre 2019) pour des expérimentations de face-à-face en temps-réel (interactions parole, regard, interaction avec des cartes…)
Expérimentations avec NINA
En plus de rendre possible la collecte répétitive de ces corpus dédiés à l’étude et à l’apprentissage de comportements socio-communicatifs, alors même que le robot n’est pas encore pourvu de modules temps réels pour le rendre autonome, le robot est aussi utile pour évaluer différents modèles d’interaction, ou l’adéquation de son apparence à la réalisation de tâches finalisées spécifiques.
Expérimentations avec le robot FURHAT
Le robot Furhat permet lui aussi des expérimentations de face-à-face en temps-réel (interactions parole, regard, interaction avec des cartes…) Plusieurs outils temps-réel de machine learning permettent la mise en place rapide, avec pour objectif d’évaluer les modèles créés avec les données acquises en face de NINA.
Moyens
Le plateau bénéfice :
- de l’interconnexion avec le plateau technique Mical, pour profiter des paradigmes et dispositifs de collecte de données déjà disponibles.
- d’un ingénieur de recherche dédié au développement logiciel du plateau (aspects robotiques, interconnexion avec le réseau de capteurs et services de la salle Mical) et à l’enrichissement de son matériel.
- des ateliers mécanique et électronique du laboratoire, en réseau avec les FabLab grenoblois, qui permettent d’assurer tant l’entretien que de nouveaux développements au service d’une meilleure interaction face-à-face et de sa validation (nouveaux iris pour le robot, nouveaux pavillons d’oreille…).
Robotique humanoïde en images
D’autres vidéos sont disponibles sur :
- Reportage vidéo de Sciences et Avenir
- Vidéos des projets de recherche en cours ou passés sur le projet NINA
Recherches associées
Publications scientifiques
📄Léa Haefflinger, Frédéric Elisei, Gérard Bailly. Data-Driven Control of Eye and Head movements for Triadic Human-Robot Interactions. International Journal of Social Robotics, 2025. hal-05046833v1
📄Frédéric Elisei, Léa Haefflinger, Gérard Bailly. RoboTrio2: Annotated Interactions of a Teleoperated Robot and Human Dyads for Data-Driven Behavioral Models. HHAI 2024 – Third International Conference on Hybrid Human-Artificial Intelligence (HHAI), Oct 2024, Malmö, Sweden. pp.84-92. hal-04905371v1
📄Léa Haefflinger, Frédéric Elisei, Brice Varini, Gérard Bailly. Probing the Inductive Biases of a Gaze Model for Multi-party Interaction. HRS 2024 – 2024 ACM/IEEE International Conference on Human-Robot Interaction (HRI ’24), Mar 2024, Boulder, CO, United States. pp.507-511. hal-04335472v1
📄Léa Haefflinger, Frédéric Elisei, Béatrice Bouchot, Brice Varini, Gérard Bailly. Data-Driven Generation of Eyes and Head Movements of a Social Robot in Multiparty Conversation. ICSR 2023 – 15th International Conference on Social Robotics (ICSR 2023), Dec 2023, Doha, Qatar. pp.191-203. hal-04510252v1
Financements