Le plateau technique de robotique humanoïde Nina est dédié au développement d'expérimentations innovantes autour d’interactions naturelles homme-robot. !Il est basé sur un robot de type iCub, modifié pour améliorer ses capacités à communiquer avec des partenaires humains (lèvres et mâchoire articulées, pavillons d'oreille, iris plus efficace...)

La gestion des tours de parole, la gestion du regard, le pointage d'objets du monde physique et leur synchronisation avec la parole sont tout particulièrement étudiés, dans le cadre de scénarios et de tâches à accomplir. Le moyen privilégié pour la collecte de données pertinentes est la télé-opération immersive du robot NINA, par un pilote équipé d'un casque de réalité virtuelle connecté aux capteurs du robot (caméra, microphones) et qui pilote les mouvements du robot (orientation de la tête et des yeux, articulation des lèvres...)

En plus de rendre possible la collecte répétitive de ces corpus dédiés à l'étude et à l’apprentissage de comportements socio-communicatifs, alors même que le robot n'est pas encore pourvu de modules temps réels pour le rendre autonome, le robot est aussi utile pour évaluer différents modèles d'interaction, ou l'adéquation de son apparence à la réalisation de tâches finalisées spécifiques.


 

Publications récentes asociées :

  • Data-Driven Control of Eye and Head movements for Triadic Human-Robot Interactions. Léa Haefflinger, Frédéric Elisei, Gérard Bailly. International Journal of Social Robotics, 2025. https://hal.science/hal-05046833v1/document
  • RoboTrio2: Annotated Interactions of a Teleoperated Robot and Human Dyads for Data-Driven Behavioral Models. Frédéric Elisei, Léa Haefflinger, Gérard Bailly. HHAI 2024 - Third International Conference on Hybrid Human-Artificial Intelligence (HHAI), Oct 2024, Malmö, Sweden. pp.84-92 https://cnrs.hal.science/hal-04905371v1
  • Probing the Inductive Biases of a Gaze Model for Multi-party Interaction. Léa Haefflinger, Frédéric Elisei, Brice Varini, Gérard Bailly. HRS 2024 - 2024 ACM/IEEE International Conference on Human-Robot Interaction (HRI '24), Mar 2024, Boulder, CO, United States. pp.507-511.  https://hal.science/hal-04510252v1/document
  • Data-Driven Generation of Eyes and Head Movements of a Social Robot in Multiparty Conversation. Léa Haefflinger, Frédéric Elisei, Béatrice Bouchot, Brice Varini, Gérard Bailly. ICSR 2023 - 15th International Conference on Social Robotics (ICSR 2023), Dec 2023, Doha, Qatar. pp.191-203. https://hal.science/hal-04335472v1/document

 

Moyens :

  • L’interconnexion avec le plateau technique Mical pour profiter des paradigmes et dispositifs de collecte de données déjà disponibles.
  • Un ingénieur de recherche dédié au développement logiciel du plateau (aspects robotiques, interconnexion avec le réseau de capteurs et services de la salle Mical) et à l'enrichissement de son matériel.
  • Les ateliers mécanique et électronique du laboratoire, en réseau avec les FabLab grenoblois, permettent d'assurer tant l'entretien que de nouveaux développements au service d'une meilleure interaction face-à-face et de sa validation (nouveaux iris pour le robot, nouveaux pavillons d'oreille...).
  • Le plateau technique Nina a été financé par le réseau Robotex et l'Université Joseph Fourrier et accueille plusieurs projets de recherche.
  • Le robot Furhat (depuis novembre 2019) permet lui aussi des expérimentations de face-à-face en temps-réel (interactions parole, regard, interaction avec des cartes...) Plusieurs outils temps-réel de machine learning permettent la mise en place rapide, avec pour objectif d'évaluer les modèles créés avec les données acquises en face de Nina
  • C'est un plateau ouvert, qui peut être réservé et utilisé par/pour des équipes hors laboratoire, dans le cadre de projets de recherche.

Vidéos