Plateau Technique Robotique Humanoïde : NINA

Plateau Technique Robotique Humanoïde : NINA

Responsable technique

Frédéric ELISEI

Responsable scientifique

Gérard BAILLY

Mots Clés

robotique humanoïde, robotique sociale, parole et cognition, comportements multimodaux, téléopération immersive, réalité virtuelle, analyse du regard, interaction multimodale

Le plateau technique de robotique humanoïde Nina est dédié au développement d’expérimentations innovantes autour d’interactions naturelles homme-robot. Une attention plus particulière est portée à la gestion des tours de parole, la gestion du regard, le pointage d’objets du monde physique et leur synchronisation avec la parole. Il est principalement utilisé par les chercheurs du GIPSA-lab, dans le cadre de  plusieurs projets de recherche, ou d’autres laboratoires sur réservation.

Domaines disciplinaires

  • Interaction homme–robot
  • Parole, langage et cognition
  • Intelligence artificielle / apprentissage

Domaines applicatifs

  • Robotique sociale
  • Interfaces homme-machine avancées
  • Sciences humaines et sociales

Environnement technique et ressources associées

Le plateau est basé sur deux robots :

  • un robot de type iCub, baptisé NINA, modifié pour améliorer ses capacités à communiquer avec des partenaires humains (lèvres et mâchoire articulées, pavillons d’oreille, iris plus efficace…).
  • un robot Furhat (depuis novembre 2019) pour des expérimentations de face-à-face en temps-réel (interactions parole, regard, interaction avec des cartes…)

Expérimentations avec NINA

La gestion des tours de parole, la gestion du regard, le pointage d’objets du monde physique et leur synchronisation avec la parole sont tout particulièrement étudiés avec NINA, dans le cadre de scénarios et de tâches à accomplir. Le moyen privilégié pour la collecte de données pertinentes est la télé-opération immersive du robot NINA, par un pilote équipé d’un casque de réalité virtuelle connecté aux capteurs du robot (caméra, microphones) et qui pilote les mouvements du robot (orientation de la tête et des yeux, articulation des lèvres…).
 

En plus de rendre possible la collecte répétitive de ces corpus dédiés à l’étude et à l’apprentissage de comportements socio-communicatifs, alors même que le robot n’est pas encore pourvu de modules temps réels pour le rendre autonome, le robot est aussi utile pour évaluer différents modèles d’interaction, ou l’adéquation de son apparence à la réalisation de tâches finalisées spécifiques.

Expérimentations avec le robot FURHAT

Le robot Furhat permet lui aussi des expérimentations de face-à-face en temps-réel (interactions parole, regard, interaction avec des cartes…) Plusieurs outils temps-réel de machine learning permettent la mise en place rapide, avec pour objectif d’évaluer les modèles créés avec les données acquises en face de NINA.

Moyens

Le plateau bénéfice : 

  • de l’interconnexion avec le plateau technique Mical, pour profiter des paradigmes et dispositifs de collecte de données déjà disponibles.
  • d’un ingénieur de recherche dédié au développement logiciel du plateau (aspects robotiques, interconnexion avec le réseau de capteurs et services de la salle Mical) et à l’enrichissement de son matériel.
  • des ateliers mécanique et électronique du laboratoire, en réseau avec les FabLab grenoblois, qui permettent d’assurer tant l’entretien que de nouveaux développements au service d’une meilleure interaction face-à-face et de sa validation (nouveaux iris pour le robot, nouveaux pavillons d’oreille…).

Robotique humanoïde en images

D’autres vidéos sont disponibles sur :

Recherches associées

Publications scientifiques

📄Léa Haefflinger, Frédéric Elisei, Gérard Bailly. Data-Driven Control of Eye and Head movements for Triadic Human-Robot Interactions. International Journal of Social Robotics, 2025. hal-05046833v1

📄Frédéric Elisei, Léa Haefflinger, Gérard Bailly. RoboTrio2: Annotated Interactions of a Teleoperated Robot and Human Dyads for Data-Driven Behavioral Models. HHAI 2024 – Third International Conference on Hybrid Human-Artificial Intelligence (HHAI), Oct 2024, Malmö, Sweden. pp.84-92. hal-04905371v1

📄Léa Haefflinger, Frédéric Elisei, Brice Varini, Gérard Bailly. Probing the Inductive Biases of a Gaze Model for Multi-party Interaction. HRS 2024 – 2024 ACM/IEEE International Conference on Human-Robot Interaction (HRI ’24), Mar 2024, Boulder, CO, United States. pp.507-511. hal-04335472v1

📄Léa Haefflinger, Frédéric Elisei, Béatrice Bouchot, Brice Varini, Gérard Bailly. Data-Driven Generation of Eyes and Head Movements of a Social Robot in Multiparty Conversation. ICSR 2023 – 15th International Conference on Social Robotics (ICSR 2023), Dec 2023, Doha, Qatar. pp.191-203. hal-04510252v1

Financements

Précédent Plateau Technique Robotme

11 rue des Mathématiques             

38402 Saint-Martin-d’Hères

Lun – Ven : 7:30 – 19:00

Newsletter du GIPSA-lab

La newsletter GIPSA-lab apporte des informations sur les activités et la vie du laboratoire (À venir).

GIPSA-lab - Service SI-Web © 2026 Tous droits réservés.