Équipe

COGNITIVE ROBOTICS, INTERACTIVE SYSTEMS, & SPEECH PROCESSING
Responsable(s) d'équipe : Gérard BAILLYThomas HUEBER


Axes de recherche


Robotique cognitive




Notre approche :

Cet axe de recherche étudie à capturer, analyser et modéliser les différents signaux verbaux et co-verbaux (prosodie de la parole, expression faciale, geste manuel, regard, position de la tête et du buste, respiration,  etc.) mis en jeu dans une situation d’interaction face-à-face entre deux humains, entre un humain et un agent conversationnel animé (avatar), ou entre un humain et un robot humanoïde. Cet axe regroupe des recherches « fondamentales » visant notamment à mieux comprendre les différentes « boucles de perception/action » impliquées dans la communication humaine, et des recherches  plus « appliquées », visant à améliorer les capacités communicatives des robots humanoïdes communicants.

 

Dans la plupart des projets, nous adoptons l’approche suivante, qui peut se décomposer en 2 étapes :

  • Capturer un ensemble de signaux verbaux et co-verbaux lors d’une interaction face-à-face entre 2 individus (humain, avatar ou robot humanoïde), à l’aide de protocoles expérimentaux originaux impliquant la réalisation d’une tache finalisée et contrôlée (comme un jeu collaboratif), et d’un ensemble de capteurs (motion capture, eye-tracking, ceinture de respiration Biopack, etc.) répartis au sein de la plateforme expérimentale MICAL (contact : Frédéric Eliséi).
  • Modéliser le contenu et la structure temporelle de ces signaux à l’aide de différentes techniques d’apprentissage statistique (machine learning). Ces modèles sont utilisés 1) dans une perspective de « compréhension » pour mieux comprendre la structure de l’interaction communicationnelle (par exemple les phénomènes de « convergence » entre deux individus d’une même famille), et/ou 2) dans une perspective « d’action », pour améliorer le comportement socio-communicatif des robots humanoïdes (par exemple pour déterminer le moment le plus opportun pour qu’un robot prenne la parole).

 

Cet axe s’est récemment amplifié suite à l’acquisition d’une version modifiée du robot humanoïde iCub 2.0 construit par l’IIT Gênes (acquis dans le cadre du projet ROBOTEX), doté de 5 moteurs supplémentaires afin d'animer une mâchoire et des lèvres mobiles (voir photo ci-dessous).

 

 


GIPSA-lab, 11 rue des Mathématiques, Grenoble Campus BP46, F-38402 SAINT MARTIN D'HERES CEDEX - 33 (0)4 76 82 71 31