Etude de l'interaction face à face
Référent(s) scientifique(s) : Gerard BAILLY
La plateforme MICAL est une plate-forme hybride (hardware + software) dédiée à l'enregistrement et l'étude de l'interaction face-à-face.
En plus de proposer un certain nombre de capteurs pertinents (capture du regard de deux sujets, capture des mouvements de tête, caméras, microphones, prompteur vidéos...) elle permet de mettre le ou les sujets en situation de les produire et de les percevoir naturellement, sans briser la rétroaction ni transmettre de canaux autres que ceux enregistrés. Les capteurs sont conjugués à des moyens informatiques, de synthèse ou d'analyse, pilotés en temps-réel tant par du logiciel que par des comparses eux-mêmes instrumentés, dans deux salles séparées par une vitre semi-réfléchissante. On peut ainsi enregistrer de façon synchrone différents types de face-à-face (jeux de langage, manipulations autour de tâches coopératives...) entre un sujet humain et un comparse qui peut être représenté par un agent conversationnel incarné (clone 3D piloté en Magicien d'Oz ou par des modèles appris précédemment).
La plate-forme Mical est une plateforme ouverte, qui peut être réservée et utilisée par ou pour des équipes hors laboratoire, dans le cadre de programmes de recherche.
Depuis septembre 2013, la plateforme Mical héberge aussi le robot iCub2 (plateforme Nina) pour mettre ces modèles en situation :
Interaction face à face avec le robot NINA
Interaction face à face avec occulomètres, entre un sujet humain (gauche) et un comparse pilotant un clone 3D (droite)
Scénario de tâche coopérative (manipulations de cubes),
avec capture des mouvements de tête et occulomètre portable
Capture de mouvement pour le pilotage en temps réel d'un clone 3D par une comparse