Transcriptions

Ont été enregistrés : 3 canaux audio, 2 canaux vidéo dédiés à l'apprentissage et l'annotation + la vision stéréo subjective du robot (yeux et têtes mobiles), ainsi que tous les paramètres de mouvement (3 degrés de liberté pour le cou) et d'articulation (6 degrés de liberté pour la mâchoire et les lèvres) du robot. Cela représente plus de 8h d'enregistrement multimodal, qui vont exiger un grand travail d'annotation (semi-automatiques et manuelles).

Les échanges verbaux de chaque paire de sujets ont été retranscrits en 2019 au LPL :

Les mouvements de tête et les directions de regard ont été analysés au GIPSA-lab avec des modèles de Machine Learning appris spécifiquement. On exploite les 2 vues en caméra fixe pour d'abord apprendre à étiqueter ce qui est vu par le robot, puis faire l'étiquetage semi-automatique du corpus entier, puis générer un modèle (stage de Master de Juliette Rengot) pour la version autonome du robot qui n'utilisera plus que sa vue stéreo embarquée (2x 640x480) pour savoir si un joueur le regarde ou regarde son partenaire de jeu.

Le synthétiseur de la version autonome du robot utilisera les phrases récoltées sur les 23 expériences, en y substituant les éléments variables (thème en cours, propositions faites par les joueurs, scores obtenus...) La prosodie spécifique à cette tâche pourrait même être modélisée.

Dans le cadre d'une future thèse, les signaux captés et annotés (perception mais aussi action) pourraient donner lieu à la création d'un modèle de comportement, brique essentielle pour un robot social autonome. Il ne manquera plus qu'un module de perception temps-réel pour pouvoir le tester en vrai grandeur face à des joueurs humains.