Le projet ROBEA HR+

Le contexte et le prétexte

  L'ICP participe au projet HR+ (Homme Robot +) du programme national ROBEA (Robotique et entités artificielles). Nos partenaires sont le laboratoire LAAS à Toulouse, et le laboratoire GRAVIR à Montbonnot. Le service prétexte concerne un robot-guide de musée, qui travaillerait en collaboration avec l'homme, d'abord pour découvrir le site et ses oeuvres, puis pour le faire visiter et aider les personnes.

  Par rapport à une borne interactive (fixe et avec un écran tactile), il offre l'avantage d'être mobile. Avec un écran LCD pour afficher les informations nécessaires et de nombreux capteurs pour appréhender le monde et les personnes proches, on vise à animer un clone parlant convivial, réactif et intégré.

Le robot et son clone sont présents régulièrement à la cité de l'espace.

Objectifs spécifiques de l'ICP

  Dans ce cadre, le but est de transformer les clones parlants que nous savons modéliser à l'ICP en clones communicants, conscients de leur interlocuteur et des objets existants (dans un paradigme de réalitée partagée). Celui-ci doit aussi capter les signes d'intérêt de la machine, qui doivent être intuitifs, et repliquer autant que possible ceux auxquels on est habitués dans la communication interpersonnelle, pour éviter un apprentissage spécifique et interpeller nos reflexes naturels.

  Un des axes pour humaniser le face-à-face clone-humain passe par le contrôle et la gestion du regard. C'est le eye-contact qui certifie que le clone ne parle pas dans le vide, mais à un interlocuteur privilégié. C'est par le regard et les gestes du corps qu'on va aussi désigner les objets d'intérêts communs au cours de la discussion, qu'ils soient dans le monde réel de l'homme ou dans l'interface graphique du clone.

Méthodologie

  Dans un premier temps, on va collecter des signaux d'interaction réelle et mettre en situation notre clone ou nos interlocuteurs pour étudier leur face-à-face naturel.

Deux manipulations et plate-forme d'expérimentation sont déjà fonctionnelles :

• Utilisation d'un oculomètre :

  Un appareillage non-invasif (éclairage et caméra infrarouges cachés dans un écran LCD) permet au clone de savoir si on le regarde, ou quel icône est scruté. En regardant son interlocuteur et l'endroit où se pose le regard humain, il fait comprendre qu'il est conscient de son interlocuteur et de son centre d'intérêt. Lorsque le clone parle pour donner des informations, à la façon d'une borne interactive sans souris, il peut regarder son interlocuteur activement.

• Utilisation d'un écran motorisé :

  Un écran LCD est monté sur une plateforme motorisée pilotable. Le clone qui s'affiche dessus peut donc s'orienter comme s'il avait un buste, pour suivre un locuteur ou pointer son regard vers des objets du monde réel. Une caméra (et bientôt des micros) situés sur l'écran lui permettent de percevoir et d'analyser la scène.

  Ces dispositifs d'acquisition et de mise en situation vont aussi permettre de capturer et de modéliser des mouvements réels du cou et des yeux. Un second oculomètre devrait bientôt pouvoir être utilisé pour des dialogues face-à-face médiatisés.

Vidéos

Clone articulé	Suivi du regard et interaction 2D	Suivi du locuteur pour interaction 3D
(fichier AVI, 4,5 Mo)	(fichier AVI, 7,0 Mo)	(fichier AVI, 10,5 Mo)
Le clone possède les degrés de liberté nécessaires pour la parole, pour tourner le cou, et pour orienter son regard.	La direction du regard de l'interlocuteur guide leur interaction (gestes et parole ne sont pas encore perçus).	La caméra située au dessus de l'écran permet de suivre le locuteur, en pilotant le cou et le regard du clone ainsi que les moteurs de la plateforme.