Responsable technique
Frédéric ELISEI
Responsable scientifique
Gérard BAILLY
Plateformes associées
Mots Clés
face-à-face, regard, parole, multimodal, agents conversationnels
Le plateau technique MICAL est un plateau hybride (hardware + software) dédié à l’enregistrement et l’étude de l’interaction face-à-face. Ce plateau est principalement utilisé par les chercheurs du GIPSA-lab. Ouvert, il peut également être réservé et utilisé par ou pour des équipes hors laboratoire, dans le cadre de programmes de recherche.
Domaines disciplinaires
- Interaction homme–homme / homme–machine
- Sciences de la parole et de la communication
- Traitement du signal multimodal
Domaines applicatifs
- Robotique sociale et agents virtuels
- Sciences cognitives et comportementales
- Analyse des interactions et des comportements
Environnement technique et ressources associées
Le plateau MICAL propose un certain nombre de capteurs pertinents (capture du regard de deux sujets, capture des mouvements de tête, caméras, microphones, prompteur vidéos…). Il permet de mettre le ou les sujets en situation de les produire et de les percevoir naturellement, sans briser la rétroaction ni transmettre de canaux autres que ceux enregistrés. Les capteurs sont conjugués à des moyens informatiques, de synthèse ou d’analyse, pilotés en temps-réel tant par du logiciel que par des comparses eux-mêmes instrumentés, dans deux salles séparées par une vitre semi-réfléchissante. On peut ainsi enregistrer de façon synchrone différents types de face-à-face (jeux de langage, manipulations autour de tâches coopératives…) entre un sujet humain et un comparse qui peut être représenté par un agent conversationnel incarné (clone 3D piloté en Magicien d’Oz ou par des modèles appris précédemment).
Recherches associées
Sélection de publications
📄Gérard Bailly , Romain Legrand , Martin Lenglet , Frédéric Elisei , Maëva Garnier, et al. Emotags: Computer-Assisted Verbal Labelling of Expressive Audiovisual Utterances for Expressive Multimodal TTS. LREC-COLING 2024 – Joint International Conference on Computational Linguistics, Language Resources and Evaluation (LREC-COLING 2024), May 2024, Turin, Italy. pp.5689-5695. hal-04709149v1
📄Maëva Garnier, Eric Le Ferrand, Fabien Ringeval. Verbal and nonverbal feedback signals in response to increasing levels of miscommunication. Interspeech 2023 – 24th Annual Conference of the International Speech Communication Association, Aug 2023, Dublin, Ireland. hal-04380625v1
📄Loriane Koelsch, Frédéric Elisei, Ludovic Ferrand, Pierre Chausse, Gérard Bailly, et al. Impact of social presence of humanoid robots: does competence matter? ICSR 2021 – International Conference on Remote Sensing, Nov 2021, Singapore. hal-03411321v1