COGNITIVE ROBOTICS, INTERACTIVE SYSTEMS, & SPEECH PROCESSING
Responsable(s) d'équipe : Gérard BAILLY,
Thomas HUEBER
L’équipe CRISSP mène des recherches fondamentales et appliquées dans le domaine de la communication parlée. Nos travaux visent notamment :
- à capturer, analyser et modéliser les différents signaux verbaux et co-verbaux mis en jeu dans une situation d’interaction communicationnelle entre deux humains, ou entre un humain et un robot humanoïde.
- à mieux comprendre la production de la parole, en modélisant notamment les relations entre l’activité articulatoire (c’est-à-dire le mouvement de la langue, des lèvres, etc.), et le signal acoustique.
- à mieux comprendre les mécanismes de communication chez les personnes malentendantes
- à concevoir des outils technologiques pour la rééducation orthophonique, la suppléance vocale, le divertissement et les robots humanoïdes
Les 3 axes de recherches de l’équipe CRISSP sont :
- Robotique cognitive : développer les capacités socio-communicatives de robots humanoïdes communicants.
- Systèmes interactifs : développer des systèmes réactifs de communication « augmentée » exploitant des caractéristiques multimodales de la parole (son, vision, gestes).
- Traitement de la parole : étude de l’appareil de production de la parole (modélisation articulatoire-acoustique), synthèse vocale et conversion de voix.
Domaines d’expertises de l’équipe
- Traitement du signal audio (analyse, compression, filtrage, débruitage par séparation de sources, etc.) et en particulier le signal de parole (analyse, transformation, morphing, reconnaissance automatique, synthèse à partir du texte, synthèse articulatoire, inversion acoustico-articulatoire)
- Modélisation par apprentissage statistique (machine learning)
- Acquisition de données articulatoires (electrographie electromagnétique (EMA), imagerie ultrasonore, IRM, video rapide, EMG).
- Conception de protocoles expérimentaux nécessitant l’acquisition simultanée de différents signaux verbaux et co-verbaux sur un ou plusieurs humains en situation d’interaction (motion capture, eye-tracking, etc.)
Les membres
(photo prise le 18/12/2015)
Contact : Gérard Bailly et Thomas Hueber (e-mail : prenom.nom@gipsa-lab.fr)
Motion planning for robot audition
Quan V. Nguyen, Francis Colas, Emmanuel Vincent, François Charpillet. Motion planning for robot audition. Autonomous Robots, Springer Verlag, 2019, 43 (8), pp.2293-2317. ⟨10.1007/s10514-019-09880-1⟩. ⟨hal-02188342⟩
Variational Bayesian Inference for Audio-Visual Tracking of Multiple Speakers
Yutong Ban, Xavier Alameda-Pineda, Laurent Girin, Radu Horaud. Variational Bayesian Inference for Audio-Visual Tracking of Multiple Speakers. IEEE Transactions on Pattern Analysis and Machine Intelligence, Institute of Electrical and Electronics Engineers, 2019, 42, pp.1-17. ⟨10.1109/TPAMI.2019.2953020⟩. ⟨hal-01950866v2⟩
Audio-Visual Variational Fusion for Multi-Person Tracking with Robots
Xavier Alameda-Pineda, Soraya Arias, Yutong Ban, Guillaume Delorme, Laurent Girin, et al.. Audio-Visual Variational Fusion for Multi-Person Tracking with Robots. ACMMM 2019 - 27th ACM International Conference on Multimedia, Oct 2019, Nice, France. pp.1059-1061, ⟨10.1145/3343031.3350590⟩. ⟨hal-02354514⟩
Voir toutes les publications de l'équipe dans HAL