COGNITIVE ROBOTICS, INTERACTIVE SYSTEMS, & SPEECH PROCESSING
Responsable(s) d'équipe : Gérard BAILLY,
Thomas HUEBER
L’équipe CRISSP mène des recherches fondamentales et appliquées dans le domaine de la communication parlée. Nos travaux visent notamment :
- à capturer, analyser et modéliser les différents signaux verbaux et co-verbaux mis en jeu dans une situation d’interaction communicationnelle entre deux humains, ou entre un humain et un robot humanoïde.
- à mieux comprendre la production de la parole, en modélisant notamment les relations entre l’activité articulatoire (c’est-à-dire le mouvement de la langue, des lèvres, etc.), et le signal acoustique.
- à mieux comprendre les mécanismes de communication chez les personnes malentendantes
- à concevoir des outils technologiques pour la rééducation orthophonique, la suppléance vocale, le divertissement et les robots humanoïdes
Les 3 axes de recherches de l’équipe CRISSP sont :
- Robotique cognitive : développer les capacités socio-communicatives de robots humanoïdes communicants.
- Systèmes interactifs : développer des systèmes réactifs de communication « augmentée » exploitant des caractéristiques multimodales de la parole (son, vision, gestes).
- Traitement de la parole : étude de l’appareil de production de la parole (modélisation articulatoire-acoustique), synthèse vocale et conversion de voix.
Domaines d’expertises de l’équipe
- Traitement du signal audio (analyse, compression, filtrage, débruitage par séparation de sources, etc.) et en particulier le signal de parole (analyse, transformation, morphing, reconnaissance automatique, synthèse à partir du texte, synthèse articulatoire, inversion acoustico-articulatoire)
- Modélisation par apprentissage statistique (machine learning)
- Acquisition de données articulatoires (electrographie electromagnétique (EMA), imagerie ultrasonore, IRM, video rapide, EMG).
- Conception de protocoles expérimentaux nécessitant l’acquisition simultanée de différents signaux verbaux et co-verbaux sur un ou plusieurs humains en situation d’interaction (motion capture, eye-tracking, etc.)
Les membres
(photo prise le 18/12/2015)
Contact : Gérard Bailly et Thomas Hueber (e-mail : prenom.nom@gipsa-lab.fr)
Emilie Gerbier, Gérard Bailly, Marie-Line Bosse. Audio-visual synchronization in reading while listening to texts: Effects on visual behavior and verbal learning. Computer Speech and Language, Elsevier, 2018, 47 (january), pp.79-92. <10.1016/j.csl.2017.07.003>. <hal-01575227>
Explaining the Parameterized Wiener Filter with Alpha-Stable Processes
Mathieu Fontaine, Antoine Liutkus, Laurent Girin, Roland Badeau. Explaining the Parameterized Wiener Filter with Alpha-Stable Processes. IEEE Workshop on Applications of Signal Processing to Audio and Acoustics (WASPAA), Oct 2017, New Paltz, New York, United States. Proc. IEEE Workshop on Applications of Signal Processing to Audio and Acoustics (WASPAA), 2017, Proc. IEEE Workshop on Applications of Signal Processing to Audio and Acoustics (WASPAA). <http://www.waspaa.com/>. <hal-0154850
Exploiting the Intermittency of Speech for Joint Separation and Diarization
Dionyssos Kounades-Bastian, Laurent Girin, Xavier Alameda-Pineda, Radu Horaud, Sharon Gannot. Exploiting the Intermittency of Speech for Joint Separation and Diarization. IEEE Workshop on Applications of Signal Processing to Audio and Acoustics, Oct 2017, New Paltz, NY, United States. <hal-01568813>
Voir toutes les publications de l'équipe dans HAL