COGNITIVE ROBOTICS, INTERACTIVE SYSTEMS, & SPEECH PROCESSING
Responsable(s) d'équipe : Gérard BAILLY,
Thomas HUEBER
L’équipe CRISSP mène des recherches fondamentales et appliquées dans le domaine de la communication parlée. Nos travaux visent notamment :
- à capturer, analyser et modéliser les différents signaux verbaux et co-verbaux mis en jeu dans une situation d’interaction communicationnelle entre deux humains, ou entre un humain et un robot humanoïde.
- à mieux comprendre la production de la parole, en modélisant notamment les relations entre l’activité articulatoire (c’est-à-dire le mouvement de la langue, des lèvres, etc.), et le signal acoustique.
- à mieux comprendre les mécanismes de communication chez les personnes malentendantes
- à concevoir des outils technologiques pour la rééducation orthophonique, la suppléance vocale, le divertissement et les robots humanoïdes
Les 3 axes de recherches de l’équipe CRISSP sont :
- Robotique cognitive : développer les capacités socio-communicatives de robots humanoïdes communicants.
- Systèmes interactifs : développer des systèmes réactifs de communication « augmentée » exploitant des caractéristiques multimodales de la parole (son, vision, gestes).
- Traitement de la parole : étude de l’appareil de production de la parole (modélisation articulatoire-acoustique), synthèse vocale et conversion de voix.
Domaines d’expertises de l’équipe
- Traitement du signal audio (analyse, compression, filtrage, débruitage par séparation de sources, etc.) et en particulier le signal de parole (analyse, transformation, morphing, reconnaissance automatique, synthèse à partir du texte, synthèse articulatoire, inversion acoustico-articulatoire)
- Modélisation par apprentissage statistique (machine learning)
- Acquisition de données articulatoires (electrographie electromagnétique (EMA), imagerie ultrasonore, IRM, video rapide, EMG).
- Conception de protocoles expérimentaux nécessitant l’acquisition simultanée de différents signaux verbaux et co-verbaux sur un ou plusieurs humains en situation d’interaction (motion capture, eye-tracking, etc.)
Les membres
(photo prise le 18/12/2015)
Contact : Gérard Bailly et Thomas Hueber (e-mail : prenom.nom@gipsa-lab.fr)
Le mensuel La Recherche publie un article sur les travaux en robotique sociale de l'équipe CRISSP. Cet article apporte des éclairages sur l'interaction homme-robot et les méthodes d'apprentissage des robots.
Handwriting Styles: Benchmarks and Evaluation Metrics
Omar Mohammed, Gérard Bailly, Damien Pellier. Handwriting Styles: Benchmarks and Evaluation Metrics. IEEE International Workshop on Deep and Transfer Learning, Oct 2018, Valencia, Spain. 〈hal-01900765〉
A variance modeling framework based on variational autoencoders for speech enhancement
Simon Leglaive, Laurent Girin, Radu Horaud. A variance modeling framework based on variational autoencoders for speech enhancement. IEEE International Workshop on Machine Learning for Signal Processing (MSLP 2018), Sep 2018, Aalborg, Denmark. 2018. 〈hal-01832826〉
A pilot study on Mandarin Cued Speech
Li Liu, Gang Feng. A pilot study on Mandarin Cued Speech. 2018. 〈hal-01845295〉
Voir toutes les publications de l'équipe dans HAL