COGNITIVE ROBOTICS, INTERACTIVE SYSTEMS, & SPEECH PROCESSING
Responsable(s) d'équipe : Gérard BAILLY,
Thomas HUEBER
L’équipe CRISSP mène des recherches fondamentales et appliquées dans le domaine de la communication parlée. Nos travaux visent notamment :
- à capturer, analyser et modéliser les différents signaux verbaux et co-verbaux mis en jeu dans une situation d’interaction communicationnelle entre deux humains, ou entre un humain et un robot humanoïde.
- à mieux comprendre la production de la parole, en modélisant notamment les relations entre l’activité articulatoire (c’est-à-dire le mouvement de la langue, des lèvres, etc.), et le signal acoustique.
- à mieux comprendre les mécanismes de communication chez les personnes malentendantes
- à concevoir des outils technologiques pour la rééducation orthophonique, la suppléance vocale, le divertissement et les robots humanoïdes
Les 3 axes de recherches de l’équipe CRISSP sont :
- Robotique cognitive : développer les capacités socio-communicatives de robots humanoïdes communicants.
- Systèmes interactifs : développer des systèmes réactifs de communication « augmentée » exploitant des caractéristiques multimodales de la parole (son, vision, gestes).
- Traitement de la parole : étude de l’appareil de production de la parole (modélisation articulatoire-acoustique), synthèse vocale et conversion de voix.
Domaines d’expertises de l’équipe
- Traitement du signal audio (analyse, compression, filtrage, débruitage par séparation de sources, etc.) et en particulier le signal de parole (analyse, transformation, morphing, reconnaissance automatique, synthèse à partir du texte, synthèse articulatoire, inversion acoustico-articulatoire)
- Modélisation par apprentissage statistique (machine learning)
- Acquisition de données articulatoires (electrographie electromagnétique (EMA), imagerie ultrasonore, IRM, video rapide, EMG).
- Conception de protocoles expérimentaux nécessitant l’acquisition simultanée de différents signaux verbaux et co-verbaux sur un ou plusieurs humains en situation d’interaction (motion capture, eye-tracking, etc.)
Les membres
(photo prise le 18/12/2015)
Contact : Gérard Bailly et Thomas Hueber (e-mail : prenom.nom@gipsa-lab.fr)
Charlie est le nouveau robot de la plateforme Mical du GIPSA-lab. Basé sur un écran motorisé en forme de visage, il sait détecter ses partenaires de dialogue (visages ou direction de la voix) pour s’orienter vers eux, afficher des expressions et synthétiser/reconnaître le français ou l’anglais. Il est facile à transporter, y compris hors du laboratoire, et va permettre de tester plus facilement les modèles d’interaction dérivés des données acquises via la téléopération immersive du robot Nina.
Motion planning for robot audition
Quan V. Nguyen, Francis Colas, Emmanuel Vincent, François Charpillet. Motion planning for robot audition. Autonomous Robots, Springer Verlag, 2019, 43 (8), pp.2293-2317. ⟨10.1007/s10514-019-09880-1⟩. ⟨hal-02188342⟩
Audio-visual Speech Enhancement Using Conditional Variational Auto-Encoder
Mostafa Sadeghi, Simon Leglaive, Xavier Alameda-Pineda, Laurent Girin, Radu Horaud. Audio-visual Speech Enhancement Using Conditional Variational Auto-Encoder. 2019. ⟨hal-02364900⟩
Variational Bayesian Inference for Audio-Visual Tracking of Multiple Speakers
Yutong Ban, Xavier Alameda-Pineda, Laurent Girin, Radu Horaud. Variational Bayesian Inference for Audio-Visual Tracking of Multiple Speakers. IEEE Transactions on Pattern Analysis and Machine Intelligence, Institute of Electrical and Electronics Engineers, 2019, 42, pp.1-17. ⟨10.1109/TPAMI.2019.2953020⟩. ⟨hal-01950866v2⟩
Voir toutes les publications de l'équipe dans HAL