COGNITIVE ROBOTICS, INTERACTIVE SYSTEMS, & SPEECH PROCESSING
Responsable(s) d'équipe : Gérard BAILLY,
Thomas HUEBER
L’équipe CRISSP mène des recherches fondamentales et appliquées dans le domaine de la communication parlée. Nos travaux visent notamment :
- à capturer, analyser et modéliser les différents signaux verbaux et co-verbaux mis en jeu dans une situation d’interaction communicationnelle entre deux humains, ou entre un humain et un robot humanoïde.
- à mieux comprendre la production de la parole, en modélisant notamment les relations entre l’activité articulatoire (c’est-à-dire le mouvement de la langue, des lèvres, etc.), et le signal acoustique.
- à mieux comprendre les mécanismes de communication chez les personnes malentendantes
- à concevoir des outils technologiques pour la rééducation orthophonique, la suppléance vocale, le divertissement et les robots humanoïdes
Les 3 axes de recherches de l’équipe CRISSP sont :
- Robotique cognitive : développer les capacités socio-communicatives de robots humanoïdes communicants.
- Systèmes interactifs : développer des systèmes réactifs de communication « augmentée » exploitant des caractéristiques multimodales de la parole (son, vision, gestes).
- Traitement de la parole : étude de l’appareil de production de la parole (modélisation articulatoire-acoustique), synthèse vocale et conversion de voix.
Domaines d’expertises de l’équipe
- Traitement du signal audio (analyse, compression, filtrage, débruitage par séparation de sources, etc.) et en particulier le signal de parole (analyse, transformation, morphing, reconnaissance automatique, synthèse à partir du texte, synthèse articulatoire, inversion acoustico-articulatoire)
- Modélisation par apprentissage statistique (machine learning)
- Acquisition de données articulatoires (electrographie electromagnétique (EMA), imagerie ultrasonore, IRM, video rapide, EMG).
- Conception de protocoles expérimentaux nécessitant l’acquisition simultanée de différents signaux verbaux et co-verbaux sur un ou plusieurs humains en situation d’interaction (motion capture, eye-tracking, etc.)
Les membres
(photo prise le 18/12/2015)
Contact : Gérard Bailly et Thomas Hueber (e-mail : prenom.nom@gipsa-lab.fr)
Nous souhaitons la bienvenue à Anne-Laure PIAT-MARCHAND qui a rejoint l'équipe CRISSP en CDD en tant qu'Ingénieure d'étude depuis le 2 mai 2019 et jusqu'au 30 avril 2020. Elle sera encadrée par Gérard BAILLY et travaillera sur le domaine de l'Evaluation automatique de la fluence de jeunes lecteurs.
Politesse, civilité...les robots en quête de savoir-vivre: leur apprendre... à échanger par le regard
Importance de la mobilité des yeux des robots sociaux.
A qui je parle ? Qu’est-ce qui retient mon attention ? Jusqu’à présent, la plupart des robots étaient dépourvus d’yeux ou possédaient des orbites fixes, ce qui rendait impossible de savoir précisément ce qu’ils regardaient… « Si on veut rendre l’interaction homme/machine plus efficace, il va falloir intégrer la dimension du regard pour voir si le robot avec lequel vous échangez fixe vos yeux, votre corps ou un objet de son environnement », explique Gérard Bailly, directeur de recherche au CNRS
Audio-noise Power Spectral Density Estimation Using Long Short-term Memory
Xiaofei Li, Simon Leglaive, Laurent Girin, Radu Horaud. Audio-noise Power Spectral Density Estimation Using Long Short-term Memory. IEEE Signal Processing Letters, Institute of Electrical and Electronics Engineers, 2019, 26 (6), pp.918-922. ⟨10.1109/LSP.2019.2911879⟩. ⟨hal-02100059⟩
Multichannel Online Dereverberation based on Spectral Magnitude Inverse Filtering
Xiaofei Li, Laurent Girin, Sharon Gannot, Radu Horaud. Multichannel Online Dereverberation based on Spectral Magnitude Inverse Filtering. IEEE/ACM Transactions on Audio, Speech and Language Processing, Institute of Electrical and Electronics Engineers, 2019. ⟨hal-01969041⟩
A Spectral Glottal Flow Model for Source-filter Separation of Speech
Olivier Perrotin, Ian Mcloughlin. A Spectral Glottal Flow Model for Source-filter Separation of Speech. IEEE International Conference on Acoustics, Speech and Signal Processing (ICASSP), May 2019, Brighton, United Kingdom. pp.7160-7164, ⟨10.1109/ICASSP.2019.8682625⟩. ⟨hal-02106450⟩
Voir toutes les publications de l'équipe dans HAL