Vers une communication parlée silencieuse

Le dispositif de communication sur lequel travaille Thomas HUEBER (1) capture les mouvements des articulateurs au moment de la production de parole, les interprète et les retranscrit en un signal de parole de synthèse.
Depuis les années 2000, plusieurs techniques ont été explorées pour capturer les indices d’une parole prononcée de façon « inaudibles » et pour les transformer en un signal de parole « audible » (2). Ces techniques sont basées par exemple sur la capture de l’activité électrique des muscles de la face et du cou par électromyographie de surface (3) ou sur l’amplification des microflux d’air capturés par microphonie stéthoscopique (4).
L’approche développée par Thomas HUEBER au GIPSA-lab repose sur la combinaison de deux systèmes d’imagerie. Une sonde ultrasonore (échographie), placée sous la mâchoire du locuteur, fournit une image de l’intérieur de la cavité buccale et des configurations successives de la langue pendant l‘articulation silencieuse. Dans le même temps, une caméra vidéo enregistre les mouvements des lèvres.
Il s’agit ensuite d’élaborer les outils qui vont permettre la synthèse d'un signal de parole audible, uniquement à partir de ces données visuelles. Lors d’une phase d’apprentissage, les mouvements articulatoires d’un sujet sont enregistrés avec le signal audio correspondant. Des algorithmes mathématiques, dits « d’apprentissage artificiel supervisé » sont ensuite mis en œuvre pour modéliser de façon automatique la relation entre le geste articulatoire observé et le contenu spectral du signal de parole associé. Le modèle ainsi déduit est ensuite utilisé en phase de communication silencieuse pour « prédire » les caractéristiques du signal sonore à synthétiser, uniquement à partir du geste articulatoire observé.
Les débouchés applicatifs de ce dispositif et plus généralement de ce domaine de recherche en pleine expansion, sont tout naturellement tournés vers le secteur des télécommunications et de la téléphonie mobile dans des lieux ou circonstances nécessitant de la discrétion (transports en commun et lieux publics, réunions, opérations de sécurité) ou au contraire dans des environnements trop bruyants ôtant toute possibilité de communication parlée (concerts, hélicoptères). Ce dispositif peut également répondre aux besoins de personnes laryngectomisées ou plus généralement souffrant de pathologies vocales.
L’approche par imagerie ultrasonore étudiée par Thomas HUEBER et ses collaborateurs présente aujourd’hui des résultats encourageants dans un contexte de « laboratoire ». La poursuite des travaux (qui seront en partie financés par le Prix Christian Benoit) vise à développer un prototype fonctionnant en temps réel, ce qui permettra son évaluation dans des conditions de communication réalistes.
(1)    Ces travaux ont été effectués en collaboration avec le laboratoire SIGMA de l’ESPCI ParisTech. (2)    Pour un éventail complet des procédés envisagés, voir le numéro spécial de la revue internationale Speech
Communication - 2010 (3)    Développé par l’équipe du Pr Tanja Schultz du Cognitive Systems Lab de l’Institut de technologie de Karlsruhe. (4)    Développé par l’équipe du Pr Kyoshiro Shikano au Nara Institute of Science and technology au Japon ;
également étudiée au département Parole et Cognition du Gipsa-lab par V.A. Tran et H. Loevenbruck)

Contact chercheur : Thomas HUEBER thomas.hueber@gipsa-lab.fr 04 76 57 49 40

Contact Gipsa-lab : Isabelle MAUGIS, isabelle.maugis@gipsa-lab.fr 04 76 82 62 10

Association CHRISTIAN BENOIT

L’Association Christian Benoit est une organisation à but non lucratif (loi 1901), dont le but est de faciliter le développement de projets de recherche dans le domaine de la communication parlée. Elle a été créée en l'honneur de Christian BENOIT, chercheur au CNRS dans le domaine de la communication parlée, et décédé le 26 avril 1998, à l'âge de 41 ans.
Le Prix Christian Benoit est attribué tous les deux ans (à l’occasion de la conférence internationale Interspeech) à de jeunes scientifiques prometteurs dans le domaine de la communication parlée. Ce prix offre au lauréat un soutien financier pour illustrer concrètement les réalisations de ses travaux de recherche, pour promouvoir ses travaux auprès de la communauté scientifique et des agences de financement et pour donner une vue globale de l'état de l'art sur son sujet de recherche. http://www.gipsa-lab.grenoble-inp.fr/acb/

* GIPSA-lab - Grenoble Images Parole Signal Automatique
GIPSA-lab est une unité mixte de recherche du CNRS et des universités de Grenoble (Grenoble INP, univ. Joseph Fourier et univ. Stendhal), localisée à Grenoble sur le Campus de Saint Martin d’Hères. Le laboratoire mène des recherches théoriques et appliquées sur les signaux et les systèmes dans le but de fournir des dispositifs de décision, d’action et de communication viables, performants et compatibles avec la réalité physique et humaine. Organisé en 3 départements (Images-Signal, Parole-Cognition et Automatique) et 12 équipes de recherche, Gipsa-lab est un laboratoire de recherche de350 personnes dont plus d’une centaine de chercheurs et enseignants-chercheurs et accueille chaque année une trentaine de nouveaux doctorants.