Logiciels

Ultraspeech

 

Analyse du conduit vocal par imagerie ultrasonore

(www.ultraspeech.com)

 

Un système d‘analyse par ultrasons permet d‘établir la signature d‘un milieu en mesurant les réflexions (échos) d‘une onde ultrasonore émise dans sa direction. Grâce à une disposition particulière des capteurs ultrasonores, il est possible d‘obtenir une image d‘un plan de coupe du milieu à étudier. Dans le domaine de recherche sur la phonétique articulatoire, et grâce aux travaux précurseurs de Maureen Stone, l‘imagerie ultrasonore est devenue une des techniques privilégiées pour l‘étude des configurations successives du conduit vocal pendant l‘articulation, et en particulier pour l‘observation du mouvement de la langue. La sonde ultrasonore est alors placée sous le menton du locuteur, et lorsque les capteurs ultrasonores sont orientés dans le sens de la longueur de la langue, on obtient une coupe de la cavité buccale dans le plan sagittal médian. L‘échographie est une technique d‘imagerie inoffensive et non-invasive. Elle présente de bonnes résolutions temporelles (de l‘ordre de 80 fps) et spatiales (inférieure à 1mm), et ne nécessite pas d‘équipement volumineux.

Pour l‘acquisition de données articulatoires multimodales, j'ai développé un système nommé Ultraspeech basé sur l‘échographe ultra-portable Terason T3000 OEM, permettant l‘acquisition simultanée et synchrone d'images ultrasonores (jusqu'à 70 fps en 320x240 pixels), d'images vidéo (jusqu'à 60 fps en 640x480 pixels NB) et d'un signal audio (16 bits, 44.1 kHz).

 

 

Un exemple d'une séquence acquise par ce système est disponible dans la vidéo ci-dessous :

 

 

Ultraspeech-player

 

Visualisation intuitive des mouvements articulatoires pour la rééducation orthophonique (www.ultraspeech.com/player)

 

Ultraspeech-player est un logiciel permettant de visualiser simultanément, pour différents phonèmes ou logatomes d'une langue, les mouvements de la langue et des lèvres, acquis sur une locuteur de référence par imagerie ultrasonore (échographie) et vidéo, tout en écoutant le signal sonore de la parole vocalisée.

 

Ultraspeech-player est destiné principalement à la rééducation orthophonique. L’objectif est d’améliorer certains processus de rééducation :

  • en permettant à un patient d’accroitre la conscience qu’il a de ses propres mouvements articulatoires (ex : ma langue recule quand je prononce le son « ou », vient toucher le palais quand je réalise la consonne « k », etc.).
  • en tirant parti du couplage se réalisant alors entre perception du son, visualisation du geste, et sensations proprioceptives.

 

Ultraspeech-player embarque un mecanisme de traitement en temps-réel des flux audio et video, permettant à l'utilisateur de contrôler la vitesse du geste articulatoire présenté, et celle du signal sonore associé. L'objectif est de ralentir le geste articulatoire pour mieux l'observer.

 

Ultraspeech-player peut également être utilisé pour l'enseignement de la phonétique articulatoire, et l'enseignement des langues étrangères (aide à la prononciation).

 

Vidéo de démonstration :

 

Grenoble Images Parole Signal Automatique laboratoire

UMR 5216 CNRS - Grenoble INP - Université Joseph Fourier - Université Stendhal