Construction d'un synthétiseur audiovisuel de LPC
à partir de données réelles

Le LPC

Le LPC est l'acronyme utilisé pour la Langue Française Parlée Completée (anciennement Langage Parlé Completé), un système inventé pour les sourds, les malentendants et leurs proches.
En effet, la lecture labiale seule génère de nombreuses ambiguïtés, puisque certaines caractéristiques ne se voient pas : la position de la langue ou la nasalité par exemple. Ainsi, la production des sons 'u' et 'ou' n'est pas différenciable par la seule vue des lèvres ou du visage.
Avec le LPC (ou son équivalent pour d'autres langues du monde), ces ambiguïtés sont levées par la forme et la position de la main, qui complètent l'articulation faciale pour coder des séquences consonnes-voyelles.

Figure 1 : Trois instants clefs de la phrase "Un café", en LPC.

Le projet ARTUS

Dans le cadre du projet RNRT ARTUS, l'ICP va synthétiser les mouvements du LPC à partir du texte, pour un clone 3D main+visage, qui pourrait être affiché sur un terminal de décodage. Pour le projet, les paramètres d'animation de la tête parlante sont incorporés directement au signal de l'émission (tatoutage inaudible/invisible dans l'audio et la vidéo), pour rester accessible quelque soit le média (canal hertzien, satellite, DVD voire K7 VHS). En convertissant le télétexte déjà existant sur certaines émissions, on peut rendre le contenu plus facilement accessible à certains publics (de jeunes enfants par exemple).

Méthodologie

Une locutrice du LPC a été équipée de marqueurs retro-réfléchissants, sur la main et une partie de son visage. Cela permet d'enregistrer sa main (seule), son visage (seul), puis les deux simultanément, afin de recueillir une base de données des gestes du LPC,à partir d'un corpus de phrases spécifiquement choisi.

Figure 2 : Le placement des marqueurs sur notre locutrice LPC.

Grâce à la construction de modèles articulatoires non-linéaires, on est capable de retrouver la position d'un marqueur même s'il n'a pas été vu par le système de capture. On peut ainsi capturer et rejouer des séquences de parole telles que notre locutrice les a réellement articulées, avec l'audio d'origine. Le corpus de phrases enregistré permet aussi de construire des dictionnaires d'unités pour la synthèse par concaténation de l'audio (produit en parallèle des mouvements articulatoires du visage) et de l'articulation de la main (en synchronie avec les mouvements relatifs main/visage). On est alors capable de synthétiser du LPC.

Vidéo 1 : Séquence capturée, filtrée par les modèles articulatoires (avi, 2,6 Mo).		Vidéo 2 : Séquence générée à partir de paramètres articulatoires de synthèse (avi, 3 Mo).

La dernière étape concerne l'habillage du clone, pour lui restituer un visage complet avec des lèvres et une main en volume. Une mise en correspondance avec d'autres données de modélisation de notre locutrice (moulage de la main, enregistrements vidéos du visage avec des billes) permet d'avoir une reconstruction "haute-définition" et plus réaliste de n'importe quelle séquence, capturée ou synthétisée.

Vidéo 3 : Séquence capturée, restituée avec un visage, des lèvres et une main complétés (avi, 5 Mo).		Vidéo 4 : Séquence capturée, rendue avec les modèles haute-définition en mode texturé, avec des dents (avi, 3 Mo).

Résultats

Les images et vidéos qui suivent illustrent les résultats obtenus sur un petit documentaire de 3 minutes 30. Vous pouvez aussi visualiser toute la vidéo (MPEG, 23 Mo).

Liens complémentaires

Les autres personnes de l'ICP impliquées dans le travail résumé sur cette page sont Gérard Bailly, Guillaume Gibert, ainsi que Denis Beautemps. La capture des gestes du LPC a été réalisée chez/par Attitude Studio.

Les délivrables associés à ces travaux sont listés ici. Les informations générales sur le projet RNRT Artus et ses partenaires peuvent être retrouvées sur ce site.

Retour à l'index de Frédéric Elisei