Vous êtes ici : GIPSA-lab > Recherche
Chargement

BEDEI

Bloc Expérimental Dédié à l'Enregistrement In vivo de signaux multi-modaux

Référent(s) scientifique(s) : Nathalie VALLEE
Responsable technique : Christophe SAVARIAUX

 

Introduction

La plate-forme BEDEI est installée sur le site Stendhal. Ce bloc expérimental permet l'enregistrement de données multimodales in vivo. Il est régulièrement utilisé par les 4 équipes du Département Parole et Cognition (GAMA, SLD, PCMD, MAGIC) mais également dans le cadre des collaborations du département avec des laboratoires français et étrangers (LPNC, IRBA, Université Pompeu Fabra de Barcelone, Université de l'Illinois, Université de Hanoï,...).

 

Description

Le bloc expé se compose d'une série de matériel d'acquisition dont voici une liste non exhaustive :

 

- deux systèmes EGG (Electo GlottoGraphe) permettant l'enregistrement du mouvement d'ouverture et de fermeture des cordes vocales : un système EG2-standard développé par la société Glottal Enterprises et un système Laryngogaph.

Laryngographe

- un système de mesures aérodynamiques Europec-EVA2 développé par la société SQLAB permettant l'acquisition synchrone des débits d'air oral et nasal, de la pression intra orale, de l'audio et de l'EGG. Ce système est couplé à un logiciel de présentation et de gestion de corpus au format HTML.

Utilisation EVA

- deux systèmes d'articulographie électromagnétique (EMA) permettant la mesure de la position de petites bobines collées sur les articulateurs de la parole tels que la langue, la mâchoire, les lèvres ou encore le vélum : l'AG200 développé par la société Carstens qui permet l'acquisition en 2D de 12 bobines à une fréquence de 200 Hz dans le plan médio sagittal du sujet; le WAVE développé par la société NDI qui permet l'acquisition en 3D de 16 canaux à une fréquence de 400 Hz.

        EMA

- un système d'Electro PalatoGraphe (EPG) qui permet d'observer et de mesurer les contacts de la langue sur le palais grâce à l'utilisation d'un faux palais contenant 56 électrodes de surface.

 

- un système d'acquisition vidéo multi sources composé de 3 caméras format PAL DXC-990P de Sony. Les 3 flux vidéo sont enregistrés de manière synchrone sur 3 PC via le logiciel Reality développé par la société DPS.

 

- un ensemble d'éclairage multi sources en lumière du jour (5200° K) composé de : deux jeux de projecteurs à néons DIVA400 de Kinoflo (4 tubes de 60cm) avec ballast intégré, un projecteur Parabeam400 de Kinoflo utilisé pour l'apport intense de lumière lors de l'utilisation de la vidéo rapide et un kit portable pour un apport ponctuel de lumière (1 tube de 30cm).

- un ensemble de matériel d'acquisition vidéo HD : deux caméscopes full HD à disque dur HDR-XR500E de Sony ; un caméscope HD à disque dur GZ-HD7 de JVC ; un appareil photo numérique D40 de Nikon. 

 

- un ensemble de matériel d'acquisition audio : un enregistreur numérique stéréo PMD670 de Marantz ; deux enregistreurs numériques stéréo DR100 de Tascam ; un enregistreur 8 pistes D1200 de Korg ; une carte d'acquisition  externe FireWire  multi pistes Fireface 800 de RME ; une carte d'acquisition  externe USB2 multi pistes UltraLite-mk3 de Motu ; une table de mixage 402-VLZ3 de Mackie.

 

- de nombreux microphones permettant l'acquisition du signal audio pour différents contextes : un micro plaque omni U841E d'Audio-Technica pour l'enregistrement de conversations multi locuteurs autour d'une table ; des micros cravates miniatures omni ATR35S d'Audio-Technica ; un micro-cravate HF EW122-PG3 de Sennheiser  ; des micros directionnels C1000S d'AKG pour l'enregistrement en chambre sourde  ; un micro serre-tête omni beta-53 de Shure pour l'enregistrement d'un sujet libre de mouvement ; un micro-casque BPHS1 d'Audio-Technica qui permet simultanément l'enregistrement et la restitution au casque.

 

- un casque fermé HD25-1 de Sennheiser pour faire passer les tests perceptifs dans des conditions optimales.

 

- un audiomètre 9910  pour réaliser un audiogramme des sujets avant de leur faire passer un test perceptif.

 

- un luxmètre ILM1332A de la société Iso-tech pour mesurer la quantité de lumière délivrée.

 

Cette plate-forme comprend également un ensemble de logiciels conçus pour la visualisation et l'analyse des signaux qui en sont issus.

Un dispositif de labiométrie nommé TACLE (Traitement Automatique des Contours de LEvres) a été développé au DPC. Il est basé sur une détection automatique des contours labiaux à partir d'images vidéo de face et de profil du visage d'un locuteur dont les lèvres ont été préalablement maquillées en bleu (cf. photos ci-dessous). Le principe de fonctionnement se décompose en 4 phases principales : 1) appliquer un chroma-key sur l'image c'est à dire à seuiller en noir les zones teintes en bleues; 2) filtrer les images via un filtre médian; 3) effectuer une détection de contours sur les parties noires; et 4) extraire les paramètres labiaux à partir des contours.

D'autres logiciels d'analyses (TRAP, ATAC,...), développés sous Matlab, sont également disponibles pour la communauté.

 

Illustration

Les photos ci-dessous illustrent diverses utilisations de la plate-forme en contexte :

 

     vidéo

 

         vidéo LPC           Utilisation de Tacle



 

 

 


GIPSA-lab, 11 rue des Mathématiques, Grenoble Campus BP46, F-38402 SAINT MARTIN D'HERES CEDEX - 33 (0)4 76 82 71 31