Étude de la parole, ses diverses formes d’expressions (parole, chant, murmure, cri, ...), ses caractéristiques multimodales (son, vision, gestes), le système physique qui la produit (physique du comportement, physiologie du geste vocal, impact phonétique), l’interaction avec un interlocuteur.

Au croisement des sciences du langage, des sciences cognitives, du traitement de l’information et de la physique, le GIPSA-lab met à profit la complémentarité de ses compétences pour mieux comprendre l’origine de la parole, les mécanismes de commande motrice par le système nerveux central, et développer des nouvelles technologies, au service du handicap et de la communication, par exemple.

 

  • Développer des méthodologies pour capturer, analyser et modéliser les caractéristiques multimodales de la parole (signaux cérébraux, efforts vocaux, paramètres physiologiques)

  • Étudier le contrôle moteur de la production de la parole (respiratoire, de la phonation, articulatoire, biomécanique du visage/muscles oro-faciaux et de la langue)

  • Développer des technologies vocales pour l'aide au handicap (suppléance vocale, système d'aide à la rééducation orthophonique, aide à la communication chez les personnes malentendantes, aide à l'apprentissage de la lecture).

  • Développer des techniques de reconnaissance automatique et synthèse de la parole.

  • Synthèse vocale à partir du texte avec un focus sur l'expressivité (parole émotive), la réactivité (synthèse TTS incrémentale)

  • Synthèse vocale à partir de gestes articulatoire (silent speech interface, modélisation acustico-articulatoire)

  • Identifier comment les structures phonologiques sont modelées par les systèmes de production et de perception de la parole et du langage, les processus cognitifs qui les sous-tendent.

  • Révéler la nature du langage humain, son fonctionnement, et mieux comprendre la cognition humaine (recherche de propriétés communes aux langues du monde et leur explication, études sur les particularismes linguistiques).

 


 

Plateformes

 

PERSEE

Analyse et interprétation de signaux oculométriques et cérébraux.

MUSA

Enregistrement de données multimodales en parole.

BIOMECA

Capture et traitement des données du mouvement humain (hardware et software), analyse bio-neuromécanique des processus de contrôle du geste, en immersion virtuelle.

MICAL

Mesure et modélisation des comportements humains (enregistrement et étude de l'interaction face-à-face, capture du regard, des mouvements de tête de sujets).

ANECHO

Mesures acoustiques, aérodynamiques et électroencéphalographiques, dans un espace très peu réverbérant (enregistrements acoustiques et tests de perception sonore).

Géo & Ethnolinguistique

Une collection unique en France de 480 volumes d'atlas linguistiques nationaux et internationaux, matériel informatique pour la cartographie et la numérisation d'archives sonores, du matériel audiovisuel pour la recherche et l'enseignement de la géolinguistique et de la linguistique de terrain.

 

 
 
Image
Fluence

Logiciel de lecture répétée assistée utilisant le principe du karaoké.


Serveur gestuel pour favoriser l'autonomie et l'inclusion des sourds.

Image
ives

Image
MIAI

MIAI chair "Bayesian Cognition and Machine Learning for Speech communication"