Nous avons montré dans une étude EEG sur l’intégration multimodale de la parole que comme c’est le cas pour la modalité visuelle,
la modalité tactile permet de faciliter la perception de parole. Plus précisément, nous avons demandé à des sujets normo-entendant et normo-voyant d’utiliser la méthode Tadoma initialement créée pour des sujets sourds et aveugles et dans laquelle le sujet positionne sa main
sur la bouche et le cou de son interlocuteur pour récupérer des informations articulatoires pendant sa production de parole. Utilisant ces informations tactiles, les sujets anticipent leurs
catégorisations perceptives et cette anticipation se traduit par une réduction d’amplitude et de latence des potentiels évoqués précoces par rapport à une perception auditive seule.
Treille, A., Coeurdeboeuf ,C., Vilain, C.& Sato, M. (2014). Haptic and visual information speed up the neural processing of auditory speech in live dyadic interactions.
Neuropsychologia, 2014 (sous presse)
La question des relations entre modalités orales et gestuelles
dans la communication face à face est un sujet en plein
développement. Parmi l'ensemble du répertoire gestuel,
nous nous intéressons principalement aux gestes de pointage, ie
les gestes qu'un locuteur effectue afin de
désigner un objet du monde environnant (réel ou
symbolique) à un (ou plusieurs) interlocuteur(s).
Dans une étude sur les relations entre les gestes de pointages manuels et les productions vocales associées, nous avons montré que la distance à laquelle est située l’objet que l’on désigne est encodée à la fois dans le geste et dans la parole. Notamment, l’analyse des productions vocales montre une plus grande ouverture de la bouche lorsque l’objet désigné est plus éloigné. Ce résultat peut expliquer, dans les langues du monde, la plus grande fréquence des démonstratifs contenant des voyelles ouvertes pour désigner des objets lointains et des voyelles fermées pour désigner des objets proches.
Gonseth, C., Vilain, A., Vilain, C. (2013). An experimental study of speech/gesture interactions and distance encoding.
Speech Communication, 55(4), 553-571.