La prosodie de la parole qui comprend l’intonation, le rythme et le timbre de la voix, véhicule des informations à la fois expressives et de structuration du discours. Les pathologies (par ex., cancer de la gorge) qui affectent la vibration des plis vocaux et privent les patients de leur contrôle de l’intonation impactent alors sévèrement leur intelligibilité et interactions sociales. Dans ce cas, un aspect central de réhabilitation de la parole est la prédiction de l’intonation à partir d’autres canaux. L’intonation encode de multiples informations telles que des indices de délimitation d’éléments du discours, une accentuation sur un élément de l’énoncé ; ou une modulation mélodique pour exprimer une attitude sociale. Aussi, plusieurs études ont démontré une forte corrélation entre les variations intonatives et les gestes cooccurrents de la parole tels que les mouvements des lèvres, de la langue, des sourcils, de la tête ou des mains. De plus, ces gestes cooccurrents de la parole sont continuellement adaptés à la situation de communication, ainsi qu’au retour auditif du locuteur sur sa parole. Étant données ces considérations, l’objectif de ce projet est d’étudier dans quelle mesure l’intonation peut être automatiquement prédite et contrôlée à partir de gestes cooccurrents de la parole (orofaciaux ou de la main), en combinant deux approches :

1. Nous considérerons séparément chaque fonction prosodique (délimitation, accentuation, expressivité) en les associant à différents canaux gestuels ; 
2. La prédiction automatique de l’intonation à partir de gestes orofaciaux et manuels sera intégrée dans un système de réhabilitation vocale qui convertit en temps réel du chuchotement en parole. Ceci permettra de quantifier l’impact du système de prédiction automatique de l’intonation sur les gestes co-occurrents de la parole, et la capacité de l’utilisateur à les adapter pour obtenir le meilleur compromis entre intelligibilité et qualité de la reconstruction de la prosodie.