Vous êtes ici : GIPSA-lab > Formation > Thèses soutenues
Chargement
COUTROT Antoine

Influence du son lors de l'exploration de scènes naturelles dynamiques - Prise en compte de l'information sonore dans un modèle d'attention visuelle

 

Directeur de thèse :     Alice CAPLIER

Co-encadrant :     Nathalie GUYADER

École doctorale : Electronique, electrotechnique, automatique, traitement du signal (eeats)

Spécialité : Signal, image, parole, télécoms

Structure de rattachement : Grenoble-INP

Établissement d'origine : INP-PHELMA

Financement(s) : Contrat doctoral

 

Date d'entrée en thèse : 01/10/2011

Date de soutenance : 02/10/2014

 

Composition du jury :
M. Jean-Luc SCHWARTZ, DR CNRS, Grenoble, Président du jury
M. Patrick LE CALLET, Professeur, Université de Nantes, Rapporteur
M. Matei MANCAS, Senior Researcher, Université de Mons, Rapporteur
M. Olivier LE MEUR, MCF, Université de Rennes 1, Examinateur
M. Patrick LAMBERT, Professeur, Université de Savoie, Invité
Mme Alice CAPLIER, Professeur, Université de Grenoble-Alpes, Directrice de thèse
Mme Nathalie GUYADER, MCF, Université de Grenoble-Alpes, Encadrante de thèse

 

Résumé : Nous étudions l'influence de différents attributs audiovisuels sur l'exploration visuelle de scènes naturelles dynamiques. Nous démontrons que si la façon dont nous explorons une scène dépend avant tout de son contenu visuel, dans certaines situations le son influence significativement les mouvements oculaires. La présence de son assure une meilleure cohérence entre les positions oculaires de différents observateurs, attirant leur attention et donc leur regard vers les mêmes régions. L'effet du son se retrouve tout particulièrement dans les scènes de conversation, où la présence du signal de parole associé augmente le nombre de fixations sur le visage des locuteurs, et donc la cohérence entre les scanpaths. Nous proposons un modèle de saillance audiovisuelle repérant automatiquement le visage des locuteurs afin d'en rehausser la saillance. Ces résultats s'appuient sur les mouvements oculaires de 148 participants enregistrés sur un total de plus de 75 400 frames (125 vidéos) dans 5 conditions expérimentales différentes.


GIPSA-lab, 11 rue des Mathématiques, Grenoble Campus BP46, F-38402 SAINT MARTIN D'HERES CEDEX - 33 (0)4 76 82 71 31