Le corpus

Le corpus a été enregistré en 2018 (stage de M1 de Nathan Loudjani). Il est constitué de 23 enregistrements, où le robot téléopéré par la même personne (pilote) interagit à chaque fois avec 2 joueurs humains différents.

Ont été enregistrés : 3 canaux audio, 2 canaux vidéo dédiés à l'apprentissage et l'annotation + la vision stéréo subjective du robot (yeux et têtes mobiles), ainsi que tous les paramètres de mouvement (3 degrés de liberté pour le cou) et d'articulation (6 degrés de liberté pour la mâchoire et les lèvres) du robot. Cela représente plus de 8h d'enregistrement multimodal, qui vont exiger un grand travail d'annotation (semi-automatiques et manuelles).

Extrait vidéo d'une des sessions enregistrées, pour le thème "kermesse" :


Pilot Intent
ThmAnnounce ThmAgain AskValidation Validating Scoring AskProposition Rept1 Scoring AskValidation ScoringNul HLAnalysis Feedback Feedback HLAnalysis HLAnalysis ThmAgain HLAnalysis HLAnalysis HLAnalysis Feedback AskValidation Scoring AskProposition ThmSame Rept1 AskProVal Feedback Scoring ScoreRound SyncThm
Pilot Speech
Donc on enchaîne avec kermesse kermesse Ok pour fête ? Je valide C'est la meilleure réponse, bravo Vous proposez ? école Donc école c'est la deuxième meilleure réponse On valide forain ? Et malheureusement non Par contre, y a un autre mot de la même famille qui irait bien Ouai Euh non Je vous le compte pas celui là je vous l'offre Donc de la me famille que forain ? Un synonyme de kermesse ? forain c'est celui qui organise des ? Ouais mais c'est pas ça J'ai essayé mais Voilà On valide foire ? Donc foire c'est le cinquième meilleur mot Donc vous devez encore faire une proposition Sur kermesse Alors tombola Est-ce que ça t'inspire ? Ouais Alors tombola c'est le huitième de ma liste Donc vous faites un score de 63% pour la manche Vous êtes prêts pour le thème suivant ?
Pilot Word
VAR:THEME kermesse VAR:THEME kermesse VAR:PROP1 fête VAR:PROP1 école VAR:PROP1 école VAR:PROP1 forain VAR:PROP1 forain VAR:THEME kermesse VAR:PROP1 forain VAR:PROP1 foire VAR:PROP1 foire VAR:THEME kermesse VAR:PROP1 tombola VAR:PROP1 tombola VAR:PERCENTAGE 63%
Pilot Contexte
CTXT:RANK 1 CTXT:RANK 2 CTXT:RANK 0 CTXT:RANK 5 CTXT:PROPLEFT 1 CTXT:RANK 8
Left User
comment tu dis, kermesse ? ouais ouais école mh je sais pas je l'aurais pas associé non mh ouais je viens de l'ouest @ euh ok bon ben vas-y ok allez c'est foraine du coup non fête foraine ah oui bien ouais moi je pense c'est tombola parce qu'il y en a toujours il faut trouver des mots @ tout juste
Right User
kermesse euh fête euh ouais école école euh forain kermesse tu aurais pas associé kermesse à forain euh après si on est dans le nord on dit la ducasse mais bon c'est trop c'est trop spécifique @ euh kermesse euh fête euh ouais moi j'aurais dit fête foraine quoi alors je sais pas si il faut dire forain ou foraine forain moi j'aurais mis alors ben non alors de forain alors c'est ça ben si c'est foraine alors bon alors forain foraine fê- synonyme de kermesse euh euh comment ça s'appelle ouais des fête foraine mais c'est deux mots non qui organise des alors attend ueuh la foire voilà ouais je cherchais les foires des rameaux donc on est sur kermesse alors hein kermesse euh ouais tombola ouais oui oui tombola parce que là on est euh f- faut trouver les les les petits morceaux quoi tombola ouais ah tu vois mhmh