Analyse contextuelle des gestes de désignation en dialogue homme-machine - Université de Lorraine Access content directly
Theses Year : 1999

Analyse contextuelle des gestes de désignation en dialogue homme-machine

Frédéric Wolff
  • Function : Author
  • PersonId : 756594
  • IdRef : 153615958

Abstract

Usual interfaces suppose the user to translate his intention into machine language, i.e. software commands. On the contrary, multimodal Human-Computer interfaces appear to the user as a communication partner able to adapt to his expression. However, almost ail works are devoted to the verbal aspect of human expression, and limit gesture to simple and stereotypic forms like pointings. This study is aimed at modelling natural referring gestures appearing in multimodal dialogues. Indeed, psychological works indicate the importance and omnipresence of gestures in Human-Human communication. Moreover, these approaches reveal the role of prime importance played by perception to prepare, produce, control and interpret gestures. Our work investigates the relations between perception and action on the basis of empirical date collected through a Wizard of Oz experiment. A dedicated experimentation soft-ware has been especially developed to record and study spatial and temporal dialogue features in more accurate way than usual data. The corpus study has shown the strong influence of perceptual context on multimodal expression and in particular on gesture. On this conclusion, a perception oriented contextual gesture analysis has been developed allowing to face wilh the numerous variability and ambiguity sources. Psychological principles as affordances and the Gestalttheorie laws introduced in our approach allow us to narrow perception and referring action, and 50 to put action back in its perceptual context of production.
L'interface Homme-Machine multimodale se présente comme un partenaire de communication capable de s'adapter au langage naturel de l'utilisateur contrairement aux interfaces classiques face auxquelles il doit s'adapter aux capacités communicatives de la machine. Cependant la plupart des travaux se sont pour le moment consacrée à l'aspect oral de la communication multimodale, limitant la gestuelle du locuteur à des signes simplistes et stéréotypées comme le pointage. Cette étude s'occupe au contraire de modéliser les gestes de désignation naturels pouvant apparaître dans ces dialogues. Les travaux de psychologie de l'action nous enseignent que la gestuelle est un moyen de communication à la fois important et omniprésent dans les dialogues Homme-Homme. Ces théories nous montrent le rôle primordial que joue la perception dans la définition, le contrôle et l'interprétation des gestes. Nos travaux s'occupent de préciser les relations perception-action par une étude expérimentale reposant sur le principe des expériences de magicien d'Oz afin d'explorer l'action gestuelle dans le cadre spécifique des interfaces multimodales. Un logiciel original de traitement de tels expériences a été développé afin de collecter des données spatiales et temporelles plus précises que les données habituellement recueillies. L'étude de ce corpus a montré que l'expression notamment gestuelles est fortement déterminée par le contexte perceptif. Un modèle d'analyse des gestes en contexte perceptif est ainsi proposé, qui permet de faire face aux nombreuses sources de variabilité et d'ambiguïtés des trajectoires. Les principes d'affordances ou encore de la Gestalttheorie mis en oeuvre et issus de la psychologie, permettent d'initier un rapprochement entre perception et action, par là-même de replacer le geste dans son cadre de production.
No file

Dates and versions

tel-01747072 , version 1 (29-03-2018)

Identifiers

  • HAL Id : tel-01747072 , version 1

Intranet access

Cite

Frédéric Wolff. Analyse contextuelle des gestes de désignation en dialogue homme-machine. Autre [cs.OH]. Université Henri Poincaré - Nancy 1, 1999. Français. ⟨NNT : 1999NAN10042⟩. ⟨tel-01747072⟩
117 View
0 Download

Share

Gmail Mastodon Facebook X LinkedIn More