Mercredi 4 Mai 2011 à 13h30
« Acquisition 3D des gestes par vision artificielle et restitution virtuelle »

La thèse a été soutenue par David Antonio Gómez Jáuregui, doctorant du département EPH

Sur le campus de Télécom SudParis, 9 rue Charles Fourier à Evry, en salle C06.

Jury :

-M. Bill TRIGGS, Laboratoire Jean Kuntzmann (Rapporteur).
-M. Frédéric LERASLE, Université Paul Sabatier et groupe RAP (Rapporteur).
-M. Rachid DERICHE, INRIA Sophia Antipolis (Examinateur).
-M. André GAGALOWICZ, INRIA Rocquencourt (Examinateur).
-Mme. Bernadette DORIZZI, Télécom SudParis (Directrice de thèse).
-M. Patrick HORAIN, Télécom SudParis (Encadrant)

Résumé

« Les environnements virtuels collaboratifs permettent à plusieurs utilisateurs d’interagir à distance par Internet. Ils peuvent partager une impression de téléprésence en animant à distance un avatar qui les représente. Toutefois, le contrôle de cet avatar peut être difficile et mal restituer les gestes de l’utilisateur. Ce travail vise à animer l’avatar à partir d’une acquisition 3D des gestes de l’utilisateur par vision monoculaire en temps réel, et à rendre la téléprésence virtuelle possible au moyen d’un PC grand public équipé d’une webcam.

L’approche suivie consiste à recaler un modèle 3D articulé de la partie supérieure du corps humain sur une séquence vidéo. Ceci est réalisé en cherchant itérativement la meilleure correspondance entre des primitives extraites du modèle 3D d’une part et de l’image d’autre part. Le recalage en deux étapes peut procéder sur les régions, puis sur les contours. La première contribution de cette thèse est une méthode de répartition des itérations de calcul qui optimise la robustesse et la précision sous la contrainte du temps-réel.

La difficulté majeure pour le suivi 3D à partir d’images monoculaires provient des ambiguïtés 3D/2D et de l’absence d’information de profondeur. Le filtrage particulaire est désormais une approche classique pour la propagation d’hypothèses multiples entre les images. La deuxième contribution de cette thèse est une amélioration du filtrage particulaire pour le recalage 3D/2D en un temps de calcul limité par des heuristiques, dont la contribution est démontée expérimentalement. Un paramétrage de l’attitude des bras par l’extrémité de leur chaîne cinématique est proposé qui permet de mieux modéliser l’incertitude sur la profondeur. Enfin, l’évaluation est accélérée par calcul sur GPU.

En conclusion, l’algorithme proposé permet un suivi 3D robuste en temps-réel a partir d’une webcam pour une grande variété des gestes impliquant des occlusions partielles et des mouvements dans la direction de la profondeur. »