L’Ecole doctorale : Ecole Doctorale de l’Institut Polytechnique de Paris

et le Laboratoire de recherche SAMOVAR – Services répartis, Architectures, Modélisation, Validation, Administration des Réseaux

présentent

l’AVIS DE SOUTENANCE de Monsieur Anas FILALI RAZZOUKI

Autorisé à présenter ses travaux en vue de l’obtention du Doctorat de l’Institut Polytechnique de Paris, préparé à Télécom SudParis en :

Signal, Images, Automatique et robotique

« MARQUEURS NUMÉRIQUES FACIAUX DE L’HYPOMIMIE FONDÉS SUR L’APPRENTISSAGE PROFOND POUR LA DÉTECTION PRÉCOCE ET L’ANALYSE DE LA MALADIE DE PARKINSON »

le JEUDI 16 JANVIER 2025 à 14h00

à

Amphithéâtre 2
Télécom SudParis, 19 rue Marguerite PEREY 91120 PALAISEAU,

Membres du jury :

M. Mounim A. EL YACOUBI, Professeur, Télécom SudParis, FRANCE – Directeur de these
M. Hui YU, Full professor, University of Glasgow, ROYAUME-UNI – Rapporteur
M. Julian  FIERREZ AGUILAR , Full professor, Université autonome de Madrid, ESPAGNE – Rapporteur
Mme Chrystalina ANTONIADES, Associate Professor, University of Oxford, ROYAUME-UNI – Examinateur
M. Holger FROEHLICH, Full professor, University of Bonn & Fraunhofer SCAI, ALLEMAGNE – Examinateur
M. Jean-Christophe  CORVOL, Full professor, Sorbonne Université & Hôpital de la Pitié-Salpêtrière, FRANCE – Examinateur
Mme Dijana PETROVSKA, Emeritus Associate Professor, Télécom SudParis, FRANCE – Co-encadrant de these

Invité :

Mme JEANCOLAS Laetitia, post-doctorante, Institut du cerveau de l’Hôpital de la Pitié-Salpêtrière, FRANCE

« MARQUEURS NUMÉRIQUES FACIAUX DE L’HYPOMIMIE FONDÉS SUR L’APPRENTISSAGE PROFOND POUR LA DÉTECTION PRÉCOCE ET L’ANALYSE DE LA MALADIE DE PARKINSON »

présenté par Monsieur Anas FILALI RAZZOUKI

Résumé :

Cette thèse vise à développer des biomarqueurs numériques robustes pour la détection précoce de la maladie de Parkinson (MP) en analysant des vidéos faciales afin d’identifier les changements associés à l’hypomimie. Dans ce contexte, nous introduisons de nouvelles contributions à l’état de l’art : l’une fondée sur l’apprentissage automatique superficiel et l’autre fondée sur l’apprentissage profond. La première méthode utilise des modèles d’apprentissage automatique qui exploitent des caractéristiques faciales extraites manuellement, en particulier les dérivés des unités d’action faciale (AUs). Ces modèles intègrent des mécanismes d’interprétabilité qui permettent d’expliquer leur processus de décision auprès des parties prenantes, mettant en évidence les caractéristiques faciales les plus distinctives pour la MP. Nous examinons l’influence du sexe biologique sur ces biomarqueurs numériques, les comparons aux données de neuroimagerie et aux scores cliniques, et les utilisons pour prédire la gravité de la MP. La deuxième méthode exploite l’apprentissage profond pour extraire automatiquement des caractéristiques à partir de vidéos faciales brutes et des données de flux optique en utilisant des modèles fondamentaux basés sur les Vision Transformers pour vidéos. Pour pallier le manque de données d’entraînement, nous proposons des techniques avancées d’apprentissage par transfert adaptatif, en utilisant des modèles fondamentaux entraînés sur de grands ensembles de données pour la classification de vidéos. De plus, nous intégrons des mécanismes d’interprétabilité pour établir la relation entre les caractéristiques extraites automatiquement et les AUs faciales extraites manuellement, améliorant ainsi la clarté des décisions des modèles. Enfin, nos caractéristiques faciales générées proviennent à la fois de données transversales et longitudinales, ce qui offre un avantage significatif par rapport aux travaux existants. Nous utilisons ces enregistrements pour analyser la progression de l’hypomimie au fil du temps avec ces marqueurs numériques, et sa corrélation avec la progression des scores cliniques. La combinaison des deux approches proposées permet d’obtenir une AUC (Area Under the Curve) de classification de plus de 90%, démontrant l’efficacité des modèles d’apprentissage automatique et d’apprentissage profond dans la détection de l’hypomimie chez les patients atteints de MP à un stade précoce via des vidéos faciales. Cette recherche pourrait permettre une surveillance continue de l’hypomimie en dehors des environnements hospitaliers via la télémédecine.

Abstract :

This thesis aims to develop robust digital biomarkers for early detection of Parkinson’s disease (PD) by analyzing facial videos to identify changes associated with hypomimia. In this context, we introduce new contributions to the state of the art: one based on shallow machine learning and the other on deep learning. The first method employs machine learning models that use manually extracted facial features, particularly derivatives of facial action units (AUs). These models incorporate interpretability mechanisms that explain their decision-making process for stakeholders, highlighting the most distinctive facial features for PD. We examine the influence of biological sex on these digital biomarkers, compare them against neuroimaging data and clinical scores, and use them to predict PD severity. The second method leverages deep learning to automatically extract features from raw facial videos and optical flow using foundational models based on Video Vision Transformers. To address the limited training data, we propose advanced adaptive transfer learning techniques, utilizing foundational models trained on large-scale video classification datasets. Additionally, we integrate interpretability mechanisms to clarify the relationship between automatically extracted features and manually extracted facial AUs, enhancing the comprehensibility of the model’s decisions. Finally, our generated facial features are derived from both cross-sectional and longitudinal data, which provides a significant advantage over existing work. We use these recordings to analyze the progression of hypomimia over time with these digital markers, and its correlation with the progression of clinical scores. Combining these two approaches allows for a classification AUC (Area Under the Curve) of over 90%, demonstrating the efficacy of machine learning and deep learning models in detecting hypomimia in early-stage PD patients through facial videos. This research could enable continuous monitoring of hypomimia outside hospital settings via telemedicine.