• Accueil
  • Accueil
  • Accueil
  • Accueil

CNRS

Rechercher




Accueil > Productions scientifiques > Thèses SAMOVAR > Thèses 2022

Soutenance de thèse de MmeAlice MARTIN,« Modèles et algorithmes d’apprentissage profond pour de la donnée séquentielle - applications aux modèles delangage et à la quantification d’incertitude »

L’Ecole doctorale : Mathématiques Hadamard
et le Laboratoire de recherche SAMOVAR présentent
l’AVIS DE SOUTENANCE de Madame Alice MARTIN

Autorisée à présenter ses travaux en vue de l’obtention du Doctorat de l’Institut Polytechnique de Paris, préparé à Télécom SudParis en Mathématiques appliquées :
« Modèles et algorithmes d’apprentissage profond pour de la donnée séquentielle - applications aux modèles delangage et à la quantification d’incertitude »

le MARDI 14 JUIN 2022 à 9h30

Salle 0B05 - Lien visio https://meet.google.com/don-cien-whu
Télécom Sud Paris 9 place Marguerite Perey 91120 Palaiseau France

Membres du jury :

M. Sylvain LE CORFF, Professeur des universités,
Télécom SudParis, FRANCE
Directeur de thèse
M. Pierre PUDLO, Professeur des universités,
Institut de Mathématiques de Marseille, FRANCE
Rapporteur
M. François SEPTIER, Professeur des universités,
Université Bretagne Sud, FRANCE
Rapporteur
M. François DESBOUVRIES, Professeur,
Télécom SudParis, FRANCE
Examinateur
Mme Laure SOULIER, Maîtresse de conférences,
Université de la Sorbonne - Laboratoire Lip6, FRANCE
Examinatrice
M. Olivier PIETQUIN, Directeur de recherche, G
oogle Brain Paris, FRANCE
Codirecteur de thèse

Résumé :

Dans ce manuscrit de thèse, nous développons de nouveaux algorithmes et modèles pour résoudre les problèmes d’apprentissage profond sur de la donnée séquentielle, en partant des problématiques posées par l’apprentissage des modèles de langage basés sur des réseaux de neurones. Un premier axe de recherche développe de nouveaux modèles génératifs profonds basés sur des méthodes de Monte Carlo Séquentielles (SMC), qui permettent de mieux modéliser la diversité du langage, ou de mieux quantifier l’incertitude pour des problèmes de régression séquentiels. Un deuxième axe de recherche vise à faciliter l’utilisation de techniques de SMC dans le cadre de l’apprentissage profond, en développant un nouvel algorithme de lissage à coût computationnel largement réduit, et qui s’applique à un scope plus large de modèles à espace d’états, notamment aux modèles génératifs profonds. Finalement, un troisième axe de recherche propose le premier algorithme d’apprentissage par renforcement permettant d’apprendre des modèles de langage conditionnels "ex-nihilo" (i.e sans jeu de données supervisé), basé sur un mécanisme de troncation de l’espace d’actions par un modèle de langage pré-entrainé.

Abstract : "Deep learning models and algorithms for sequential data problems - applications to language modelling anduncertainty quantification"

In this thesis, we develop new models and algorithms to solve deep learning tasks on sequential data problems, with the perspective of tackling the pitfalls of current approaches for learning language models based on neural networks. A first research work develops a new deep generative model for sequential data based on Sequential Monte Carlo Methods, that enables to better model diversity in language modelling tasks, and better quantify uncertainty in sequential regression problems. A second research work aims to facilitate the use of SMC techniques within deep learning architectures, by developing a new online smoothing algorithm with reduced computational cost, and applicable on a wider scope of state-space models, including deep generative models. Finally, a third research work proposes the first reinforcement learning that enables to learn conditional language models from scratch (i.e without supervised datasets), based on a truncation mechanism of the natural language action space with a pretrained language model.