13h30-14h30 : Arthur Marmin, Maître de Conférences à Aix-Marseille Université

14h30-15h30 : Sholom Schechtman, Maitre de conférences à Télécom SudParis

1er exposé d’Arthur Marmin, Maître de Conférences à Aix-Marseille Université

Titre : Majorization-minimization for Sparse Nonnegative Matrix Factorization with the β-divergence

Résumé : Nonnegative matrix factorization (NMF) consists in decomposing a data matrix with nonnegative entries into the product of two nonnegative matrices. NMF has found many applications such as feature extraction in image processing and text mining, audio source separation, blind unmixing in hyperspectral imaging, and user recommendation. In this context, the two factor matrices represent a dictionary of basis vectors and an activation matrix respectively. In this talk, I will present new multiplicative updates for NMF with the β-divergence and sparse regularization of one of the two factors. It is well known that the norm of the other factor then needs to be controlled in order to avoid an ill-posed formulation. Standard practice consists in constraining the columns to have unit norm, which leads to a nontrivial optimization problem. The approach I will present leverages a reparametrization of the original problem into the optimization of an equivalent scale-invariant objective function. From there, I will derive block-descent majorization-minimization algorithms that result in simple multiplicative updates for either l1-regularization or the more “aggressive” log-regularization. In contrast with other state-of-the-art methods, the obtained algorithms are universal in the sense that they can be applied to any β-divergence (i.e., any value of β) and that they come with convergence guarantees for both the objective function and the sequence of generated iterates. I will also present two state-of-the-art methods (an heuristic method and a Lagrangian one) and I will report numerical comparisons using various datasets: face images, an audio spectrogram, hyperspectral data, and song play counts.

2ème exposé de Sholom Schechtman, Maitre de conférences à Télécom SudParis

Titre : L’évitement des points-selles actifs d’une fonction faiblement convexe par la descente de sous-gradient stochastique

Résumé: Il est connu que même sur une fonction non-convexe et non-différentiable, sous des hypothèses faibles, l’algorithme du sous-gradient stochastique (SGD) converge vers les points critique de la fonction objectif. Cependant, cet ensemble des points critiques est généralement plus grand que l’ensemble des minima locaux et continent des “points selles” – des points envers lesquels la convergence est indésirable. L’objectif de cet exposé est de montrer que si la fonction objectif est faiblement convexe alors le SGD évite un certain type de point – les points-selles actifs.

En première partie, nous commencerons par une introduction aux fonctions semi-algébriques, ou plus généralement définissables dans une structure o-minimale, une classe qui contient la grande majorité de fonctions utilisées en optimisation. Nous montrerons que ces fonctions, bien que non-lisses, contiennent une structure différentiable sous-jacente. Finalement, nous présenterons un résultat nouveau – la formule de projection renforcée (amélioration de la formule de projection de Bolte, Daniilidis, Lewis et Shiota), qui donne une description simple des sous-gradients d’une telle fonction.

En deuxième partie, nous étudierons la forme typique des points critiques de telles fonctions et montrerons que si la fonction est définissable et faiblement convexe alors ses points critiques génériques peuvent être seulement des minima locaux ou des points-selles actifs.

Enfin, en dernière partie nous montrerons que, sous des hypothèses faibles, le SGD sur une fonction faiblement convexe et définissable évite (ne converge pas) vers un point-selle actif.