L’Ecole doctorale : Ecole Doctorale de l’Institut Polytechnique de Paris

et le Laboratoire de recherche SAMOVAR – Services répartis, Architectures, Modélisation, Validation, Administration des Réseaux

présentent

l’AVIS DE SOUTENANCE de Monsieur Carl DE SOUSA TRIAS

Autorisé à présenter ses travaux en vue de l’obtention du Doctorat de l’Institut Polytechnique de Paris, préparé à Télécom SudParis en :

Informatique

« Tatouage Robuste pour les Réseaux de Neurones dans les Applications Multimédias »

le MERCREDI 11 JUIN 2025 à 14h30

à

Amphithéâtre 2
Télécom SudParis, 19 Place Marguerite Perey, 91120 Palaiseau
https://telecom-paris.zoom.us/j/98578578906?pwd=BGRr0jBb7hNZ1pn7kijxKIiAlNwseg.1

Membres du jury :

M. Mihai MITREA, Professeur, Télécom SudParis, FRANCE – Directeur de these
M. Stefano TUBARO, Professeur, Polytechnic University of Milan, ITALIE – Rapporteur
M. Azzedine BEGHDADI, Professeur des universités, Sorbonne Paris North University, FRANCE – Rapporteur
M. Michel KIEFFER, Professeur, Paris-Saclay University, FRANCE – Examinateur
Mme Rossella CANCELLIERE, Maître de conférences, University of Turin, ITALIE – Examinateur
Mme Benedetta TONDI, Maître de conférences, University of Siena, ITALIE – Examinateur
Mme Vicky KALOGEITON, Maître de conférences, Ecole Polytechnique, FRANCE – Examinateur

« Tatouage Robuste pour les Réseaux de Neurones dans les Applications Multimédias »

présenté par Monsieur Carl DE SOUSA TRIAS

Résumé :

La thèse traite du suivi et de l’authentification des réseaux de neurones (NN) par le tatouage (watermarking) robuste pour des tâches applicatives liées au traitement multimédia (classification, segmentation, détection d’objet et compression pour les images et la vidéo). Elle explore également la possibilité d’établir les bases communes permettant la spécification des normes ouvertes pour le tatouage des NN. Ainsi, une analyse approfondie de l’état de l’art est réalisée, aboutissant à des nouvelles taxonomies complémentaires et à un environnement de test de référence. Puis, l’état de l’art du tatouage de réseaux de neurones est étendu par quatre contributions méthodologique. D’abord, la nature des attaques (et contre-attaques) géométriques est formalisée. Puis, des synergies méthodologiques et complémentaire avec des outils d’optimisation de l’entraînement des NN (e.g. SAM – Sharpness Aware Minimization) sont établies. Le résultat principal est une méthode de white-box watermarking (détection avec accès au modèle tatoué) et montre comment la complexité de calcul peut être réduite tout en préservant les propriétés de la méthode de tatouage. Finalement, la relation étroite entre l’entrainement sur la tâche et l’insertion de la marque est étudiée par deux méthodes complémentaires. D’un côté, une méthode de black-box watermarking (avec accès seulement aux inférences du modèle tatoué) est définie. Reposant uniquement sur un terme de régularisation durant l’apprentissage du modèle, cette méthode permet d’éviter les limitations actuelles liées à l’utilisation de jeux de données additionnels ou à la nécessité de modèles NN supplémentaires conçus pour le tatouage. D’un autre côté, une nouvelle méthode de white-box watermarking démontre la possibilité de découpler, de manière méthodologique et computationnelle, l’entrainement et l’insertion de la marque. Parallèlement, afin d’assurer une évaluation objective des résultats dans le domaine du tatouage des NN et de favoriser les échanges entre les mondes académique et industriel, la thèse a contribué activement aux travaux de normalisation relatifs au Neural Network Watermarking, aboutissant à deux standards MPAI et IEEE.

Abstract :

The present thesis deals with neural network (NN) tracking and authentication by means of robust and imperceptible watermarking. It focuses on application tasks related to multimedia processing (image/video classification, segmentation, object detection, and compression), and investigates the possibility of building a common ground for the NN watermarking. To this end, a thorough analysis of the state-of-the-art studies is first carried out, thus bringing to light new taxonomies and providing open-source reference testbeds for NN watermarking assessment. Then, the state-of-the-art watermarking landscape is extended by four types of methodological contributions. First, the nature of geometric attacks is stated and the corresponding counterattack is formalized. Then, methodological synergies and complementarities with tools in NN training optimization (e.g. SAM – Sharpness Aware Minimization) are established. The main result is represented by a white-box watermarking method and shows how computational complexity can be traded for optimization solutions while preserving the watermarking properties. Finally, the inner relationship between the task-oriented learning and the mark insertion is investigated by two complementary approaches. On the one hand, the methodological grounds for black-box watermarking insertion solely based on a regularization term considered during the task-oriented training of the initial NN model are established; this way, current-day limitations related to the usage of modified datasets or to the need of additional NN models specifically designed for watermarking purposes are avoided. On the other hand, the possibility of logically and computationally decoupling the watermark insertion from the task-oriented learning process is demonstrated. In parallel, in order to jointly ensure an objective evaluation of the results in the field and to accelerate the academia-industry exchanges, the thesis contributed to intensive standardization activities related to Neural Network Watermarking, resulting in two MPAI and IEEE standards.

Cette thèse a été dirigée par Prof. M. Mitrea, Prof. M. Cagnazzo, MdC A. Fiandrotti et co-encadré avec MdC S. Chaudhuri et MdC E. Tartaglione.