AVIS DE SOUTENANCE de Monsieur Nathan HUBENS

L’Ecole doctorale : Ecole Doctorale de l’Institut Polytechnique de Paris
et le Laboratoire de recherche SAMOVAR РServices répartis, Architectures, MOdélisation, Validation, Administration des Réseaux

présentent

l’AVIS DE SOUTENANCE de Monsieur Nathan HUBENS

Autoris√© √† pr√©senter ses travaux en vue de l‚Äôobtention du Doctorat de l’Institut Polytechnique de Paris, pr√©par√© √† T√©l√©com SudParis en :

Signal, Images, Automatique et robotique

¬ę Compression et acc√©l√©ration de r√©seaux de neurones profonds par √©lagage synaptique ¬Ľ

le mercredi 7 décembre 2022 à 14h00

Salle Maquet
31, Boulevard Dolez 7000 Mons – Belgique

ou via le lien teams suivant : 

https://teams.microsoft.com/l/meetup-join/19%3ameeting_YmM4NzEzMzItZjU4Yy00NzM0LTg3NmYtNTVlMzJhYjA3YjFh%40thread.v2/0?context=%7b%22Tid%22%3a%22488bed9d-d6a7-48d5-ba1f-ebec3823b357%22%2c%22Oid%22%3a%22a7c0263c-c5ad-43e5-b854-ec7e51d37a79%22%7d

Membres du jury :

M. Titus ZAHARIA, Professeur, T√©l√©com SudParis, FRANCE – CoDirecteur de th√®se
M. Bernard GOSSELIN, Professeur, Universit√© de Mons, BELGIQUE – CoDirecteur de th√®se
M. Ioan TABUS, Professeur, Universit√© de Tampere, FINLANDE – Rapporteur
M. Bruno GRILH√®RES, Docteur, Airbus, FRANCE – Examinateur
M. John LEE, Professeur, Universit√© Catholique de Louvain, BELGIQUE – Rapporteur
Mme V√©ronique MOEYAERT, Professeure, Universit√© de Mons, BELGIQUE – Examinatrice
M. Thierry DUTOIT, Professeur, Universit√© de Mons , BELGIQUE – Examinateur

Résumé :

Depuis leur r√©surgence en 2012, les r√©seaux de neurones profonds sont devenus omnipr√©sents dans la plupart des disciplines de l’intelligence artificielle, comme la reconnaissance d’images, le traitement de la parole et le traitement du langage naturel. Cependant, au cours des derni√®res ann√©es, les r√©seaux de neurones sont devenus exponentiellement profonds, faisant intervenir de plus en plus de param√®tres. Aujourd’hui, il n’est pas rare de rencontrer des architectures impliquant plusieurs milliards de param√®tres, alors qu’elles en contenaient le plus souvent des milliers il y a moins de dix ans. Cette augmentation g√©n√©ralis√©e du nombre de param√®tres rend ces grands mod√®les gourmands en ressources informatiques et essentiellement inefficaces sur le plan √©nerg√©tique. Cela rend les mod√®les d√©ploy√©s co√Ľteux √† maintenir, mais aussi leur utilisation dans des environnements limit√©s en ressources tr√®s difficile. Pour ces raisons, de nombreuses recherches ont √©t√© men√©es pour proposer des techniques permettant de r√©duire la quantit√© de stockage et de calcul requise par les r√©seaux neuronaux. Parmi ces techniques, l’√©lagage synaptique, consistant √† cr√©er des mod√®les r√©duits, a r√©cemment √©t√© mis en √©vidence. Cependant, bien que l’√©lagage soit une technique de compression courante, il n’existe actuellement aucune m√©thode standard pour mettre en Ňďuvre ou √©valuer les nouvelles m√©thodes, rendant la comparaison avec les recherches pr√©c√©dentes difficile. Notre premi√®re contribution concerne donc une description in√©dite des techniques d’√©lagage, d√©velopp√©e selon quatre axes, et permettant de d√©finir de mani√®re univoque et compl√®te les m√©thodes existantes. Ces composantes sont : la granularit√©, le contexte, les crit√®res et le programme. Cette nouvelle d√©finition du probl√®me de l’√©lagage nous permet de le subdiviser en quatre sous-probl√®mes ind√©pendants et de mieux d√©terminer les axes de recherche potentiels. De plus, les m√©thodes d’√©lagage en sont encore √† un stade de d√©veloppement pr√©coce et principalement destin√©es aux chercheurs, rendant difficile pour les novices d’appliquer ces techniques. Pour combler cette lacune, nous avons propos√© l’outil FasterAI, destin√© aux chercheurs, d√©sireux de cr√©er et d’exp√©rimenter diff√©rentes techniques de compression, mais aussi aux nouveaux venus, souhaitant compresser leurs mod√®les pour des applications concr√®tes. Cet outil a de plus √©t√© construit selon les quatre composantes pr√©c√©demment d√©finis, permettant une correspondance ais√©e entre les id√©es de recherche et leur mise en Ňďuvre. Nous proposons ensuite quatre contributions th√©oriques, chacune visant √† fournir de nouvelles perspectives et √† am√©liorer les m√©thodes actuelles dans chacun des quatre axes de description identifi√©s. De plus, ces contributions ont √©t√© r√©alis√©es en utilisant l’outil pr√©c√©demment d√©velopp√©, validant ainsi son utilit√© scientifique. Enfin, afin de d√©montrer que l’outil d√©velopp√©, ainsi que les diff√©rentes contributions scientifiques propos√©es, peuvent √™tre applicables √† un probl√®me complexe et r√©el, nous avons s√©lectionn√© un cas d’utilisation : la d√©tection de la manipulation faciale, √©galement appel√©e d√©tection de DeepFakes. Cette derni√®re contribution est accompagn√©e d’une application de preuve de concept, permettant √† quiconque de r√©aliser la d√©tection sur une image ou une vid√©o de son choix. L’√®re actuelle du Deep Learning a √©merg√© gr√Ęce aux am√©liorations consid√©rables des puissances de calcul et √† l’acc√®s √† une grande quantit√© de donn√©es. Cependant, depuis le d√©clin de la loi de Moore, les experts sugg√®rent que nous pourrions observer un changement dans la fa√ßon dont nous concevons les ressources de calcul, conduisant ainsi √† une nouvelle √®re de collaboration entre les communaut√©s du logiciel, du mat√©riel et de l’apprentissage automatique. Cette nouvelle qu√™te de plus d’efficacit√© passera donc ind√©niablement par les diff√©rentes techniques de compression des r√©seaux neuronaux, et notamment les techniques d’√©lagage.


Abstract : ¬ę¬†Towards Lighter and Faster Deep Neural Networks with Parameter Pruning¬†¬Ľ

Since their resurgence in 2012, Deep Neural Networks have become ubiquitous in most disciplines of Artificial Intelligence, such as image recognition, speech processing, and Natural Language Processing. However, over the last few years, neural networks have grown exponentially deeper, involving more and more parameters. Nowadays, it is not unusual to encounter architectures involving several billions of parameters, while they mostly contained thousands less than ten years ago. This generalized increase in the number of parameters makes such large models compute-intensive and essentially energy inefficient. This makes deployed models costly to maintain but also their use in resource-constrained environments very challenging. For these reasons, much research has been conducted to provide techniques reducing the amount of storage and computing required by neural networks. Among those techniques, neural network pruning, consisting in creating sparsely connected models, has been recently at the forefront of research. However, although pruning is a prevalent compression technique, there is currently no standard way of implementing or evaluating novel pruning techniques, making the comparison with previous research challenging. Our first contribution thus concerns a novel description of pruning techniques, developed according to four axes, and allowing us to unequivocally and completely define currently existing pruning techniques. Those components are: the granularity, the context, the criteria, and the schedule. Defining the pruning problem according to those components allows us to subdivide the problem into four mostly independent subproblems and also to better determine potential research lines. Moreover, pruning methods are still in an early development stage, and primarily designed for the research community. Indeed, most pruning works are usually implemented in a self-contained and sophisticated way, making it troublesome for non-researchers to apply such techniques without having to learn all the intricacies of the field. To fill this gap, we proposed FasterAI toolbox, intended to be helpful to researchers, eager to create and experiment with different compression techniques, but also to newcomers, that desire to compress their neural network for concrete applications. In particular, the sparsification capabilities of FasterAI have been built according to the previously defined pruning components, allowing for a seamless mapping between research ideas and their implementation. We then propose four theoretical contributions, each one aiming at providing new insights and improving on state-of-the-art methods in each of the four identified description axes. Also, those contributions have been realized by using the previously developed toolbox, thus validating its scientific utility. Finally, to validate the applicative character of the pruning technique, we have selected a use case: the detection of facial manipulation, also called DeepFakes Detection. The goal is to demonstrate that the developed tool, as well as the different proposed scientific contributions, can be applicable to a complex and actual problem. This last contribution is accompanied by a proof-of-concept application, providing DeepFake detection capabilities in a web-based environment, thus allowing anyone to perform detection on an image or video of their choice. This Deep Learning era has emerged thanks to the considerable improvements in high-performance hardware and access to a large amount of data. However, since the decline of Moore’s Law, experts are suggesting that we might observe a shift in how we conceptualize the hardware, by going from task-agnostic to domain-specialized computations, thus leading to a new era of collaboration between software, hardware, and machine learning communities. This new quest for more efficiency will thus undeniably go through neural network compression techniques, and particularly sparse computations.