AVIS DE SOUTENANCE de Monsieur Pierre-Marie BAJAN
Autorisé à présenter ses travaux en vue de l’obtention du Doctorat de l’Université Paris-Saclay, préparé à Télécom SudParis en :
Réseaux, information et communications
« Simulation d’attaque et d’activité : application à la cyber-défense »
– le VENDREDI 5 JUILLET 2019 à 10:15
– en Salle A003, à Télécom SudParis – 9 rue Charles Fourier, 91000 Evry
Membres du jury :
M. Hervé DEBAR, Professeur, Télécom SudParis, FRANCE – Directeur de thèse
M. Christophe BIDAN, Professeur, Centrale Supélec, FRANCE – Rapporteur
M. Michaël HAUSPIE, Maître de Conférences, Université de Lille, FRANCE – Rapporteur
M. Gaël THOMAS, Professeur, Télécom SudParis, FRANCE – Examinateur
Mme Isabelle CHRISMENT, Professeur, Télécom Nancy, FRANCE – Examinateur
Résumé :
L’évaluation de produits de sécurité est un enjeu crucial de la cybersécurité. De nombreux produits et méthodes existent pour les propriétés des services (conformité aux spécifications, traitement de la charge et résistance aux attaques) et des produits de sécurité (justesse de la décision, variété d’attaques supportées, impact sur les performances et traitement de la charge). La plupart des méthodes existantes ne peuvent évaluer qu’une partie de ces propriétés. Les méthodes pouvant couvrir toutes ces propriétés, comme les bancs de tests, nécessitent un fort coût de ressources et main d’œuvre. Peu de structures peuvent se permettre de déployer et maintenir des bancs de tests complets avec les outils actuels. Dans cette thèse, nous proposons une nouvelle approche pour générer des données d’évaluation à grande échelle en respectant les exigences et besoins de l’évaluateur. Notre méthode est basée sur le déploiement d’un simple programme capable de reproduire des données modèles sur un réseau virtuel léger. Les exigences de l’évaluateur sont traduites en différents niveaux de réalisme correspondant à la préservation de différentes caractéristiques de la donnée modèle sur la donnée simulée. Nous présentons en détails le formalisme de notre méthode et imposons des critères d’exigences (adaptabilité, reproductibilité, réalisme, précision et passage à l’échelle) sur notre méthode. Nous expliquons également les étapes du développement d’un prototype de cette méthode et les validations expérimentales de nos exigences. Bien que les fonctionnalités du prototype présentées soient limitées, nous pouvons néanmoins utiliser ce prototype pour faire une première évaluation d’un produit de sécurité. Nous introduisons d’abord une méthodologie pour évaluer des services et produits de sécurité avec notre méthode puis nous faisons une série d’expérimentations pour évaluer un outil de détection d’intrusion. Cette évaluation nous permet de souligner l’intérêt et les avantages de notre méthode mais également de présenter les limitations actuelles de notre prototype. Nous proposons également un ensemble d’axes d’amélioration pour développer notre prototype en un outil d’évaluation efficace.
Abstract :
The evaluation of security products is a key issue in cybersecurity. Numerous tools and methods can evaluate the properties of services (compliance with the specifications, workload processing capacity, resilience to attacks) and security products (policy accuracy, attack coverage, performances overhead, workload processing capacity). Most existing methods only evaluate some of those properties. Methods, like testbed environments, that can cover all aspects are costly in resources and manpower. Few structures can afford the deployment and maintenance of those testbed environments. In this thesis, we propose a new method to generate at a large scale evaluation data that match the evaluator’s evaluation requirements. We base our method on the deployment of a small program on a lightweight virtual network. That program reproduces model data according to the need of the evaluator. Those needs are translated into levels of realism. Those levels match the characteristics of the model data preserved by the simulation program. We formally present our method and introduce additional requirements (customization, reproducibility, realism, accuracy, scalability) as properties of our model. We also explain the step by step construction of our prototype along with the experimental validation of our method. Although our prototype’s functions are currently limited, we can still use our prototype to evaluate a security product. We first introduce a methodology to apply our method to the evaluation of services and security products. We then conduct a series of experiments according to the methodology to evaluate an intrusion detection system. Our evaluation of an intrusion detection system illustrates the advantages of our method but it also underline the current limitation of our prototype. We propose a series of improvements and development to conduct to transform our current limited prototype into an efficient evaluation tool that can evaluate services and security products alike.