L’Ecole doctorale : Ecole Doctorale de l’Institut Polytechnique de Paris

et le Laboratoire de recherche SAMOVAR – Services répartis, Architectures, Modélisation, Validation, Administration des Réseaux

présentent

l’AVIS DE SOUTENANCE de Madame Abhaya Dhathri ARIGE

Autorisée à présenter ses travaux en vue de l’obtention du Doctorat de l’Institut Polytechnique de Paris, préparé à Télécom SudParis en :

Informatique

« Simplification des modèles CAO 3D avec l’apprentissage profond pour la réalité augmentée »

le JEUDI 14 DÉCEMBRE 2023 à 16h00

à Télécom SudParis

SALLE C06
9 Rue Charles Fourier, EVRY Courcouronnes FR, 91000

Membres du jury :

M. Titus ZAHARIA, Professor, Télécom SudParis, FRANCE – Directeur de these
M. Valeriu VRABIE, Professor, Université de Reims Champagne-Ardenne, FRANCE – Rapporteur
M. Jean-Marc LECAILLEC, Professor, IMT Atlantique, FRANCE – Rapporteur
M. Marius PREDA, Maître de conférences, Télecom SudParis, FRANCE – CoDirecteur de these
M. Francisco MORÁN BURGOS, Professeur, Universidad Politécnica de Madrid, ESPAGNE – Examinateur
Mme Arianne HINDS, Docteur, Tencent America, ETATS-UNIS – Examinateur

« Simplification des modèles CAO 3D avec l’apprentissage profond pour la réalité augmentée »

présenté par Madame Abhaya Dhathri ARIGE

Résumé :

Dans l’Industrie 4.0, l’utilisation d’appareils de Réalité Augmentée (RA) tels que HoloLens a acquis une acceptation significative pour la formation des opérateurs de ligne d’assemblage dans diverses industries. La simplification des modèles CAO 3D pour la formation en RA est essentielle pour une meilleure performance des applications. Notre recherche se concentre sur le développement de méthodes et de techniques visant à rationaliser des modèles CAO 3D complexes, les rendant adaptés aux applications de RA. Notre recherche met en avant le rôle des modèles 3D en RA, améliorant l’expérience virtuelle en superposant des modèles CAO sur le monde réel. Nous détaillons les applications de la RA dans la formation des opérateurs et comment l’intégration de modèles CAO 3D améliore la compréhension des instructions et des procédures. Nous avons réalisé une revue approfondie de la littérature sur la simplification des modèles CAO pour leur intégration dans des scénarios de réalité augmentée (RA). Nos conclusions indiquent que les techniques de simplification basées sur le maillage excellent dans la préservation des éléments essentiels des modèles CAO, offrant un contrôle précis sur les niveaux de détail. De plus, nous avons effectué quatre types distincts d’évaluations dans notre recherche. Ces évaluations comprenaient des évaluations objectives utilisant des techniques basées sur le maillage issues de la littérature existante, des avis d’experts impliquant un examen approfondi de chaque modèle simplifié pour déterminer le niveau de simplification en fonction des plages de sommets, des tests en conditions réelles assistés par HoloLens2, qui ont révélé des améliorations du taux de rafraîchissement lors de l’utilisation de modèles CAO au lieu de leurs versions originales. Pour conclure nos évaluations, nous avons également réalisé des évaluations par les utilisateurs, en donnant la priorité à l’expérience utilisateur dans notre étude. Ces évaluations ont confirmé que les modèles simplifiés sont hautement capables de remplacer les versions originales. Cependant, il a été observé qu’une simplification supplémentaire est nécessaire, en particulier pour les modèles CAO complexes. La méthodologie principale propose une approche innovante axée sur la segmentation du maillage et la simplification adaptative grâce à l’utilisation de méthodes d’apprentissage profond. Pour réduire la complexité associée à la segmentation et à la simplification 3D, nous avons projeté les données dans le domaine 2D pour effectuer la segmentation et avons ensuite cartographié les résultats dans le domaine 3D. Nous avons illustré ce cadre à l’aide d’une fonction spécifique appelée « chaînes continues » pour expliquer le processus de simplification. Par la suite, nous avons réalisé une analyse comparative par rapport à des techniques de pointe établies, démontrant la performance supérieure de notre méthodologie. Dans nos futures recherches, nous visons à élargir la portée de notre cadre pour englober plusieurs caractéristiques et les régions fonctionnelles à l’intérieur des modèles CAO.

Abstract :

In Industry 4.0 the use of Augmented Reality (AR) devices like HoloLens has gained significant acceptance for training assembly line operators in various industries. Simplifying 3D CAD models for AR training is crucial for better application performance. Our research focuses on developing methods and techniques to streamline complex 3D CAD models, making them suitable for AR applications. Our research highlights the role of 3D models in AR, enhancing the virtual experience by overlaying CAD models onto the real world. We detail AR applications in operator training and how integrating 3D CAD models improves understanding of instructions and procedures. We performed an extensive literature review in CAD model simplification for integration into augmented reality (AR) scenarios. Our findings indicated that mesh-based simplification techniques excel in preserving CAD model essentials, providing precise control over the level of details. Furthermore, we conducted four distinct types of assessments in our research. These assessments included objective evaluations utilizing mesh-based techniques from existing literature, expert review involving a comprehensive examination of each simplified model to determine the level of simplification based on vertex ranges, real-world testing aided by HoloLens2, which revealed improvements in framerate when using CAD models instead of their original versions. To conclude our evaluations, we also conducted user assessments, prioritizing user experience in our study. These assessments confirmed that the simplified models are highly capable of replacing the original counterparts. However, it was observed that further simplification is necessary, especially for intricate CAD models. The main methodology proposes an innovative approach, focusing on mesh segmentation and adaptive simplification using deep learning methods. To reduce the complexity associated with 3D segmentation and simplification we projected the data into the 2D domain to perform segmentation and mapped the results back to the 3D domain. We illustrated this framework using a specific feature called « continuous chains » to explain the simplification process. Subsequently, we conducted a comparative analysis against established state-of-the-art techniques, demonstrating the superior performance of our methodology. In our future research, we aim to broaden our framework’s scope to encompass multiple features and functional regions within CAD models.