L’Ecole doctorale : Ecole Doctorale de l’Institut Polytechnique de Paris

et le Laboratoire de recherche SAMOVAR – Services répartis, Architectures, Modélisation, Validation, Administration des Réseaux

présentent

l’AVIS DE SOUTENANCE de Monsieur Mohamed ALLOUCHE

Autorisé à présenter ses travaux en vue de l’obtention du Doctorat de l’Institut Polytechnique de Paris, préparé à Télécom SudParis en :

Signal, Images, Automatique et robotique

« Traçage du contenu marketing vidéo »

le MARDI 17 DéCEMBRE 2024 à 15h00

à

5A126
19 Place Marguerite Perey, 91120 Palaiseau

Membres du jury :

M. Mihai MITREA, Professeur, Télécom SudParis, FRANCE – Directeur de these
Mme Amel BENAZZA, Professeure, SupCom – École Supérieure des communications de Tunis, TUNISIE – Rapporteur

M. Mohamed Chaker LARABI, Professeur, Université de Poitiers, FRANCE – Rapporteur
M. William PUECH, Professeur, Université de Montpellier, FRANCE – Examinateur
Mme Federica BATTISTI, Maître de conférences, University of Padova, ITALIE – Examinateur
M. Jean LE FEUVRE, Directeur d’études, Telecom Paris, FRANCE – Examinateur
M. Zaharia TITUS, Professeur, Telecom SudParis, FRANCE – Examinateur

« Traçage du contenu marketing vidéo »

présenté par Monsieur Mohamed ALLOUCHE

Résumé :

Au cours des dernières décennies, la production et la consommation de vidéos ont considérablement augmenté et il est communément admis que 80 % du trafic Internet est constitué de vidéos. Dans ce cadre, les vidéos de marketing sont encore dominées par le contenu payant (c’est-à-dire le contenu créé par l’annonceur qui paie un annonceur pour distribuer ce contenu). Cependant, le contenu vidéo organique progresse lentement mais sûrement. Le terme « contenu organique » fait référence à un contenu dont la création et/ou la distribution n’est pas payante. Dans la plupart des cas, il s’agit d’un contenu créé par l’utilisateur avec une valeur publicitaire implicite, ou d’un contenu publicitaire distribué par un utilisateur sur un réseau social. En pratique, un tel contenu est directement produit par les appareils de l’utilisateur dans un format compressé (par exemple AVC – Advanced Video Coding, HEVC – High efficiency Video Coding ou VVC – Versatile Video Coding) et est souvent partagé par d’autres utilisateurs, sur le même réseau social ou sur des réseaux sociaux différents, créant ainsi une chaîne virtuelle de distribution qui est étudiée par les experts en marketing. Une telle application peut être modélisée par au moins deux cadres scientifiques différents, à savoir la blockchain et l’empreinte (fingerprinting) vidéo. D’une part, si l’on considère d’abord les problèmes de distribution, la blockchain semble être une solution attrayante, car elle prévoit une solution sécurisée, décentralisée et transparente pour suivre les changements de tout actif numérique. Alors que la blockchain a déjà prouvé son efficacité dans une grande variété d’applications de distribution de contenu, ses applications liées au multimédia restent rares et soulèvent des contradictions conceptuelles entre les ressources de calcul/stockage strictement limitées disponibles dans la blockchain et la grande quantité de données représentant le contenu vidéo ainsi que les opérations complexes que le traitement vidéo exige. D’autre part, si l’on considère d’abord les questions relatives au contenu multimédia, chaque étape de la distribution peut être considérée comme une opération de quasi-doublonnage. Ainsi, le suivi d’une vidéo organique peut être assuré par l’empreinte vidéo qui regroupe les efforts de recherche consacrés à l’identification des versions dupliquées et/ou répliquées d’une séquence vidéo donnée dans un ensemble de données vidéo de référence. Alors que le suivi du contenu vidéo dans le domaine non compressé est un domaine de recherche riche, l’empreinte vidéo dans le domaine compressé est encore sous-explorée. La présente thèse étudie la possibilité de tracer un contenu vidéo compressé publicitaire, dans le contexte de sa propagation spontanée et incontrôlée dans un réseau distribué : • le suivi vidéo au moyen de solutions basées sur la blockchain, malgré la grande quantité de données et les exigences de calcul des applications vidéo, a priori incompatibles avec les solutions blockchain actuelles • le fingerprinting vidéo dans le domaine compressé, même si la compression vidéo est censée exclure la redondance visuelle qui permet de retrouver le contenu vidéo. • les synergies applicatives entre la blockchain et le fingerprinting vidéo. Les principaux résultats consistent en la conception, la spécification et la mise en œuvre de : • COLLATE – une architecture de répartition de charge on-chain off-chain, qui permet d’étendre de manière abstraite les ressources informatiques, de stockage et logicielles intimement limitées de n’importe quelle blockchain par des ressources informatiques à usage général ; • COMMON – Compressed dOMain Marketing videO fiNgerprinting, démontrant la possibilité de modéliser des empreintes vidéo compressées dans un cadre d’apprentissage profond • BIDDING – BlockchaIn-baseD viDeo fINgerprintinG, un pipeline de traitement de bout en bout pour coupler l’empreinte vidéo à la solution d’équilibrage de charge de la blockchain.

Abstract :

The last decades have seen video production and consumption rise significantly: TV/cinematography, social networking, digital marketing, and video surveillance incrementally and cumulatively turned video content into the predilection type of data to be exchanged, stored, and processed. It is thus commonly considered that 80% of the Internet traffic is video, and intensive and holistic efforts for devising lossy video compression solutions are carried out to reach the trade-off between video data size and their visual quality. Under this framework, marketing videos are still dominated by the paid content (that is, content created by the advertiser that pays an announcer for distributing that content). Yet, organic video content is slowly but surely advancing. In a nutshell, the term organic content refers to a content whose creation and/or distribution is not paid. In most cases, it is a user-created content with implicit advertising value, or some advertising content distributed by a user on a social network. In practice, such a content is directly produced by the user devices in compressed format (e.g. the AVC – Advanced Video Coding, HEVC – High efficiency Video Coding or VVC – Versatile Video Coding) and is often shared by other users, on the same or on different social networks, thus creating a virtual chain distribution that is studied by marketing experts. Such an application can be modeled by at least two different scientific methodological and technical frameworks, namely blockchain and video fingerprinting. On the one hand, should we first consider the distribution issues, blockchain seems an appealing solution, as it makes provisions for a secure, decentralized, and transparent solution to track changes of any digital asset. While blockchain already proved its effectiveness in a large variety of content distribution applications, its multimedia related applications stay scarce and rise conceptual contradictions between the strictly limited computing/storage resources available in blockchain and the large amount of data representing the video content as well as the complex operations video processing requires. On the other hand, should we first consider the multimedia content issues, each step of distribution can be considered as a near duplication operation. Thus, the tracking of organic video can be ensured by video fingerprinting that regroups research efforts devoted to identifying duplicated and/or replicated versions of a given video sequence in a reference video dataset. While tracking video content in uncompressed domain is a rich research field, compressed domain video fingerprinting is still underexplored. The present thesis studies the possibility of tracking advertising compressed video content, in the context of its uncontrolled, spontaneous propagation into a distributed network: • video tracking by means of blockchain-based solutions, despite the large amount of data and the computation requirements of video applications, a priori incompatible with nowadays blockchain solutions • effective compressed domain video fingerprinting, even though video compression is supposed to exclude the very visual redundancy that allows video content to be retrieved. • applicative synergies between blockchain and fingerprinting frameworks. The main results consist in the conception, specification and implementation of: • COLLATE, an on-Chain Off-chain Load baLancing ArchiTecturE, thus making it possible for the intimately constrained computing, storage and software resources of any blockchain to be abstractly extended by general-purpose computing machine resources; • COMMON – Compressed dOMain Marketing videO fiNgerprinting, demonstrating the possibility of modelling compressed modeling video fingerprint under deep learning framework • BIDDING – BlockchaIn-baseD viDeo fINgerprintinG, an end-to-end processing pipeline for coupling compressed domain video fingerprinting to the blockchain load balancing solution.