Des chercheurs de l’université Brown, aux États-Unis, ont mis au point une nouvelle méthode de compression vidéo baptisée PackUV. Cette technologie pourrait rendre possible le streaming de vidéos volumétriques en 3D sur les appareils du quotidien, sans nécessiter de nouveaux écrans ou équipements spécifiques.
Compatible avec les codecs vidéo déjà utilisés par des plateformes comme Netflix ou YouTube, cette innovation constitue une étape importante vers une nouvelle génération de contenus immersifs.
Une vidéo que l’on peut observer sous tous les angles
Contrairement à une vidéo classique, la vidéo volumétrique permet de regarder une scène depuis n’importe quel point de vue.
Pour y parvenir, les chercheurs utilisent des dizaines de caméras synchronisées qui filment simultanément un sujet sous tous les angles. Des algorithmes reconstruisent ensuite la scène en trois dimensions, offrant la possibilité de se déplacer virtuellement autour de l’action.
Selon Aashish Rai, doctorant en informatique à l’université Brown et principal auteur de l’étude, cette technologie ajoute la dimension du temps à un environnement en 3D, créant ainsi une véritable vidéo 4D.
À terme, les spectateurs pourraient choisir eux-mêmes leur angle de vue, par exemple suivre une action sportive depuis le terrain ou assister à un concert directement depuis la scène.
Le principal obstacle : des fichiers gigantesques
Jusqu’à présent, la vidéo volumétrique souffrait d’un problème majeur : sa taille.
Une séquence de seulement 30 minutes peut représenter plusieurs téraoctets de données, ce qui rend son stockage et sa diffusion sur Internet extrêmement complexes.
Les formats utilisés sont également incompatibles avec les infrastructures actuelles de streaming.
PackUV transforme la 3D en vidéo compatible avec Internet
Pour résoudre ce problème, les chercheurs ont développé PackUV, une technique capable de convertir une scène 3D complexe en une représentation 2D beaucoup plus compacte.
Le principe est comparable à la projection d’un globe terrestre sur une carte plane : toutes les informations de la scène sont conservées, mais sous une forme plus facile à compresser.
Les images obtenues sont ensuite assemblées en une vidéo compatible avec les codecs actuels, permettant une diffusion via les réseaux Internet existants.
Selon les chercheurs, cette approche permet de partager et de diffuser une vidéo volumétrique presque comme une vidéo traditionnelle.
Des vidéos de 30 minutes sans perte de suivi
PackUV améliore également la stabilité des vidéos longues.
Les méthodes actuelles rencontrent des difficultés lorsqu’un objet disparaît momentanément du champ de vision ou lorsqu’une nouvelle personne entre dans la scène.
La nouvelle technologie découpe automatiquement la vidéo en plusieurs segments et réinitialise régulièrement le suivi des objets afin de retrouver plus facilement les éléments temporairement masqués.
Grâce à cette approche, les chercheurs sont parvenus à générer des vidéos volumétriques de près de 30 minutes, une durée nettement supérieure à celle obtenue avec les techniques existantes.
Des applications dans le divertissement, le sport et l’industrie
Pour valider leur méthode, les chercheurs ont constitué ce qu’ils présentent comme la plus grande base de données de vidéos multi-caméras jamais créée.
Les séquences couvrent des activités variées comme la cuisine, le bricolage ou encore plusieurs disciplines sportives, filmées grâce à des dispositifs comprenant entre 50 et 90 caméras synchronisées.
Au-delà du divertissement, cette technologie pourrait également servir à créer des jumeaux numériques extrêmement fidèles d’environnements réels, avec des applications dans l’industrie, la fabrication, la formation ou encore la simulation.
Même si cette avancée ne permettra pas immédiatement de regarder des vidéos 3D interactives sur toutes les plateformes, elle rapproche considérablement cette technologie d’une utilisation grand public.