Gracia simplifie la capture de vidéos volumétriques

Dans la création d’expériences immersives, la capture de vidéos et le réalisme du rendu sont des critères essentiels. C’est là que la capture volumétrique photoréaliste entre en jeu, permettant de reproduire des images fidèles au monde réel dans un environnement virtuel. Cependant, le traitement et déploiement de ces vidéos nécessitent généralement des logiciels lourds. L’entreprise Gracia entend simplifier à la fois la capture et la diffusion de vidéos volumétriques grâce notamment à la technique du 4D Gaussian Splatting. Nous avons rencontré Georgii Vysotskii, CEO et co-fondateur.

Pouvez-vous présenter votre entreprise ?

Gracia est une start-up londonienne qui a développé la première infrastructure au monde dédiée à la production et à la distribution de vidéos volumétriques photoréalistes à l’aide de la technologie 4D Gaussian Splatting (4DGS). Notre solution peut être utilisée dans les domaines de la réalité étendue (XR), des effets visuels (VFX), de l’infographie et des industries créatives, permettant ainsi un large éventail d’applications telles que la recherche de lieux de tournage pour les productions cinématographiques à l’aide du Gaussian Splatting, les divertissements et expériences immersifs, les masterclasses volumétriques, les performances virtuelles, et bien plus encore. Le 4D Gaussian Splatting est une technologie révolutionnaire qui permet la reconstruction d’objets et de scènes du monde réel avec une fidélité photographique et leur exploration en réalité étendue (XR).

Nous proposons une solution complète comprenant un traitement accéléré dans le cloud, un environnement de studio pour le montage, des plugins pour Unity et Unreal Engine, ainsi qu’un système de distribution pour le contenu 4DGS. La société Gracia a été fondée en 2023 par moi-même et Andrey Volodin, directeur technique et cofondateur.

Avez-vous prévu des contenus exclusifs pour nos visiteurs ?

À Laval Virtual, nous présentons notre mise à jour la plus importante à ce jour : la prise en charge du WebXR pour le streaming de vidéos volumétriques. Il s’agit d’une avancée majeure qui transforme les médias volumétriques, auparavant constitués de fichiers lourds et isolés, en un format natif du Web accessible à tous. 

Parmi les points forts, citons WebXR et WebGPU, ainsi que la possibilité de visionner des vidéos 4D photoréalistes directement dans un navigateur (sur des casques, des smartphones ou des ordinateurs portables) sans avoir à télécharger d’application native. Nous avons également atteint un débit de transmission de 75 Mbps (environ 500 Mo par minute de streaming vidéo), rendant ainsi le contenu volumétrique haute fidélité accessible avec une bande passante grand public. Nous proposons également des outils mis à jour pour une intégration transparente de 4DGS dans les workflows Unity et Unreal Engine.

Sur notre stand, les visiteurs pourront découvrir nos contenus sur différents appareils. Nous montrerons comment nos vidéos volumétriques fonctionnent sur des casques autonomes, ainsi que via PCVR. Une démonstration en ligne sera également proposée. Les visiteurs pourront assister au lancement instantané de scènes 4D via un navigateur web et constater par eux-mêmes la facilité de diffusion.

Comment mettez-vous l’accent sur l’innovation chez Gracia ?

Du point de vue de l’innovation, nous relevons trois défis fondamentaux qui freinent le développement des médias volumétriques : la cohérence temporelle, la compression et le rendu, ainsi que la simplification de la capture.

Contrairement aux approches de type « flipbook », où les images sont traitées séparément, nous traitons les images ensemble par lots qui se chevauchent. Cela garantit l’absence de scintillement et permet une interpolation « infinie » des images (par exemple, la lecture fluide d’une séquence capturée à 30 images par seconde à une fréquence de 90 images par seconde).

Dès le premier jour, nous avons réduit la taille des données de 100 fois, la faisant passer de 100 Go/min à environ 1 Go/min. Nous optimisons désormais ces fichiers pour atteindre 75 Mbps afin de permettre un streaming fluide. Cette efficacité soutient directement notre avancée majeure en matière de rendu en temps réel sur les casques autonomes — un défi que nous sommes très fiers d’avoir relevé. Nous pouvons désormais rendre jusqu’à un demi-million de splats par image sur des appareils à partir du Quest 3 à 72 FPS, garantissant une expérience fluide sans cinétose.

Enfin, nous nous concentrons actuellement sur la réduction du nombre de caméras nécessaires pour une capture de haute qualité et sur la mise à disposition de cette technologie à un plus large éventail de créateurs.

Votre solution contribue-t-elle à transformer différents secteurs d’activité ? 

La vidéo volumétrique était jusqu’à présent limitée par des captures en studio, des fichiers volumineux et des performances médiocres. Gracia la transforme en une infrastructure pratique comparable à la vidéo en streaming traditionnelle. Les applications concrètes sont multiples.

Dans les domaines de l’éducation et du sport, les contenus 4DGS en réalité virtuelle et augmentée permettent de transmettre avec une grande précision des techniques d’apprentissage complexes dans des domaines tels que le sport, la cuisine et l’artisanat. Les utilisateurs ont la possibilité de mettre la vidéo en pause et d’examiner la leçon sous tous les angles, ce qui leur offre une compréhension spatiale complète du processus.

Pour l’industrie des effets spéciaux et du cinéma, nous permettons aux studios d’intégrer des performances volumétriques photoréalistes qui conservent une ressemblance parfaite avec les acteurs et un éclairage fidèle, contournant ainsi le travail fastidieux des doublures numériques traditionnelles et permettant un recadrage créatif complet en post-production.

Dans le domaine de la mode, nous avons animé un défilé 4DGS (Karl Kani), où les spectateurs pouvaient examiner les textures des vêtements et les mouvements des mannequins sous tous les angles avec un réalisme photographique. Et pour le secteur du divertissement, notre technologie anime une expérience dans l’un des principaux parcs d’attractions européens.