VRTogether était présent à la 6ème édition de VRDays Europe.
Crédits photos : VRTogether
VRTogether était présent à l’édition 2020 de VRDays Europe, mettant en valeur la première vidéo-conférence 3D en direct au monde, utilisant des nuages de points, sur un réseau 5G public.
VRTogether, accompagné de ses partenaires CWI et Sound, ont fait une démo en direct pour démontrer le potentiel de la plateforme pour des services de soins d’urgence. La démo présentait une vidéo-conférence volumétrique (basée sur des nuages de points) entre un médecin, dans une salle d’examen médical, et un patient (acteur) blessé dans la rue.
Le médecin a été capturé sur la scène de VRDays avec des caméras Azure Kinect. Sur la même scène, l’expérience a été capturée par une caméra virtuelle, projetée sur un grand écran et diffusée en temps réel. Le patient, qui a participé à la session depuis l’extérieur près du Science Park d’Amsterdam, a été capturé par un Samsung S20 Ultra 5G, et diffusé sur le réseau 5G standard de KPN en temps réel.
L’application de capture sur le téléphone utilise les caméras de profondeur et de couleurs pour capturer les images de profondeur et de couleur. Après avoir appliqué quelques transformations d’alignement, un nuage de point est calculé à partir des informations sur les deux images. Pour la démo, VRTogether a utilisé une résolution de profondeur de 240×180 pixels qui s’est transformée en une moyenne de 20000 points par image. Le streaming a été diffusé à 20 images par seconde, ce qui donne un flux de 51,2 Mbits/seconde ; trop important pour faire un streaming via un réseau 4G (la vitesse de téléchargement est d’environ 25 Mbits/s), mais suffisant pour un réseau 5G (même à 700 MHz).
- Résolution en profondeur : 240×180
- Max de points : 20000
- Octets/point : 16
- Octets en-tête : 24
- Octets du corps : 320000
- Total des octets/image : 320024
- Image par seconde : 20
- Mo/s : 6,40
- Mbit/s : 51,20
Capture de nuages de point depuis un téléphone mobile 
Caractéristiques du réseau 5G autour du parc d’Amsterdam
La plateforme de VRTogether a été utilisée pour orchestrer l’expérience. Dans le cadre de ce projet, nous avons développé un pipeline de bout en bout pour la livraison de la vidéo volumétrique, sous forme de nuages de points. La plateforme a trois caractéristiques uniques : elle offre une expérience en temps réel, afin que nous puissions explorer de nouvelles formes de communication et de collaboration avec la vidéo volumétrique ; elle permet un mécanisme d’optimisation basé sur le contexte de l’interaction et du comportement humain ; et elle est extensible, ainsi les composants techniques (capture, compression, livraison, rendu) peuvent être personnalisés selon les besoins de l’interaction. La plateforme utilise un algorithme de compression pour nuage de points qui a remporté un prix, développé par le groupe Distributed and Interactive Systems de CWI.
Article co-écrit avec Patrick de Lange, fondateur de Sound, partenaire du projet.