La nature immersive de la XR représente un défi pour ceux qui sont habitués à créer des narrations pour des médias traditionnels. Les films, productions théâtrales et œuvres d’art sont écrits, réalisés et créés comme si l’audience regardait à travers une fenêtre avec un certain point de vue. La XR, au contraire, est une expérience entièrement en 360. Les créateurs doivent être capable de construire des mondes élaborés, avec un espace beaucoup plus large, tout en considérant que l’audience peut regarder tout autour à n’importe quel moment.
Comment la XR peut-elle se détacher de ces perspectives d’écriture classique et repousser les frontières de la narration en 2D ? Comment les outils sensoriels et synesthétiques sont-ils utilisés pour faire du storytelling avec du design multi-sensoriel ? La narration en VR dépasse le cadre simple du hardware et du software. Elle s’étend à l’environnement et l’atmosphère où l’expérience a lieu à la fois dans le monde réel et virtuel.
En partant des plus grands innovateurs dans le domaine de la VR en 2019, nous explorerons une expérience 360, une narration interactive et une expérience live qui démontrent le futur du storytelling dans le médium immersif.
VR 360
La VR 360 est souvent critiquée pour imiter le support 2D du film. En quoi est-ce différent ? Cependant, quand la VR 360 est utilisée pour offrir de la perspective dans des visuels 360 éblouissants qui accentue la présence dans la narration, c’est extrêmement efficace.
Dans le film VR “Everest- The VR Film Experience”, Sherpa Tenji tente de grimper en haut du mont Everest sans l’aide d’oxygène. Son périple est capturé par le caméraman Jon Griffith en 8K, 3D, réalité virtuelle et audio ambisonique. C’est l’une des rares expériences 360 qui donne envie aux spectateurs de lever la tête et errer aux plus hautes altitudes, et de plonger dans des abysses de glace et des rochers dangereusement escarpés. En capturant les grimpeurs et la grandeur des montagnes en taille réelle, les spectateurs sont invités à participer à l’ascension.
Une grande partie de cet effet aurait disparu si un travail autour du son n’avait pas été fait. Sans un audio spatialisé, net et réaliste, une vidéo 360 peut sembler plate et distante. Les vents hurlants, le craquement de la neige sous les pieds des grimpeurs, la respiration haletante et les mots d’encouragement semblaient si réels et proches que, naturellement, on se mettait à croiser les bras comme si l’on devait se protéger du vent glacé.
Interactif et non-linéaire
Eleven Eleven est une narration immersive de science-fiction de SYFY et NBCUniversal International Networks. C’est une expérience multi-linéaire originale spécialement conçue pour du storytelling en VR et AR. C’est une narration de science-fiction avec plusieurs personnages qui sont dans une course contre la montre alors que la planète vit ses derniers instants. Inspirée par le théâtre immersif, l’expérience présente plusieurs histoires qui se passent simultanément dans une chronologie commune en temps réel.
Trois modes distincts sont disponibles pour que l’audience se sente entièrement impliquée en tant qu’observateur. Le mode “Story” permet au spectateur de se lier à un personnage principal et ainsi les suivre en tant qu’audience passive. Le mode “Explore” est un rôle actif où l’audience peut librement explorer le monde en suivant des personnages secondaires, et chercher des indices pour résoudre le mystère autour de la disparition du monde. Enfin, le mode “Goddess” permet à l’audience d’être omniprésente et de voir le monde sous la forme d’un plateau de jeu en 3D où la narration entière se déploie comme à plat sur une table.
Avec une musique originale de Bleeding Fingers créée avec du son spatial, la bande sonore individuelle de chaque personnage change de façon dynamique selon la position des utilisateurs, se mélangeant harmonieusement avec les notes d’un autre personnage lorsqu’un utilisateur navigue entre les histoires.
“Dans une série ou un film traditionnel, tous les spectateurs voient le même cadre, en même temps et tout le temps, et le compositeur crée une soundtrack musicale pour accompagner. Avec Eleven Eleven, puisque que nous ne savons pas vers où l’utilisateur regardera et à quel moment, cela a été un défi dans la phase de composition musicale. Nous avons décidé de créer un “morceau spatial” pour chaque personnage, dont le volume s’adapte en fonctionne de la proximité entre l’utilisateur et le personnage”, explique Mehrad Noori, directeur programmation générale chez NBCUniversal International Networks et créateur et producteur exécutif de Eleven Eleven.
Le storytelling avec la VR live
Le groupe de musique orienté technologie Miro Shot est le premier à faire une tournée avec un concert live en VR. Ainsi, ils font un pas dans le futur du divertissement en direct avec les techniques immersives. L’histoire ? Construire le monde avec les technologies du futur. Qu’est-ce qu’implique la VR dans une performance live ? Le groupe a commencé par mettre en scène une version “maison” de leurs performances en VR dans un entrepôt d’East London en 2017. “On remplissait le bâtiment de fumée et on mélangeait l’atmosphère d’un concert avec le sentiment d’être physiquement présent dans le monde immatériel que la VR vous offre”, dit Roman Rappak, créateur principal de Miro Shot.
Dans un show typique de Miro Shot, l’audience entre dans une salle remplie de projections de mapping, de neige carbonique et d’un éclairage d’ambiance. Une fois le casque VR enfilé, l’audience expérience un séjour audiovisuel. Celui-ci est fait de paysages virtuels, de diffusion live du concerte, d’éoliennes, de sièges haptiques et de senteurs personnalisées. Tout cela est accompagné d’une soundtrack composée par le groupe. Miro Shot cherche à faire dépasser l’expérience immersive du casque VR. Les éléments théâtraux comme la fumée, le vente, la température, le mapping fait partie d’une nouvelle façon de créer de la musique pour améliorer la narration, qu’elle soit live ou virtuelle.
Dans ces performances, la VR va au-delà de ce qui est visible dans le casque. La caméra embarquée permet à l’audience de se voir entre eux parfois, d’être connecté à l’espace physique, et ainsi d’expérimenter le monde de la musique en lui-même, amorçant un passage vers une nouvelle réalité.
Les chercheurs s’intéressent aussi beaucoup à la VR et la musique dans un décor en direct. Dans le podcast de Kent Bye “Neuroscience & VR: Music, Body Sway & Synchrony at the Institute for Music and the Mind”, il s’entretient avec Laurel Trinor, directrice de l’Institut McMaster de la Musique et l’Esprit. Trainor révèle que, quand des personnes expérimentent un concert de musique en live ensemble, elles sont plus connectées entre elles car leur cerveau fait la même chose au même moment. Ces signaux sociaux nous donnent un sens d’appartenance. Ils démontrent qu’il est important que les personnes soient physiquement synchronisées avec les autres pour la dynamique du groupe social. Quand des personnes bougent en synchronisation, elles se sentent connectées.
The Future of Storytelling à VR Days Europe
Dans le Future of Storytelling, les visiteurs en apprendront plus grâce à des storytellers de renom qui parleront de leur travail et expliqueront les processus derrière leur création. Cette année, à VR Days, seront présents : Joris Weijdom, conférencier à l’Université des Art d’Utrecht et chercheur et designer d’expériences de réalité mixte se concentrant sur les processus créatifs interdisciplinaires et sur la performativité, Michel Reilhac, architecte indépendant d’histoires interactives, Tupac Martir, directeur artistique du Satore Studio, Kiira Benzing de Double Eye Studio, et plus encore.
Source : Medium
