Dix années passionnantes de technologies XR (2010-2014)

Dans les années 1960, le premier casque de réalité virtuelle est né. S’en est suivi de nombreux autres appareils qui tentaient d’immerger les utilisateurs dans un autre monde en stimulant tous leurs sens. Des décennies plus tard, l’intention reste la même mais les appareils ont bien changé. Les années 2010 marquent un certain tournant dans l’histoire de la réalité virtuelle. Les technologies XR se développent significativement, grâce notamment à l’implication de grands groupes dans le secteur comme Facebook, Samsung, Apple. Alexandre Bouchet, directeur du laboratoire CLARTE, nous offre une histoire des dix dernières années autour des technologies immersives.

2010 : et si la réalité virtuelle tirait ses progrès techniques des jeux-vidéos ?

Nous sommes en 2010, Apple vient de sortir l’iPhone 4 et d’annoncer une tablette qui s’appellera l’iPad, Snapchat ne verra le jour que dans 18 mois, et les joueurs de l’équipe de France de football en pleine coupe du Monde en Afrique du Sud s’apprêtent à descendre du bus.

Quelques mois avant 2010, Nintendo sortait une nouvelle version de sa manette (Wiimote) pour la console Wii dénommée la Wii motion Plus. Si la Wiimote avait déjà marqué son époque par sa capacité à reconnaître des gestes simples pour interagir avec des jeux-vidéos, cette nouvelle version offrait désormais un réel suivi fin et précis en 6 dimensions de vos mouvements. Rappelez-vous. Je suis sûr que vous avez essayé avec cette console de jouer au tennis ou au bowling devant une télévision. C’était probablement la première fois que l’on voyait des enfants, parents et grands-parents partager ensemble une expérience vidéo-ludique rendue possible par le simple fait que l’interaction devenait naturelle. 10 ans après, le jeu de réalité virtuelle désormais le plus vendu (Beat Saber) propose un gameplay finalement assez proche de ces premières expériences.

En 2010 sortait également le Playstation MOVE, sorte de manette sans-fil en forme de micro, équipée de divers capteurs dont une sphère lumineuse détectée par une caméra et permettant à la PlayStation 3 de suivre dans l’espace vos mouvements. Ce sont ces mêmes PS Move et cette même technologie que nous retrouverons en 2017 dans le casque de réalité virtuelle SONY pour la PlayStation 4.

Enfin, en fin d’année 2010, Microsoft sortait une étrange caméra dont le nom de code était Project Natal et le nom commercial deviendrait KINECT. En plus de filmer en couleurs (RGB) cette caméra mesurait la profondeur (D) de chaque pixel et numérisait en quelque sorte en 3D tout ce qui se trouvait devant ses objectifs. Les caméras entraient dans le troisième stade de leur histoire : après avoir servi de support de capture de l’instant (mémoire), puis de partage de l’instant (communication et réseaux sociaux) elle permettait désormais de comprendre le monde. La Kinect ouvrira la voie à des formes de jeux-vidéos engageant non plus simplement vos bras mais l’intégralité de votre corps. Massivement utilisée et détournée par les Makers du monde entier elle trouvera des usages professionnels et particulièrement dans le domaine de la santé. La KINECT posera les bases de nombreux dispositifs exploitant des années plus tard des caméras RGB-D comme le Microsoft HOLOLENS, la technologie Google Tango, la caméra de reconnaissance faciale de l’iPhone X ou encore des capteurs d’obstacles équipant les drones.

Pendant ce temps chez CLARTE nous inaugurions une nouvelle version de notre système immersif de type Cave : le SAS3+. 1M€, 3 écrans en verres de 4 mètres de haut et 1,5 tonnes, 8 vidéoprojecteurs 3D Full-HD et 10 PC pour faire tourner tout cela. Nous présentions également lors de l’inauguration nos premiers travaux de réalité augmentée projective (SAR) qui trouveraient leurs usages industriels quelques mois plus tard.

Côté salon, nous exposions à Euronaval en partenariat avec le bureau d’étude de construction navale MAURIC (44) qui présentait un concept-ship en réalité virtuelle grâce à l’utilisation d’un système bi-écran de notre conception : le WorkBench.

Lors de Laval Virtual, nous présentions les résultats du projet VR4D (virtual reality for design) conduit en partenariat avec l’Ecole de Design de Nantes, GRUAU, NAVAL GROUP et les Ateliers Saint Victor. Il s’agissait de concevoir des outils logiciels permettant en réalité virtuelle de travailler le design d’espaces restreints tels que des cuisines, des cabines de véhicules ou des couchettes de sous-marins. Une sorte de tilt-brush avant l’heure visant à laisser s’exprimer in-virtuo la créativité du designer.

2011 : de plus en plus de projets immersifs

En 2011, sortait le Razer hydra, premier système d’interaction pour PC à bas-coût avec suivi de position sur 6ddl, basé sur une technologie électromagnétique. Destiné aux créateurs de jeux-vidéos, il fut massivement adopté et détourné par la communauté des « geeks de la VR » pour interagir avec les mondes virtuels, et même servir de tracker de tête sur les premiers modèles de casques de réalité virtuelle.

Nous développions alors en collaboration avec ON-X, ENOZONE, HAPTION et SONIRIS la première version de la solution WIT4PRO  pour Saint-Gobain Recherche et WEBER. Cette solution de réalité virtuelle visait à former les artisans à la projection d’enduit de façade. Grâce à un modèle réaliste de la projection et du comportement de la matière nous pouvions analyser finement les épaisseurs d’enduits déposées et analyser le geste de l’apprenant. C’est dans cette solution que l’on trouve les origines de l’inspiration de la solution de formation à la peinture virtuelle que nous développerions quelques années plus tard.

Avec NAVAL GROUP nous mettions au point une « table tactique 3D » un système de visualisation « holographique » de théâtres d’opérations connecté aux systèmes de combat des navires. Cette solution évaluée par des équipes facteurs humains de NAVAL GROUP visait à faciliter la compréhension de situations complexes par le recours à une visualisation plus intuitive grâce à la 3ème dimension.

Par ailleurs nous achetions en cette fin d’année un nouveau modèle de casque de réalité virtuelle, le Sensics Zsight 1920 pour environ 20000€. Ce qui semblait alors être un bon investissement alors ne s’est pas révélé être réellement durable. Vous allez tout de suite comprendre pourquoi…

2012 : la naissance de l’Oculus Rift

1er août 2012, lors de la conférence E3, John Carmack le célèbre développeur de jeux-vidéos (dont Doom, Quake,…) présente un prototype de casque de réalité virtuelle composé d’un écran LCD de 5,6’’ “scotché” à une centrale inertielle à haute cadence et à deux lentilles en plastique. Ce n’est pas dans le matériel que réside l’innovation (ou alors dans son côté “low-tech”) mais plutôt dans la couche logicielle développée pour contrecarrer tous les défauts de ce matériel à bas-coût pour offrir une qualité d’expérience similaire, voire supérieure, aux casques alors disponibles sur le marché. Encore originale à l’époque, une démarche de financement participatif est lancée par le créateur du prototype, le jeune Palmer Luckey, et en moins de 3 jours le projet atteint 1 M$ de financement pour terminer à 2,4 M$.

Les premiers modèles de ce casque de réalité virtuelle nommé OCULUS RIFT DK1 seront livrés en 2013. Grâce à notre partenaire Sébastien KUNTZ alors en possession d’un des premiers modèles disponibles en France, nous découvrions une nouvelle génération de matériel qui rendrait le casque SENSICS acheté quelques mois plus tôt pour 50 fois plus cher … obsolète.

Côté recherche, cette année 2012 voyait l’aboutissement du passionnant projet OPENVIBE 2 dans lequel nous nous intéressions avec l’INRIA, l’INSERM, UBISOFT, le CEA et d’autres, au sujet des interfaces électro-encéphalographiques (EEG) pour l’interaction avec les mondes virtuels. Nous avions développé un serious game immersif basé sur des techniques de neuroFeedback destiné aux enfants atteints de troubles de déficit de l’attention/hyperactivité (TDAH).

Dans le même temps nous démarrions le projet VIRTUALITEACH piloté par CLARTE avec le CEA-list, le LOUSTIC et 3 académies de l’éducation nationale comme partenaires. Dans le cadre des plans d’investissement d’avenir il s’agissait du premier projet français visant à introduire les technologies de Réalité Virtuelle dans les parcours pédagogiques du Bac STI 2D. 

2013 : Google entre dans le jeu de la VR/AR

En milieu d’année, sortait donc le casque OCULUS RIFT DK1 qui relancerait une dynamique très importante de développement des casques de réalité virtuelle (Head-mounted displays) de nouvelle génération. Mais, cette année 2013 a surtout été marquée par la sortie des Google Glass.

Annoncée en juin de l’année précédente, elles font dès janvier 2013 la une des réseaux sociaux à cause du « bad buzz » provoqué par une photo de Sergey Brin (cofondateur de google) portant les lunettes dans le métro de New-York. Les intrications entre Google et le sujet du respect de la vie privée, associées au fait de porter des lunettes équipées d’une caméra et d’un micro en plein milieu d’un lieu public, desservent clairement la campagne de communication autour du produit. Il s’agira surement par ailleurs du dispositif qui a provoqué la plus grande confusion entre la notion d’affichage tête-haute et les systèmes de réalité augmentée. Les Google Glass n’étaient clairement pas un dispositif d’AR. Elles ne permettaient pas de combiner en temps réel dans votre champ de vision une perception du monde et des augmentations. C’était un smartphone, un tout petit smartphone même, attaché à votre tête, avec peu de puissance, très peu de batterie et finalement une ergonomie d’usage très perfectible. Mais elles ne sont pas mortes, en tout cas pas pour les usages professionnels,  puisque Google a annoncé récemment la deuxième version de la version Entreprise du dispositif.

En termes d’innovations pour CLARTE, en cette année 2013, c’est le thème  de la réalité augmentée qui était à l’honneur. En particulier, une  forme d’AR dite Projective que nous mettions au point pour NAVAL GROUP. Afin d’assister les  opérations de soudure à l’intérieur des navires, il s’agissait  d’utiliser un couple calibré caméra-vidéoprojecteur pour se repérer dans  l’espace et afficher les plans 3D de montage directement sur les parois des navires.

Pour finir l’année, en octobre 2013, nous officialisions notre partenariat avec la société MiddleVR pour le transfert technologique progressif de notre solution logicielle IMPROOV. Développée par CLARTE pour ses propres besoins au cours des années précédentes, cette solution de revue collaborative de maquette numérique en réalité virtuelle équipait alors les sites de NAVAL GROUP, PLASTIC OMNIMUM, NEXTER,… Elle compte désormais parmi ses utilisateurs la NASA, le CNES, L’OREAL.

2014 : “l’année du grand écart”

C’est l’année du grand écart. En mars 2014, Facebook annonçait le rachat d’Oculus pour une somme estimée à 2 milliards de dollars (plus 1 milliard de bonus pour retenir certains employés pour quelques années) à la suite à la sortie du casque de réalité virtuelle l’année passée. La société n’avait que 18 mois d’existence, quelques centaines de kits de développement dans la nature. Mais la légende raconte que Marc Zuckerberg aurait décidé de l’acquisition en un week-end, convaincu alors que la réalité virtuelle « sera la prochaine grande plateforme Informatique ». A titre de comparaison, le rachat d’Instagram par Facebook cette même année est estimé à 1 milliard de dollars.

Quelques mois plus tard il se retrouvait malheureusement au tribunal, pour témoigner dans le cadre du procès intenté à Oculus par l’éditeur de jeux vidéo Zenimax, ancien employeur de John CARMACK, qui prétendait que le casque de réalité virtuelle Rift était bâti en partie sur de la technologie volée. Ils furent condamnés en première instance à 200 millions de dollars de dommages et intérêts pour avoir violé les termes d’un accord de confidentialité.

En juin, Google annonçait le « Cardboard », délice de low-tech, cette boîte en carton équipée de deux lentilles en plastique permettait à l’aide d’un smartphone inséré dans une encoche prévue à cet effet de vivre une expérience en réalité virtuelle pour moins de 5 dollars. Cocorico, ce projet avait été initié par deux Français du Google Cultural Institute parisien. Même si la faible qualité de l’équipement et la non-maîtrise de la diversité des formats d’écrans de Smartphone a bien souvent conduit à des expériences immersives de piètre qualité, le Cardboard a, à sa manière, contribué à diffuser la connaissance de la VR auprès du plus grand nombre. Dans le même temps, Youtube s’ouvre aux formats vidéo à 360°.

En juin également, Google présentait les résultats du projet Google TANGO mené en collaboration avec de nombreux partenaires. Les technologies ici développées visaient à permettre à un dispositif mobile (tablette ou smartphone) de se localiser dans l’espace et d’estimer ses mouvements. Nous faisions partie des premiers à recevoir ce dispositif en France et nous avons pu développer de nombreux prototypes de localisation dans des espaces non préparés à des fin de guidage des opérateurs sur un chantier par exemple.

En cette fin d’année 2014, Samsung lançait le Gear VR, sorte de Cardboard haut de gamme, compatible uniquement avec des téléphones de la marque. Dispositif qualitatif, le Gear VR fut pendant les années qui suivirent la plateforme de référence pour la diffusion de vidéos 360° de réalité virtuelle jusqu’à l’arrivée de l’Oculus GO en 2019.