Alex Kipman sait très bien ce qu'est le matériel. Depuis qu'il a rejoint Microsoft il y a 16 ans, il était le principal inventeur de plus d'une centaine de brevets, y compris la technologie révolutionnaire de détection de mouvement XboxKinect, qui a ouvert la voie à certaines des fonctionnalités de sa dernière création, un casque 3D holographique appelé HoloLens.
Mais aujourd'hui, assis dans son bureau au siège de Microsoft à Redmond, Washington, Kipman ne parle pas de matériel. Il discute de la relation entre les humains et les machines dans une perspective philosophique plus large. Que nous interagissions avec des machines à travers des écrans ou des objets qui nous tiennent sur la tête, pour lui tout cela n'est qu'un «moment dans le temps».
Né au Brésil, Kipman, spécialiste technique du groupe Windows et périphériques de Microsoft, explique avec enthousiasme que l'un des principaux avantages de la technologie est sa capacité à remplacer le temps et l'espace. Il cite l'exemple de «réalité mixte» (MR), un terme Microsoft désignant un mélange du monde réel avec des graphiques générés par ordinateur. Selon Kipman, il combinera un jour de manière invisible la réalité augmentée et virtuelle. Parmi les caractéristiques les plus frappantes de la MR, dit-il, est le potentiel de libérer des «superpuissances de remplacement» dans le monde réel.
Les gens accordent une valeur particulière au sentiment que vous ressentez lorsque vous partagez physiquement de l'espace avec une autre personne. C'est pourquoi Alice Bonasio de FastCompany a décidé d'interviewer Kipman en face à face. «Mais si vous pouviez faire ce genre d'interaction sans perdre de temps à bouger», dit Kipman, «la vie serait beaucoup plus intéressante». Plus loin de la première personne.
«Ma fille peut interagir avec ses frères au Brésil chaque week-end et mes employés n'ont pas besoin de parcourir le monde pour faire leur travail», poursuit-il. «Avec l'avènement de l'intelligence artificielle, nous pourrions continuer la conversation, mais je ne serais plus là. Un jour, vous et moi parlerons, vous serez sur Mars, et je serai mort pendant cent ans. Le travail de nos techniciens est d'accélérer le futur et de se demander constamment comment le faire."
Microsoft mise sur la réalité mixte pour nous aider à entrer dans le futur. Et ici, nous revenons au matériel. La disponibilité du bon appareil au bon prix sera un facteur pour déterminer si les consommateurs adoptent la réalité mixte (bien que les appareils seuls ne soient pas susceptibles de déclencher la révolution MR, comme l'a montré la RV). Alors que HoloLens est le seul ordinateur holographique autonome sur le marché (contrairement à l'OculusRift ou HTCVive si vous n'avez pas à connecter de câbles à un appareil externe), les lunettes intelligentes de 3000 $ servent davantage de preuve de concept que de produit grand public.
Maintenant, Microsoft veut changer cela. La société lance cet automne les casques Windows Mixed Reality, la première tentative sérieuse de commercialiser le concept auprès du grand public. Bien que cet appareil soit encore plus proche d'un hybride parfait de réalité augmentée et virtuelle, il a déjà incarné les principales fonctionnalités de HoloLens - comme des capacités avancées de suivi et de cartographie - et a offert un prix plus abordable de 300 à 500 dollars. Le casque sera disponible sous diverses formes auprès de divers partenaires matériels, notamment Dell, HP et Samsung, et permettra aux utilisateurs de créer des espaces 3D pouvant être personnalisés avec des médias, des applications, des fenêtres de navigateur, etc.
Selon Microsoft, la mise en œuvre d'une plate-forme permettant à quiconque en général de créer son propre monde numérique est la première étape pour réaliser ce saut dans le monde de demain. «Si vous pensez, comme nous, que la réalité mixte est la prochaine tendance inévitable de l'informatique, vous devrez exploiter la productivité, la créativité, l'éducation et une toute nouvelle gamme de divertissements, du jeu occasionnel au jeu hardcore», déclare Kipman.
Vidéo promotionelle:
Améliorer la réalité mixte
Kipman n'est pas le seul optimiste quant à la réalité mixte. La start-up californienne Avegant travaille sur une plate-forme qui présente des images 3D détaillées en superposant plusieurs plans focaux, ce que la société appelle la technologie du «champ lumineux». «Les applications sont infinies», déclare Jörg Tewis, PDG d'Avegant. «Des concepteurs et ingénieurs qui manipulent directement des modèles 3D avec leurs mains, aux professeurs de médecine qui illustrent diverses maladies cardiaques en utilisant un exemple de modèle pratiquement vivant à leurs étudiants. À la maison, les utilisateurs peuvent entourer les étagères virtuelles de leurs produits préférés. La réalité mixte permet aux gens d'interagir directement avec leurs idées au lieu d'écrans et de claviers."
Pour ce faire, les appareils de réalité mixte doivent prendre en charge des images virtuelles qui sembleront indiscernables du monde réel et interagiront avec lui en un seul morceau. Selon le professeur Gregory Welch, informaticien à l'Université de Floride centrale, la plupart des technologies développées jusqu'à présent n'ont pas encore atteint cet équilibre. "La réalité mixte est particulièrement difficile car il n'y a ni l'imperfection cachée du virtuel, ni la pureté frappante du réel."
Lui et ses collègues ont constaté que dans certains cas, le champ de vision relativement large du monde réel fourni par HoloLens peut nuire à un sentiment de présence important. Alors qu'une personne en bonne santé voit 210 degrés, l'affichage HoloLens agrandit le centre de votre champ de vision d'environ 30 degrés. Dans les expériences de Welch et de son équipe, l'écart entre le paysage réel et le paysage élargi a réduit le sentiment d'immersion et de présence.
«Cela signifie que si vous regardez une personne virtuelle devant vous (comme ce fut le cas dans notre expérience), vous ne verrez qu'une partie de lui flottant dans l'espace devant vous», dit Welch. «Vous devrez bouger la tête de haut en bas pour 'dessiner' sa perception, car vous ne pouvez pas voir la personne entière à la fois à moins de la regarder de loin (elle paraîtra plus petite). Le problème est que votre cerveau voit constamment le monde «normal» qui l'entoure, et cela «écrase» de nombreux types de perception que vous pourriez avoir autrement ».
Welch poursuit en expliquant que dans les démos que nous voyons aujourd'hui avec HoloLens ou Apple ARKit, par exemple, les objets virtuels peuvent être fixés sur une surface plane, mais au-delà de la forme de base et de l'apparence visuelle, le logiciel ne reconnaît généralement pas de nombreuses caractéristiques physiques importantes de l'objet, telles que poids, centre de masse et comportement, ou la surface sur laquelle il est situé - sans parler de toute activité dans le monde réel qui se déroule autour des objets.
«Si je lance accidentellement quelques dés sur la table virtuelle, ils ne« tomberont »pas lorsqu'ils atteindront le bord et rebondiront comme on pouvait s'y attendre en fonction de leur type et du matériau du sol», explique-t-il.
Dans un article que Welch a co-écrit avec le professeur Jeremy Baylinson, directeur du Virtual Human Interaction Lab (VHIL) à l'Université de Stanford, ils ont présenté certains de leurs résultats de recherche qui montrent que le contenu virtuel a une valeur beaucoup plus élevée lorsqu'il présente des comportements que nous faisons. attendez des objets physiques dans le monde réel.
«Dans notre laboratoire, nous commençons à utiliser HoloLens pour comprendre la relation entre l'expérience de réalité augmentée et la relation psychologique ultérieure avec l'espace physique lui-même», explique Beilinson. Par exemple, il explique que ses expériences montrent que les personnes virtuelles qui «marchent comme des fantômes» à travers des objets réels, plutôt que de les contourner ou d'essayer de les éviter, sont perçues comme moins «réelles» que celles qui obéissent aux lois de la physique.
Les progrès de la réalité mixte rendront probablement les casques plus abordables et plus légers, mais il est également possible qu'au moins certaines de nos futures interactions avec cette technologie n'incluent pas du tout l'électronique portable. La réalité augmentée spatiale (SAR), par exemple, développée par Welch il y a de nombreuses années, vous permet d'utiliser des projecteurs pour modifier l'apparence des objets physiques autour de vous, comme le matériau d'une table ou la couleur d'un canapé - sans lunettes.
«Bien sûr, le SAR ne fonctionnera pas dans toutes les situations, mais quand il le fera, ce sera convaincant et facile», déclare Welch. «S'il y a quelque chose de magique dans le moment où le monde qui vous entoure change et que vous n'avez rien à voir avec ça - pas de casque, pas de téléphone, rien. Vous existez simplement dans le monde physique, qui change pratiquement autour de vous."
Outil de collaboration virtuelle dans le monde réel
Nonnie de la Peña, fondatrice et PDG d'Emblematic, a aidé à utiliser la réalité virtuelle comme outil de reporting et de narration. Elle est appelée la «marraine de la réalité virtuelle» et elle croit que la technologie d'immersion est ce qui se rapproche le plus d'imaginer un public - c'est-à-dire de le mettre à la place d'un conteur. Elle pense qu'HoloLens a le potentiel d'augmenter la qualité et la profondeur de notre compréhension du monde, en partie grâce à la capture volumétrique, qui crée un modèle 3D d'objets à l'aide de plusieurs caméras et d'un écran vert. «Microsoft a commencé à offrir un réalisme de haut niveau en utilisant la capture volumétrique, et cela a été immédiatement repris par les journalistes», déclare de la Peña. La propre création d'Emblematic, After Solitary, est un documentaire primé.créé en partenariat avec PBS et KnightFoundation, qui a utilisé cette technique pour transmettre l'essence du traumatisme d'une longue peine de prison.
Le plus grand changement promis par la réalité mixte est que le contenu ne sera lié à aucun appareil en particulier. MR utilise des blocs de construction (objets du monde réel ou objets générés par ordinateur) pour créer des environnements dans lesquels les gens entrent pour une interaction ultérieure. Dans ce contexte, les appareils deviennent une fenêtre qui vous permet de regarder et d'accéder à ces mondes, plutôt qu'un référentiel qui stocke votre contenu personnel (comme votre smartphone).
Dans ces environnements réels / virtuels partagés, note Kipman, notre relation avec l'informatique passe du personnel au partagé - des appareils qui stockent votre propre contenu personnalisé aux espaces partagés de créativité médiés par la technologie. Kipman pense que cela a des implications profondes sur la façon dont nous développerons des applications à l'avenir. Si, par exemple, vous créez une statue virtuelle et la placez comme un hologramme sur une table dans votre salon, une autre personne avec un appareil de réalité mixte verra votre statue quand elle entrera dans la pièce et la déplacera si elle le souhaite. Parce que le contenu n'est pas stocké sur votre appareil, mais sur l'environnement lui-même, définissant les objets (à la fois réels et virtuels) qui l'habitent.
«Ces concepts nécessitent de repenser le système d'exploitation dans un contexte de réalité mixte», déclare Kipman. «Vous devez construire une base qui passe de l'architecture silicium à l'architecture cloud pour réaliser votre propre passage de l'informatique personnelle à l'informatique collaborative. Cela prendra du temps », sourit-il.
Ilya Khel