Así utilizará Volkswagen la realidad mixta de HoloLens 2 en sus vehículos

  • Casos de éxito

Microsoft ha colaborado con Volkswagen para utilizar HoloLens 2, su visor de realidad mixta, en los vehículos de la compañía. El objetivo es utilizar la tecnología de Microsoft para proyectar información de interés dentro de los coches: hologramas que muestren información de tráfico, condiciones climáticas o recomendaciones de trayecto mientras se conduce.

Tanto Microsoft como Volkswagen prevén que la Realidad Mixta se convierta en un elemento clave en la movilidad del futuro, a medida que se desarrollen versiones más pequeñas y compactas de las gafas.

Las dos multinacionales han formado tándem HoloLens 2, el visor de realidad mixta de Microsoft, en los vehículos de la compañía de automoción, con el objetivo de utilizar la tecnología de proveedor para proyectar información de interés dentro de los coches: hologramas que muestren información de tráfico, condiciones climáticas o recomendaciones de trayecto mientras se conduce. Para ello, han desarrollado juntos varias capacidades para optimizar los sensores de movimiento del dispositivo.

HoloLens 2 rastrea el movimiento a través de una combinación de sensores de cámara y una unidad de medición inercial (que incluye acelerómetros y giroscopios), pero, dentro de un automóvil, las lecturas de estos dos sensores pueden entrar en conflicto. La tecnología del dispositivo sigue el movimiento de la cabeza en relación con un escenario estático, pero, en un coche, existen elementos fijos (la estructura del propio vehículo) y otros que se mueven a su alrededor.

El nuevo modo plataforma móvil de HoloLens 2 supone una importante mejora para el dispositivo y ofrece nuevos modos de uso de la Realidad Mixta: por ejemplo, permite conducir bajo condiciones muy desfavorables o desarrollar nuevas experiencias de usuario para coches autónomos. Y, aunque por el momento Volkswagen ha estudiado esta nueva funcionalidad aplicada a la movilidad, en el futuro podría implementarse en otros sectores.

“La información que ofrece la realidad mixta es la que tiene mayor capacidad para mejorar la experiencia de usuario de nuestros clientes”, ha explicado el Dr. Andro Kleen, jefe del equipo de Ciencia de Datos de Volkswagen Group Innovation.

Volkswagen, uno de los primeros marcas en adoptar la tecnología de realidad mixta, ya introdujo una pantalla frontal de Realidad Aumentada en su familia de vehículos eléctricos en 2020. Esta proyecta flechas de dirección, marcas de carril y otra información relevante sobre el entorno: elementos que facilitan la conducción, ya que los usuarios no tienen que apartar los ojos de la carretera para obtener la información que necesitan.

Igualmente, en 2015, Volkswagen se embarcó en un proyecto de investigación utilizando automóviles autónomos y realidad mixta para enseñar a conducir en un circuito de carreras. Se puso a prueba en el circuito de carreras de Volkswagen en Ehra-Lessien, Alemania, a través del sistema Race Trainer. Este superpone flechas en la pista a través de una pantalla frontal para que los conductores las sigan, y proporciona señales de dirección y frenado para guiarlos a través de un conjunto de lecciones graduales.

Al comenzar estos proyectos de investigación, Volkswagen encontró algunas dificultades para implementar la realidad mixta Cuando HoloLens 2 se utilizaba en un automóvil en movimiento, sus sensores perdían el seguimiento y los hologramas que normalmente se muestran desaparecían. Fue así que, en 2018, ambas compañías comenzaron a trabajar juntas para desarrollar la función de plataforma móvil para HoloLens 2. Según Marc Pollefeys, director del Laboratorio de Realidad Mixta e IA de Microsoft en la ciudad suiza de Zúrich, "Volkswagen nos presentó sus casos de uso y lo que esperaban lograr. Necesitaban trabajar con nosotros para encontrar una solución y poder utilizar HoloLens en esos escenarios”. 

Para afrontar el reto, el equipo de Microsoft desarrolló un algoritmo que modela las discrepancias entre los sensores y permite que HoloLens continúe rastreando mientras el coche está en movimiento. Pero probar la capacidad planteó otro desafío. Dado que las restricciones de la COVID-19 en Suiza no permitían, en ese momento, probar la tecnología dentro de un coche con otra persona, se comenzó probando el prototipo en tranvías y autobuses por Zúrich, asegurándose de que los hologramas se mostraban correctamente mientras los vehículos se movían. Después se realizaron pruebas cerca del campus de Microsoft en Redmond, a través de embarcaciones recreativas y equipos de medición externos que evaluaban el rendimiento del sistema de seguimiento de HoloLens 2.

Finalmente, Microsoft puso a prueba la nueva función con Volkswagen. Los investigadores de Volkswagen establecieron una conexión de datos bidireccional entre el coche y HoloLens para mostrar y controlar información del automóvil en tiempo real. Finalmente, el equipo desarrolló varios casos de uso para investigar cómo las interfaces virtuales podrían mejorar el interior de los automóviles en el futuro.

“Implementamos un sistema de posicionamiento que rastrea la ubicación del vehículo. De esta manera, también pudimos colocar elementos 3D, como información sobre puntos de interés, fuera del automóvil. Esto ofrece nuevas posibilidades, desde mostrar hologramas dentro del campo de visión frontal del conductor, hasta dondequiera que mire el usuario que usa las gafas”, ha asegurado Michael Wittkämper, experto en Realidad Mixta de Volkswagen.