Realidad Mixta (RM) con Seguimiento Espacial Preciso

La realidad mixta (RM) se define como una fusión avanzada de los entornos físico y digital, en la que objetos virtuales interactúan con el mundo real de forma coherente y en tiempo real. A diferencia de la realidad virtual (RV), que sumerge al usuario en un espacio totalmente sintético, y de la realidad aumentada (RA), que solo superpone información digital al entorno real, la RM permite transiciones interactivas entre ambos mundos. En palabras de Microsoft, “las experiencias que superponen gráficos, streamings de vídeo u hologramas en el mundo físico se denomina realidad aumentada; las que tapan la visión son de realidad virtual; y las que pueden transicionar entre ambas forman la realidad mixta”. En la RM, los objetos digitales aparecen fijados en el espacio físico como si existieran realmente en él, permitiendo al usuario manipularlos e interaccionar con ellos en tres dimensiones (3D).

Fundamentos del seguimiento espacial preciso

El seguimiento espacial en RM se basa en la integración de diversos sensores y algoritmos avanzados que estiman continuamente la posición y orientación (6 grados de libertad) del dispositivo en su entorno. Entre los sensores clave destacan las cámaras ópticas (monoculares, estéreo o RGB-D), sensores de profundidad (como cámaras time-of-flight o LiDAR) y las unidades de medición inercial (IMU) (acelerómetros y giróscopos). Por ejemplo, dispositivos como Magic Leap 2 usan tres cámaras ambientales de 1.0 MP en escala de grises más una cámara RGB de 12.6 MP para captar el entorno, mientras que HoloLens 2 incorpora cuatro cámaras RGB frontales y un sensor ToF de profundidad. Estos dispositivos también incluyen IMUs para medir rotaciones y aceleraciones.

• Visión y cámaras: Las cámaras capturan imágenes del entorno, que se procesan para extraer características visuales (puntos de interés, contornos, etc.). Por ejemplo, Magic Leap 2 dispone de tres cámaras globales para percepción del mundo (visión amplia en escala de grises) y una cámara RGB de alta resolución. Varjo XR-3 emplea dos cámaras estéreo (RGB) con video passthrough de 12 MP cada una. Estas cámaras permiten detectar superficies y objetos en el entorno físico.
  
• Sensores de profundidad: Cámaras ToF y LiDAR miden directamente distancias al entorno para construir un mapa 3D. Magic Leap 2 incluye un sensor de profundidad ToF que genera imágenes de profundidad del entorno. Varjo XR-3 integra un sensor LiDAR que mejora la conciencia de profundidad y la oclusión realista en tiempo real. Estos sensores aceleran el mapeo espacial y mejoran la precisión del seguimiento.
  
• Unidades inerciales (IMU): Acelerómetros y giróscopos miden la aceleración lineal y la rotación angular del dispositivo. Al fusionar datos de la IMU con la información visual, se realiza un seguimiento más robusto durante movimientos rápidos o cambios de orientación bruscos.
  
• Algoritmos de seguimiento: Los sistemas de RM emplean principalmente técnicas de SLAM (Simultaneous Localization and Mapping) y odometría visual-inercial (VIO). El SLAM permite construir simultáneamente un mapa del entorno desconocido mientras se localiza el dispositivo en dicho mapa. En la práctica se usan variantes de SLAM basadas en visión por computador (Visual SLAM) que extraen puntos característicos de las imágenes. La odometría visual-inercial (VIO) combina las imágenes de cámara con datos de la IMU para estimar la pose 6-DoF en tiempo real. Estos algoritmos “inside-out” se ejecutan localmente en el dispositivo, permitiendo un seguimiento continuo sin necesidad de sensores externos.
  

Tecnologías y dispositivos actuales

Los visores de RM modernos integran las tecnologías anteriores para lograr seguimiento espacial preciso. Por ejemplo, el Microsoft HoloLens 2 incluye cuatro cámaras RGB frontales, un sensor de profundidad ToF de 1 MP y una IMU (acelerómetro, giroscopio, magnetómetro). Estos sensores permiten al HoloLens 2 mapear el entorno en tiempo real (creando un spatial mesh) y rastrear la posición del usuario en un espacio de escala mundial (6DoF).

Figura: Microsoft HoloLens 2, visor independiente de realidad mixta con sensores integrados para mapeo espacial.

El Magic Leap 2 es otro visor empresarial de RM que apuesta por el enfoque inside-out. Utiliza tres cámaras del entorno de 1.0 MP y una cámara RGB de 12.6 MP para la percepción espacial, además de un sensor de profundidad ToF y una IMU. Esta configuración permite a Magic Leap 2 rastrear la cabeza del usuario y crear “espacios” tridimensionales del entorno (SLAM visual) sin estaciones externas.

La línea Varjo XR (por ejemplo, XR-3 o XR-4) está orientada a escenarios profesionales de AR/XR. Estos dispositivos emplean cámaras estéreo de alta resolución para video pass-through y un sensor LiDAR para conciencia de profundidad. El seguimiento de posición en Varjo XR-3 es inside-out (beta) usando las cámaras integradas, aunque opcionalmente se puede usar seguimiento exterior tipo SteamVR (base stations) para mayor precisión. El LiDAR de Varjo permite oclusión precisa entre objetos reales y virtuales, reconstruyendo el entorno en 3D con alta fidelidad.

Por su parte, el Apple Vision Pro (presentado en 2024) es un visor XR avanzado que integra una matriz de sensores estéreo y dedicados. Cuenta con dos cámaras frontales de alta resolución y dos cámaras de profundidad (específicas TrueDepth), además de un escáner LiDAR y sensores IMU. Apple destaca que estas cámaras “entregan un seguimiento de cabeza y manos preciso y un mapeo 3D en tiempo real”, y que el LiDAR en conjunto con la cámara TrueDepth crea un “mapa 3D fusionado del entorno”, lo que permite ubicar contenido digital con gran exactitud en el espacio real.

Otros dispositivos recientes incluyen el Meta Quest Pro/3, que aunque son visores híbridos enfocados a VR, disponen de varias cámaras exteriores (color e infrarrojas) para seguimiento inside-out 6DoF. En general, los visores de RM actuales (HoloLens, Magic Leap, Varjo, Vision Pro, etc.) comparten el enfoque de usar múltiples cámaras y sensores de profundidad combinados con IMU para lograr un mapeo espacial preciso y estable.

Dispositivo	Sensores clave (cámara / profundidad / IMU)	Tipo de seguimiento
Microsoft HoloLens 2	4 cámaras RGB frontales + sensor de profundidad ToF + IMU	6DoF inside-out (SLAM visual)
Magic Leap 2	3 cámaras “world” 1.0MP + 1 cámara RGB 12.6MP + sensor ToF + IMU	6DoF inside-out
Varjo XR-3 (XR-4)	2 cámaras estéreo RGB + sensor LiDAR + IMU	6DoF inside-out (opcional base externa)
Apple Vision Pro	2 cámaras estéreo de alta resolución + escáner LiDAR + cámara TrueDepth + IMU	6DoF inside-out

Aplicaciones en distintas industrias

La precisión espacial de la RM abre numerosas aplicaciones en diversos sectores:

• Medicina y salud: La RM permite visualizar modelos anatómicos 3D y planificar intervenciones con alta fidelidad. Por ejemplo, estudiantes de medicina pueden practicar cirugías en entornos simulados inmersivos, combinando imágenes holográficas con los pacientes o maniquíes reales. Esto mejora la formación quirúrgica y la comunicación entre médicos, reduciendo riesgos y costes.
  
• Industria e ingeniería: Ingenieros y operarios usan RM para diseñar y supervisar maquinaria. Se pueden superponer planos o manuales holográficos sobre equipos reales, facilitando el mantenimiento, ensamblaje y control de calidad. Empresas como Mercedes-Benz y Airbus emplean visores (p.ej. HoloLens) para instrucciones paso a paso en tareas complejas de fabricación. La RM aumenta la eficiencia al evitar errores humanos y permitir el remote guidance.
  
• Arquitectura y construcción: Arquitectos e inmobiliarias aprovechan la RM para visualizar proyectos sobre el terreno. Modelos 3D de edificios se colocan en el sitio de construcción, permitiendo evaluar escala, diseño y materiales en contexto real. Clientes y equipos de diseño obtienen una apreciación más realista antes de la construcción final.
  
• Educación y formación: En aulas y entrenamientos corporativos, la RM ofrece experiencias interactivas únicas. Estudiantes pueden manipular moléculas virtuales, ensamblar motores simulados o recibir instrucción de un avatar holográfico a distancia. Esta inmersión mejora la comprensión de conceptos abstractos y permite entrenar en entornos peligrosos (p.ej. emergencias) sin riesgo real.
  
• Entretenimiento y videojuegos: La RM transforma el ocio inmersivo. Los usuarios interactúan con personajes y objetos virtuales en su sala de estar o espacio público, generando juegos que mezclan lo real y lo virtual. También se utiliza en parques temáticos y espectáculos para enriquecer la narrativa con elementos digitales integrados al mundo físico.
  
• Otros campos: Sectores como comercio minorista (visualización de productos 3D), militar (simulaciones de terreno), automoción (asistencia en diseño y pruebas) y deportes (análisis en tiempo real de entrenamientos) también emplean la RM para mejorar procesos y experiencias. En resumen, la RM con seguimiento espacial preciso ofrece potenciales “sin precedentes” en educación, medicina, ingeniería y entretenimiento, entre otros.
  

Ventajas del seguimiento espacial preciso en RM

Contar con un seguimiento espacial confiable aporta varias ventajas clave:

• Anclaje realista de contenidos: Permite fijar objetos holográficos en lugares específicos del mundo real y conservarlos allí al mover el usuario. El mapeo espacial ancla los hologramas a superficies reales usando pistas de profundidad auténticas, de modo que un holograma puede ocultarse correctamente detrás de un mueble real, aumentando la sensación de realismo.
  
• Inmersión y naturalidad: Un tracking preciso garantiza que los elementos virtuales respondan de forma coherente a los movimientos del usuario. Por ejemplo, al girar la cabeza, las perspectivas cambian correctamente y no se produce el efecto “arrastre” del mundo virtual. Esto refuerza la inmersión y la credibilidad de la experiencia.
  
• Reducción de malestar (cinetosis): Un seguimiento de 6DoF coherente evita discrepancias entre los movimientos reales del usuario y la respuesta visual. Sin un buen tracking, el entorno virtual “se movería con la cabeza” provocando incomodidad y mareo. El posicionamiento preciso, como lo resaltan expertos de Varjo, es fundamental para evitar estos efectos negativos.
  
• Interacción precisa: Facilita interacciones físicas-virtuales naturales. Los usuarios pueden, por ejemplo, tocar o señalar objetos reales sin perder la correspondencia con los objetos virtuales. El sistema interpreta correctamente los gestos y posiciones en el mundo real, permitiendo manipular hologramas como si estuvieran presentes físicamente.
  
• Cooperación multiusuario: En escenarios colaborativos, un seguimiento espacial preciso permite que múltiples visores compartan el mismo sistema de coordenadas. Así, dos usuarios pueden ver y manipular un mismo objeto virtual desde diferentes posiciones, sincronizados en el espacio real. Esto es esencial para aplicaciones de trabajo en equipo y telepresencia en RM.
  

Retos técnicos y limitaciones actuales

A pesar de los avances, el seguimiento espacial en RM enfrenta desafíos:

• Entornos adversos: Los algoritmos de SLAM/VIO siguen siendo sensibles a condiciones desfavorables. Espacios con poca luz, texturas repetitivas o superficies muy uniformes reducen la capacidad de detectar características visuales, lo que puede generar deriva en la localización. Movimientos muy rápidos o bruscos también pueden superar la capacidad de actualización del sistema, deteriorando la precisión.
  
• Dependencia de hardware: El seguimiento robusto requiere sensores de alta calidad y procesamiento intenso. Esto aumenta el consumo de batería, el calor generado y el peso de los dispositivos. Por ejemplo, un gran número de cámaras y el procesamiento de datos en tiempo real demandan potentes chips dedicados (como GPUs o NPUs de visión) y reducen la autonomía. Además, los campos de visión de las cámaras limitan el área cubierta; movimientos fuera de su rango pueden perder el tracking.
  
• Costos y complejidad: Los visores avanzados son caros y su desarrollo es complejo. Cada fabricante suele usar sistemas propietarios sin estándares comunes, lo que dificulta la interoperabilidad. Por ejemplo, Microsoft, Magic Leap o Apple proveen SDKs distintos. La falta de métricas públicas estandarizadas de precisión también complica la evaluación; como señalan estudios recientes, los fabricantes no divulgan detalles de desempeño de tracking.
  
• Privacidad y seguridad: Las cámaras constantes capturando el entorno plantean preocupaciones de privacidad. Aunque muchos datos se procesan localmente, siempre existe riesgo de filtración si no se gestionan bien los permisos. Además, el ecosistema de RM aún carece de políticas claras de seguridad frente a ataques (p.ej. alterar mapas espaciales).
  
• Limitaciones de software: La creación y gestión de mapas espaciales persistentes (que perduran entre sesiones) es un problema abierto. Sin almacenamiento de anclas precisas, las experiencias compartidas o persistentes aún son inmaduras. También se trabaja en mejorar la latencia del sistema para que no sea perceptible al usuario.
  

Perspectivas futuras y líneas de investigación emergentes

La RM con seguimiento espacial está en rápida evolución. Las futuras investigaciones se centran en aumentar la robustez y fidelidad del mapeo. Entre las tendencias destacan:

• Fusión avanzada de sensores: Combinación de múltiples modalidades (visión, LiDAR, radar) en SLAM. Por ejemplo, la fusión LiDAR–visión ha ganado mucha atención reciente en robótica y AR, pues cada sensor compensa debilidades del otro (p.ej. visión en baja iluminación, LiDAR en texturas pobres). Se espera que los próximos sistemas integren sensores de profundidad más precisos y cámaras especializadas (p.ej. cámaras de eventos) para mejorar el seguimiento en entornos dinámicos.
  
• Inteligencia artificial y SLAM mejorado: La aplicación de aprendizaje profundo al SLAM (Deep SLAM) promete mejorar la resiliencia en entornos cambiantes. Algoritmos basados en IA pueden reconocer y adaptar características del entorno, manejar oclusiones y ajustar la precisión en tiempo real. Ya se observa que la odometría visual-inercial es ampliamente usada en AR actuales (por ejemplo, ARKit de Apple), y se investiga cómo hacerla aún más precisa con redes neuronales.
  
• Infraestructura en la nube (Spatial Anchors): Las llamadas “nubes espaciales” permitirán almacenar mapas y puntos de referencia persistentes en servidores. Esto haría posible experiencias colaborativas entre múltiples usuarios con visores diferentes, compartiendo un mismo espacio anclado. Además, la interoperabilidad entre dispositivos AR se beneficiará de estándares abiertos de mapas urbanos o domésticos.
  
• Hardware especializado: Se desarrollan chips dedicados (como el chip R1 de Vision Pro) para procesar datos de sensores a muy baja latencia. También se investiga reducir el consumo energético y el tamaño de los sensores. Por ejemplo, LiDARes más pequeños y eficientes, o IMUs de alto rango.
  
• Conectividad 5G/6G y Edge Computing: La baja latencia de redes avanzadas permitirá descargar parte del procesamiento espacial a la nube o servidores cercanos, facilitando visores más ligeros. Esto abre camino a RM distribuida donde el seguimiento se actualiza en red.
  

UX y estándares: Emergencia de frameworks de desarrollo (ARKit/ARCore/vuKit) y tendencias en interfaces naturales (gestos, voz) complementan el seguimiento espacial, haciendo la interacción más accesible.

LINEA DEL TIEMPO

CREDITOS

Autores: Juan Sebastián Beltrán Jimenez.

Editor: Carlos Iván Pinzón Romero

Código: CG-202502

Universidad: Universidad Central

REFERENCIAS

ArborXR. (2023, 14 de julio). Magic Leap 2 review. ArborXR Blog. https://arborxr.com/blog/magic-leap-2-review

Balalle, H. (2025, 2 de junio). Learning beyond realities: exploring virtual reality, augmented reality, and mixed reality in higher education—a systematic literature review. Discover Education, 4, 151. https://doi.org/10.1007/s44217-025-00559-7
 

Capital. (2024, 4 de marzo). Realidad aumentada, realidad virtual y realidad mixta. Capital. https://capital.es/tecnologia/realidad-aumentada-virtual-y-mixta/88753/

Chen, P. (2025). A Review of Research on SLAM Technology Based on the Integration of LiDAR and Vision Sensors. MDPI Sensors, 25(5), 1447. 
MDPI

Deusens. (s. f.). Realidad mixta para empresas. Deusens Blog. https://deusens.com/es/blog/realidad-mixta-para-empresas

DT Labs AI. (2023, 9 de mayo). The complete guide to SLAM. DT Labs Blog. https://dt-labs.ai/blog/the-complete-guide-to-slam

Magic Leap. (s. f.). Magic Leap 2 terms. Magic Leap Legal. https://www.magicleap.com/legal/devices-ml2

Magic Leap. (s. f.). Sensor data. Magic Leap Developer Docs. https://developer-docs.magicleap.cloud/docs/guides/features/sensor-data

Microsoft. (s. f.). HoloLens 2 hardware. Microsoft Learn. https://learn.microsoft.com/en-us/hololens/hololens2-hardware

MixReal. (2023, 14 de diciembre). ¿Qué es la realidad mixta? MixReal. https://s3.amazonaws.com/assets.mixreal/wp-content/uploads/2023/12/14161709/que-es-la-realidad-mixta.jpg

Zhang, M. M. (2025). Analyzing and comparing augmented reality and virtual reality vocabulary learning environments. Frontiers in Virtual Reality. 
Frontiers

Tecnonauta. (s. f.; video). ADIÓS REALIDAD VIRTUAL!!!!!!! Meta Quest 3 es una locura… [Video]. YouTube. https://www.youtube.com/watch?v=0e3gNac0uHA