¿Cuáles son las similitudes y diferencias entre Magic Leap, que conmocionó al mundo, y las Hololens de Microsoft?
1, 2014 110, Magic Leap reclutó 500 millones en septiembre de 2014 para abrir una tienda llamada "The World is Your New Desktop" (El mundo es tu Enlace de información de New Desktop). Gary Bradski, vicepresidente senior de investigación de percepción de Magic Leap, y Jean-Yves Bouguet, director de tecnología de visión computacional, pronunciaron discursos en ese momento. Gary es un líder en el campo de la visión por computadora. Creó OpenCV (Biblioteca de herramientas de visión computacional) en Willow Garage y también es profesor consultor en la Universidad de Stanford. Jean-Yves fue originalmente responsable de la fabricación de los coches Google Street View en Google y era un maestro en la tecnología de visión computacional. Es bastante impactante que se unan a Magic Leap. Asistí a esta sesión informativa cuando Gary presentó la tecnología de Magic Leap en la sección de detección y dio una breve introducción a los principios de la legendaria realidad cinematográfica del campo de luz digital, y tomó fotografías en la sección que permitía la grabación de video. La mayor parte de la información de este artículo proviene de este discurso.
2 A principios de este año, tomé una clase del profesor Gordon Wetzstein de fotografía computacional y visualización de campo de luz digital de Stanford: EE 367 Imágenes y visualización computacionales: iluminación computacional Semana 4, pantallas portátiles y bloques de pantalla. (Pantalla de campo de luz) todos hablaron sobre el principio de Magic Leap. Ahora también puede ver este material en el sitio web del curso, ee 367/cs 448 I: Computational Imaging and Display.
Por cierto, permítanme presentarles el Stanford Computational Graphics Group de Gordon. Marc Levoy (el profesor Daniel que luego construyó Google Glass) se ha comprometido con la investigación de los campos de luz. Desde la propuesta de las cámaras de campo luminoso de Marc Levoy, a la fundación de Lytro por su alumno Ren Ng, pasando por la fabricación de light field displays (pantallas 3D sin gafas), este grupo ha sido líder mundial en la investigación de campos luminosos. Magic Leap puede convertirse en la mayor aplicación de pantallas de campo de luz. (Para contenido relacionado, consulte: Descripción general de la investigación de imágenes computacionales).
3. Este año participé en el Light Field Imaging Workshop, un seminario sobre tecnología de imágenes de campos de luz. Hubo muchas demostraciones de tecnología de campo de luz en el lugar e intercambié mis puntos de vista sobre Magic Leap con muchos expertos en tecnología de visualización de campo de luz. En particular, experimentamos Demo, una tecnología de campo de luz cercana a Magic Leap, y la pantalla de campo de luz cercana de Douglas Lanman de Nvidia. (Para contenido relacionado, consulte Visualización del campo ocular cercano).
4 A mediados de este año, visité Microsoft Research Redmond. El investigador principal del instituto, Richard Szeliski, nos pidió que probáramos Hololens. Siente la incomparable tecnología de detección de posicionamiento de Hololens. Existe un acuerdo de confidencialidad, por lo que este artículo no proporciona detalles, solo una comparación de principios con Magic Leap.
La siguiente es la información práctica:
En primer lugar, la ciencia popular sobre las gafas AR como Magic Leap y Hololens es permitirle ver imágenes de objetos que no existen. en el mundo real e interactuar con ellos de interacción. Técnicamente hablando, se puede considerar simplemente como dos partes:
percepción); parte del mundo real.
El casco presenta una pantalla virtual.
Explicaré las tecnologías relacionadas con Magic Leap en la parte de percepción y la parte de visualización respectivamente.
Primero, la parte de visualización
Primero responde brevemente a esta pregunta:
P 1. ¿Cuál es la diferencia entre HoloLens y Magic Leap? ¿Cuál es el principio esencial del salto mágico?
En términos de percepción, no hay mucha diferencia en la dirección técnica entre Hololens y Magic Leap. Ambas son tecnologías de posicionamiento de percepción espacial. Esto se destacará más adelante en este artículo. La mayor diferencia entre Magic Leap y Hololens debería provenir de la pantalla. Magic Leap utiliza fibra óptica para proyectar un campo de luz digital completo directamente sobre la retina para producir la llamada realidad cinematográfica.
Hololens utiliza vidrio translúcido y la proyección DLP en el lateral muestra que los objetos virtuales siempre son reales, similar a la pantalla de gafas de Espon o la solución Google Glass en el mercado. Se trata de una pantalla bidimensional con un pequeño ángulo de visión de unos 40 grados, lo que comprometerá la inmersión.
El principio físico esencial es que la propagación de la luz en el espacio libre puede representarse de forma única mediante un campo de luz de cuatro dimensiones. Cada píxel del plano de imagen contiene información sobre todas las direcciones de la luz para ese píxel. Para el plano de imagen, la dirección es bidimensional, por lo que el campo de luz es tetradimensional. Por lo general, el proceso de obtención de imágenes es simplemente una integración bidimensional de un campo de luz de cuatro dimensiones (la información de la luz en todas las direcciones en cada píxel se superpone en un píxel), pero las pantallas tradicionales muestran esta imagen bidimensional y hay una pérdida de otra información bidimensional. Magic Leap proyecta directamente todo el campo de luz de 4 dimensiones en su retina, por lo que no hay diferencia matemática entre los objetos que las personas ven a través de Magic Leap y los objetos reales, y no hay pérdida de información. En teoría, con los dispositivos de Magic Leap, no se puede distinguir entre objetos virtuales y objetos reales.
La diferencia más obvia entre los dispositivos que utilizan Magic Leap y otras tecnologías es que el ojo humano puede seleccionar directamente el enfoque (enfoque selectivo activo). Por ejemplo, si quiero mirar objetos cercanos, los objetos cercanos son reales, mientras que los objetos distantes están vacíos. Nota: Esto no requiere ninguna tecnología de seguimiento ocular, porque el campo de luz proyectado restaura toda la información, por lo que el usuario puede ver directamente lo que es real para el ojo humano, como un objeto real. Por ejemplo, durante unos 27 segundos del vídeo virtual del sistema solar (como el gif a continuación), la cámara se desenfoca y luego vuelve a enfocar. Este proceso sólo ocurre en la lente y no tiene nada que ver con el equipo de Magic Leap. En otras palabras, el objeto virtual está ahí y lo que piensas sobre él depende del observador. Esto es lo maravilloso de Magic Leap, por lo que Magic Leap llama a sus efectos Realidad Cinematográfica.
P2. ¿Cuáles son los beneficios del enfoque selectivo activo? ¿Por qué me mareo con la tecnología de visualización virtual tradicional? ¿Cómo resuelve Magic Leap este problema?
Como todos sabemos, el ojo humano percibe la profundidad principalmente a través de las pistas de triangulación entre los dos ojos y el objeto observado para percibir la distancia entre el objeto observado y el observador. Sin embargo, la triangulación no es la única pista para que los humanos perciban la profundidad. El cerebro humano también integra otra pista importante para la percepción de la profundidad: la pista de nitidez o enfoque causada por el enfoque del ojo humano. Los objetos de la tecnología de visualización virtual binocular tradicional (como Oculus Rift o Hololens) no son virtuales ni reales. Por ejemplo, como se muestra a continuación, cuando ves el castillo en la distancia, el gato virtual cercano debería estar vacío, pero en la tecnología de visualización tradicional, el gato sigue siendo real, por lo que tu cerebro se confundirá y pensará que el gato es muy objeto grande en la distancia. Pero esto es inconsistente con los resultados de posicionamiento binocular. Después de millones de años de evolución, el cerebro está programado para pensar que un gato está cerca y luego pensar que está lejos. Ir y venir te quemará el cerebro y vomitarás. Magic Leap proyecta todo el campo de luz, para que puedas concentrarte de forma activa y selectiva. El gato virtual se coloca cerca y se vuelve real cuando lo miras. Cuando veas el castillo, es virtual, como si fuera real, no te sentirás mareado. Durante el discurso, Gary se burló de Jean-Yves, un tipo que vomitaba después de 10 minutos de tomar Oculus, pero que ahora usa Magic Leap durante 16 horas al día sin desmayarse.
Suplemento: Algunas personas preguntan por qué la realidad virtual en línea marea a las personas debido a una velocidad de fotogramas insuficiente.
Aunque la velocidad de fotogramas y la latencia son los principales problemas en estos momentos, no son un problema demasiado grande, ni tampoco son el factor decisivo a la hora de provocar mareos. Estos problemas se pueden resolver bien con tarjetas gráficas más rápidas, buenas IMU, buenas pantallas y algoritmos de predicción del movimiento de la cabeza. Hay algunos problemas subyacentes de mareos que deberían preocuparnos.
Ésta es la diferencia entre realidad virtual y realidad aumentada.
En la realidad virtual, los usuarios no pueden ver el mundo real y los mareos suelen ser causados por una falta de coincidencia entre el movimiento que sienten los canales semicirculares del oído interno y el movimiento que se ve visualmente. Por lo tanto, los juegos de realidad virtual suelen provocar mareos y vómitos. La solución a este problema no se puede resolver con un solo dispositivo.
Si el usuario está realmente sentado y la imagen se mueve a gran velocidad, ¿qué dispositivo se puede utilizar para engañar a los canales semicirculares del oído interno? Algunas soluciones en el mercado, como Omni VR o sistemas de seguimiento de realidad virtual como HTC Vive, en realidad le permiten resolver este problema de desajuste, pero dichos sistemas están limitados por el lugar. Sin embargo, las aplicaciones VOID aprovechan las limitaciones de la realidad virtual. No tienes que correr y saltar, pero puedes usar un espacio pequeño para crear una escena grande, haciéndote sentir como si estuvieras en una escena grande. La mayoría de las experiencias de realidad virtual o películas panorámicas de hoy en día mueven la cámara a una velocidad relativamente lenta; de lo contrario, te quejarás.
Pero Magic Leap es realidad aumentada AR. Como puedes ver el mundo real, no hay problema de desajuste en la percepción de los canales semicirculares del oído interno. Para la RA, el principal desafío es resolver el problema de los cambios de nitidez entre los objetos proyectados y los objetos reales. Entonces, la solución proporcionada por Magic Leap resuelve muy bien este problema. Pero todo esto es teórico y las capacidades de ingeniería reales quedarán demostradas con el tiempo.
P3. ¿Por qué hay pantallas montadas en la cabeza? ¿Por qué no se puede realizar la holografía a simple vista? ¿Cómo lo implementa Magic Leap?
Durante cientos de años, los humanos hemos contemplado ver un objeto virtual surgido de la nada. También hay muchas imágenes holográficas en el aire en varias películas de ciencia ficción.
Pero pensemos en la esencia: esto es físicamente difícil de hacer: no hay ningún medio en el aire puro que pueda reflejar o refractar la luz. Lo más importante de la presentación es el medio. Hay muchos rumores en WeChat de que Magic Leap no necesita gafas. Supongo que es un error de traducción. Filmado directamente a través de Magic Leap Tech. Estaba escrito en el video y muchos artículos se tradujeron incorrectamente como "visión directa" u "holografía a simple vista". De hecho, el vídeo fue capturado por una cámara que utiliza la tecnología de Magic Leap.
En la actualidad, la holografía básicamente permanece en la era de la película holográfica (como se muestra a continuación, la pequeña estatua de Buda de la película holográfica que vi en el seminario sobre el campo de luz), o la matriz de proyección utilizada para el concierto de Miku Hatsune para cree pseudoimágenes hechas de vidrio especial holográfico (solo muestra imágenes desde un cierto ángulo e ignora la luz de otros ángulos).
Lo que Magic Leap quiere hacer realidad es la visión de convertir el mundo entero en su escritorio. Por lo tanto, en lugar de hacer una pantalla holográfica transparente en 3D como medio como lo hizo Hatsune Miku, o hacer una película holográfica alrededor del mundo, es más fácil comenzar directamente desde el ojo humano y colocar todo el campo de luz directamente frente a nosotros. De hecho, NVIDIA también fabrica este tipo de gafas de campo ligeras.
El método adoptado por Nvidia consiste en añadir una matriz de microlentes delante de la pantalla bidimensional para generar un campo de luz de cuatro dimensiones. Es equivalente a mapear píxeles 2D a píxeles 4D. La resolución natural no será alta, por lo que la resolución de esta pantalla de campo de luz o cámara (Lytro) tampoco será alta. Lo he probado personalmente y el efecto es básicamente un patrón de estilo mosaico.
Magic Leap adopta un enfoque completamente diferente para mostrar campos de luz, utilizando proyección de fibra óptica. Sin embargo, el método de proyección de fibra óptica utilizado por Magic Leap no es nada nuevo. Brian Schowengerdt trabaja como proyector de fibra en Magic Leap, donde su mentor es el profesor Eric Seibel de la Universidad de Washington. Dedicado a la endoscopia de fibra óptica de ultra alta resolución durante 8 años. El principio simple es que el haz de fibras ópticas gira a alta velocidad en una tubería de 1 mm de diámetro, cambia la dirección de rotación y luego escanea un amplio rango. La genialidad de los fundadores de Magic Leap fue encontrar estos escáneres de fibra óptica de alta resolución. Debido a la reversibilidad de la luz, se puede invertir para crear proyectores de alta resolución. Como se muestra en la figura, en su artículo de hace 6 años, una fibra óptica de 1 mm de ancho y 9 mm de largo puede proyectar una imagen de mariposa de alta definición de varias pulgadas. Se estima que la tecnología actual ha superado ese tiempo.
Sin embargo, estos proyectores de fibra óptica de alta resolución no pueden restaurar el campo de luz. Es necesario colocar una matriz de microlentes en el otro extremo de la fibra para generar un campo de luz de 4 dimensiones. ¿Te preguntas si este es el mismo método que el de Nvidia? No, debido a que el haz de fibras ópticas se escanea y gira, el conjunto de microlentes no necesita ser muy denso y grande, solo puede mostrar el área de escaneo. Equivale a distribuir una gran cantidad de datos en la línea de tiempo, que es lo mismo que compartir el tiempo en la comunicación, porque al ojo humano le resulta difícil distinguir los cambios en 100 fotogramas. Mientras la velocidad de fotogramas de escaneo sea lo suficientemente alta, el ojo humano no puede saber si la pantalla está girando.
Por tanto, los dispositivos de Magic Leap pueden ser pequeños y tener alta resolución.
Vino personalmente a la Universidad de Stanford y pronunció un discurso en el que utilizó luz de escaneo para demostrar una pantalla 3D de gran capacidad. Debería tratarse del primer prototipo de Magic Leap. (Para contenido relacionado, consulte la pantalla de escaneo de fibra).
En segundo lugar, la parte de percepción
P4. En primer lugar, ¿por qué la realidad aumentada tiene una parte de percepción?
Precisamente porque el dispositivo necesita conocer su posición en el mundo real (posicionamiento) y la estructura tridimensional del mundo real (construcción de mapas), puede colocar objetos virtuales en la posición correcta en la pantalla. Tomemos como ejemplo el reciente vídeo de demostración de Magic Leap. Por ejemplo, la mesa tiene un sistema solar virtual que permanece en su lugar cuando la cabeza del usuario se mueve. Esto requiere que el dispositivo conozca la posición y dirección exactas de la perspectiva del espectador en tiempo real para calcular dónde debe mostrarse la imagen. Al mismo tiempo, se puede ver el reflejo de la luz solar en la mesa, lo que requiere que el dispositivo conozca la estructura tridimensional y la información de la superficie de la mesa, para poder proyectar correctamente la imagen superpuesta en la capa de imagen de la mesa. La dificultad radica en cómo calcular toda la parte de detección en tiempo real para que el usuario del dispositivo no sienta el retraso. Si hay un retraso en el posicionamiento, el usuario se sentirá mareado y los objetos virtuales que flotan en la pantalla parecerán falsos. La llamada realidad cinematográfica reivindicada por Magic Leap no tiene sentido.
La parte de la percepción tridimensional no es nueva. SLAM (localización y mapeo simultáneo) en visión por computadora o robótica se realiza desde hace 30 años. Mediante la fusión de varios sensores (lidar, cámara óptica, cámara de profundidad, sensor inercial), el dispositivo obtendrá su posición precisa en el espacio tridimensional y, al mismo tiempo, el espacio tridimensional circundante se podrá reconstruir en tiempo real. tiempo.
La tecnología SLAM ha sido particularmente popular recientemente. En los últimos dos años y este año, los gigantes y el capital de riesgo han adquirido y desplegado empresas con tecnologías de posicionamiento espacial relativamente grandes. Porque las tres tendencias tecnológicas más potentes: los vehículos autónomos, la realidad virtual y los drones son inseparables del posicionamiento espacial. SLAM es la base para completar estos grandes proyectos. También estudio la tecnología SLAM, por lo que tengo mucha exposición a ella. Para facilitar la comprensión de este campo a todos, aquí presentamos algunos acontecimientos y figuras importantes recientes en el mundo del Grand Slam:
Bastian Thron, profesor de robótica en la Universidad de Stanford, es un pionero de la tecnología moderna. Tecnología SLAM. Después de ganar el Gran Desafío DARPA, acudió a Google para construir coches sin conductor. La mayoría de las facciones de investigación en el círculo académico de SLAM son discípulos y nietos de Sebastian.
2. (Vehículos no tripulados) Uber recibió este año el NREC (Centro Nacional de Investigación y Desarrollo en Ingeniería Robótica) de la Universidad CMU Carnegie Mellon y estableció conjuntamente el ATC (Centro de Investigación y Desarrollo de Tecnología Avanzada). Estos investigadores que han estado involucrados en la tecnología de posicionamiento de rovers en Marte han ido a la Oficina de Control de Tráfico Aéreo de Uber para trabajar en vehículos no tripulados.
3. (Realidad virtual) Hyperreal Vision fue adquirida recientemente por Oculus Rift. Su fundador, Richard Newcombe, es el inventor de la famosa fusión DTAM Kinect (la tecnología central de la lente holográfica de HoloLens). Oculus Rift también adquirió 13th Labs (una empresa que hace SLAM en teléfonos móviles) el año pasado.
4. (Realidad virtual) Google Project Tango lanzó este año la primera tableta comercial del mundo con función SLAM. Apple adquirió Metaio AR en mayo y SLAM de Metaio AR se ha utilizado en aplicaciones de AR durante mucho tiempo. Intel lanzó Real Sense, una cámara de profundidad que puede demostrar SLAM, y demostró la función automática de obstáculos y la función automática de seguimiento de línea de drones en CES.
5. (UAV) Skydio, fundada por Adam Bry, un estudiante del fundador de Google X Project Wing UAV, Nicholas Roy, recibió una inversión de A16z y está valorada en 20 millones, y contrató al profesor Frank Dellaert de SLAM Daniel. de Georgia Tech como su científico jefe.
(Contenido relacionado: http://www.cc.gatech.edu/~dellaert/Frank dellaert/Frank_dellaert/Frank_ dellaert.html)
SLAM como tecnología básica, de hecho, puede que no exista Hay más de 100 personas en el mundo que son buenas en SLAM o fusión de sensores, y la mayoría de ellas se conocen entre sí. Con tantas empresas compitiendo por tanta gente, puedes imaginar lo feroz que es la competencia. Por tanto, como empresa de nueva creación, Magic Leap debe integrar una gran cantidad de capital para competir con las grandes empresas por los recursos de talento.
P5. ¿Qué tecnología es la parte perceptiva de Magic Leap?
Esta foto es la arquitectura técnica del profesor Gary y la ruta para la parte de percepción de Magic Leap en la Feria de Reclutamiento Magic Leap de Stanford. Se puede ver que se han desarrollado cuatro pilas diferentes de tecnología de visión por computadora centradas en la calibración.
1. Desde la imagen, el paso central de toda la parte de detección de Magic Leap es la calibración (calibración de imagen o sensor), porque los dispositivos de posicionamiento activo como Magic Leap o Hololens tienen varias cámaras y sensores para el posicionamiento. , La calibración de los parámetros de la cámara y los parámetros de relación entre cámaras es el primer paso para comenzar todo el trabajo. Si los parámetros de la cámara y el sensor son inexactos en este paso, el posicionamiento posterior no tendrá sentido. Cualquiera que haya estado involucrado en la tecnología de visión por computadora sabe que la parte de calibración tradicional requiere mucho tiempo y requiere usar una cámara para capturar el tablero de ajedrez y recopilar datos repetidamente para la calibración. Pero Gary de Magic Leap inventó un nuevo método de calibración que utiliza directamente una estructura de forma extraña como corrector. La cámara se puede calibrar de una sola vez y es extremadamente rápida. No se permiten fotografías en esta parte de la escena.
2. Con la parte de calibración en su lugar, comienza la parte de posicionamiento de detección tridimensional más importante (la pila de tecnología en la esquina inferior izquierda), que se divide en cuatro pasos.
2.1 El primero es el seguimiento de superficies planas. Como se puede ver en la demostración del sistema solar virtual, el sol virtual refleja la luz sobre la mesa. Este reflejo cambia de posición a medida que el usuario del equipo se mueve, al igual que el sol realmente cuelga en el cielo y brilla, reflejándose en el. superficie de la mesa. Esto requiere que el dispositivo sepa dónde está la superficie de la mesa en tiempo real y calcule la relación entre el sol virtual y el plano, de modo que la posición del reflejo del sol se calcule y se superponga en el asiento correspondiente de las gafas del usuario del dispositivo, y el La información de profundidad es correcta. La dificultad radica en la detección de planos en tiempo real y la suavidad para una posición determinada del plano (de lo contrario, el reflejo saltará). En la demostración podemos ver que Magic Leap realiza bien este paso.
2.2 Luego Sparse SLAM (Sparse SLAM); Gary demostró su algoritmo de posicionamiento y reconstrucción 3D en tiempo real en la sesión informativa. Para que el algoritmo sea en tiempo real, primero implementaron un algoritmo de posicionamiento tridimensional disperso o semiescaso de alta velocidad. En términos de efecto, no es muy diferente del algoritmo LSD de código abierto actual.
2.3 Seguido de sensores; visión e IMU (fusión de visión y sensores inerciales).
Los misiles suelen utilizar sensores inerciales puros para el posicionamiento activo, pero el mismo método no se puede utilizar para sensores inerciales de baja precisión de grado civil, que definitivamente se desviarán después de la integración secundaria. Sin embargo, la velocidad de procesamiento de la parte visual no es alta, se bloquea fácilmente y la robustez del posicionamiento no es alta. La integración de sensores de visión y de inercia se ha convertido en un enfoque muy popular en los últimos años.
Por ejemplo:
Google Tango es una muy buena integración de IMU y cámara de profundidad en este sentido; el dron DJI Phantom 3 o Inspire 1 combina una cámara óptica monocular con un vehículo aéreo no tripulado. Los sensores inerciales de la máquina se combinan para lograr un vuelo estacionario increíblemente estable sin GPS; se puede decir que Hololens lo hizo muy bien en SLAM y ha personalizado un chip especialmente para SLAM. Se dice que el algoritmo está en línea con el núcleo de KinectFusion, y el efecto de posicionamiento es muy bueno a través de pruebas personales (frente a una pared blanca sin rasgos distintivos, puedo pararme y saltar, pero después de regresar al centro del campo, el posicionamiento es sigue siendo muy preciso y no se desvía en absoluto).
La última parte de 2.4 es el mapeo 3D y Dense SLAM (reconstrucción de texturas 3D). La siguiente imagen es una reconstrucción del mapa 3D de la oficina de Mountain View de Magic Leap: simplemente tome el dispositivo y camine, se restaurará el mapa 3D de toda la oficina y habrá un hermoso mapa. Los libros de la estantería se pueden reconstruir sin deformarse.
Dado que la interacción AR es un campo nuevo, para permitir que las personas interactúen sin problemas con el mundo virtual, los algoritmos de reconocimiento y seguimiento basados en visión artificial se han convertido en una máxima prioridad. La nueva experiencia de interacción persona-computadora requiere una gran cantidad de reservas técnicas para respaldarla.
Gary no dio más detalles sobre las siguientes tres ramas, pero puedes ver su diseño. Solo estoy agregando algunas notas para ayudarte a comprender.
3.1 Crowdsourcing Crowdsourcing. Se utiliza para recopilar datos para su uso posterior en el aprendizaje automático. Es necesario construir un mecanismo de aprendizaje por retroalimentación razonable y recopilar datos de forma dinámica e incremental.
3.2 Aprendizaje automático y aprendizaje profundo Aprendizaje automático y aprendizaje profundo. Es necesario construir una arquitectura de algoritmo de aprendizaje automático para la producción de algoritmos de reconocimiento posteriores.
3.3 Reconocimiento de objetos de escena Reconocimiento de objetos de escena. Identifique objetos en la escena, distinga tipos y características de objetos y realice mejores interacciones. Por ejemplo, si reconoces un cachorro cuando lo ves, el sistema puede convertir al perro P en un perro monstruo y luchar contra los monstruos directamente.
3.4 Reconocimiento de conducta Reconocimiento de conducta. La identificación de los comportamientos de personas u objetos en una escena, como correr o saltar, caminar o sentarse, se puede utilizar para interacciones de juego más dinámicas. Por cierto, hay una empresa en China llamada Green Deep Eyes dirigida por ex alumnos de Stanford que también está investigando en esta área.
Seguimiento
4.1 Reconocimiento de gestos. De hecho, para la interacción, todas las empresas de AR/VR hacen reservas técnicas en este ámbito.
4.2 Seguimiento de objetivos Seguimiento de objetivos. Esta tecnología es muy importante. Por ejemplo, Magic Leap tiene una demostración de un elefante. Al menos debes conocer la información tridimensional de la posición de tu mano y rastrearla en tiempo real para colocar el elefante en la posición correcta.
4.3 Escaneado 3D Escaneado 3D. ¿Pueden objetos de realidad virtual? Por ejemplo, si tomas una obra de arte y la escaneas en 3D, los usuarios a distancia pueden compartir y jugar con el mismo elemento en un mundo virtual.
4.4 Seguimiento del cuerpo humano Seguimiento del cuerpo humano. Por ejemplo, puedes agregar una barra de salud y puntos de habilidad a cada personaje en la realidad.
5.1 Seguimiento ocular Seguimiento ocular. Gary explicó que aunque el renderizado de Magic Leap no requiere seguimiento ocular, el renderizado de Magic Leap requiere una gran cantidad de cálculos debido a la necesidad de calcular un campo de luz de 4 dimensiones. Si se realiza un seguimiento ocular, se puede reducir la presión de la representación de objetos y escenas en el motor 3D, lo cual es una excelente estrategia de optimización.
5.2 Reconocimiento de emociones Reconocimiento de emociones. Si Magic Leap quiere ser el sistema operativo de inteligencia artificial representado en su película, puede reconocer las emociones del propietario y crear un efecto de acompañamiento emocional afectuoso.
5.3 Biometría Biometría. Por ejemplo, identifique personas en una escena real y muestre un nombre sobre la cabeza de cada persona. El reconocimiento facial es uno de ellos, y Face++, una empresa dirigida por los hermanos Yao Ban de la Universidad de Tsinghua en China, es la mejor en este sentido.
Resumen: En pocas palabras, esta parte de Magic Leap es similar a muchas otras empresas. Aunque Gary se unió a nosotros y sus ambiciones eran grandes, la competencia por este papel fue feroz.
P6: Incluso si Magic Leap ha resuelto la percepción y la visualización, ¿cuál es la siguiente dificultad?
1. Equipo informático y cantidad de cálculo
Magic Leap necesita calcular un campo de luz de 4 dimensiones, y la cantidad de cálculo es asombrosa. No sé cómo Magic Leap resuelve el problema ahora. ¿Qué debería hacer Nvidia si no produce una tarjeta gráfica móvil increíble? ¿Construirás tu propio circuito dedicado? Llevar cuatro Titan X de viaje no es una broma.
La siguiente imagen es una de las demostraciones de realidad virtual en las que participé en SIGGraph 2015 este año. Todos jugaban con realidad virtual mientras llevaban una bolsa de computadora grande. ¿Les resultará gracioso a los humanos dentro de 10 años ver a los humanos practicando la realidad virtual hoy en día? Ja ja.
2. ¡Batería! ¡Batería! ¡Batería! El dolor de todos los dispositivos electrónicos
3. Sistema operativo
Para ser honesto, si "el mundo es tu nuevo escritorio" es su visión, entonces realmente no existe ningún sistema operativo que pueda hacerlo. apoyarlo Interacción bajo la visión de Magic Leap. Tienen que inventar la rueda ellos mismos.
4. Añade sensaciones físicas a la experiencia interactiva de los objetos virtuales.
Para tener sentido del tacto, los guantes interactivos y los controladores interactivos son ahora temas candentes en el mundo de la realidad virtual. A juzgar por las patentes actuales, no está claro que Magic Leap tenga mayores conocimientos.
Quizás Kickstarter finalmente domine y Magic Leap lo recupere.