Cocos fue invitado a asistir al Foro Cumbre de HUD para ayudar a mejorar la cabina de manera inteligente.
Recientemente, el director de producto de Cocos, Guo Meng, pronunció un discurso sobre el tema "El motor de renderizado 3D en tiempo real ayuda a mejorar la interacción inteligente de la cabina" en el 4.º Foro de la Cumbre de HUD en 2022, compartiendo sus pensamientos sobre AR-HUD. comprensión y cómo el motor Cocos puede ayudar a los OEM a brindar una nueva experiencia interactiva HMI de cabina a los usuarios.
Director de Producto de Cocos, Guo Meng
El siguiente contenido está compilado a partir de la transcripción del discurso:
Motor Cocos: amplíe continuamente los escenarios de aplicación y mejore la eficiencia de producción de industria de contenidos digitales.
Hola a todos, soy Guo Meng de Cocos. Estoy muy feliz de tener la oportunidad de comunicarme con los practicantes aquí. Hoy compartiré principalmente la acumulación de Cocos en motores de renderizado 3D en los últimos años, así como nuestra exploración en la industria automotriz.
Cocos se fundó en 2010. Somos una plataforma de producción de contenidos digitales. Su producto principal se llama Cocos Engine y actualmente presta servicios a empresas de industrias que incluyen automóviles, juegos, educación en línea y XR. Cocos tiene más de 6.543.805 desarrolladores registrados en 203 países y regiones. Al mismo tiempo, Cocos también es un motor de renderizado de gráficos 3D con derechos de propiedad intelectual completamente independientes en China.
Entre los OEM con los que hemos contactado, muchos enfatizan la necesidad de actualizar la HMI de la cabina. Se espera que el rendimiento visual de la cabina sea más fresco y se pueda lograr un efecto más sub-edad basado en PBR.
Creemos que la RA se ha convertido en otro método de interacción después de la visualización en pantalla, la interacción de voz y la interacción visual. Cocos espera que a través de este método interactivo pueda ayudar a los OEM a crear más ecosistemas de contenido, mejorar el alcance del uso de AR-HUD y mejorar la experiencia de la cabina.
A excepción de los automóviles, casi todos los productos AR que vemos ahora se desarrollan utilizando muchos motores de juegos excelentes, por lo que creo que los fabricantes OEM posteriores también basarán su contenido de pantallas AR en el desarrollo de estos excelentes motores de juegos.
Solución de cabina inteligente Cocos HMI
La solución de cabina inteligente Cocos HMI incluye una interfaz de interacción persona-computadora en el vehículo, visualización de conducción asistida automática, imágenes virtuales en el vehículo y juegos en el vehículo. y capacidades de reproducción de música. Ya cubre una variedad de dispositivos de visualización en la cabina, incluidos HUD, instrumentos, IVI y pantallas auxiliares de entretenimiento.
En términos de soporte del sistema, se ha adaptado a los principales sistemas de vehículos, como los sistemas Android, Linux, QNX y Hongmeng. Los backends de renderizado comunes, como Metal, Vulkan, WebGl 1.0, WebGl 2.0, GLES2 y GLES3, también son totalmente compatibles.
Los archivos de formato 3D tradicionales y los recursos multimedia tradicionales exportados desde 3D Max, Maya, Blender y otras herramientas 3D DCC se pueden importar directamente a las herramientas de desarrollo Cocos para el desarrollo secundario. Junto con el editor de interfaz de usuario, el editor de animación y el entorno de codificación de Cocos Creator, los sistemas de materiales PBR, sistemas de partículas, iluminación en tiempo real y otros efectos de uso común se pueden utilizar directamente para facilitar a los usuarios la creación de escenas 3D en la cabina.
Además, Cocos también es compatible con el sistema web, lo que significa que solo es necesario mantener un conjunto de código durante la fase de desarrollo antes de que pueda lanzarse a varias plataformas, lo que ahorra en gran medida los costos de mantenimiento del OEM. .
VPA más interesante
Cada vez más fabricantes OEM están comenzando a utilizar imágenes VPA para reemplazar la generación anterior de imágenes de asistentes de voz. Las imágenes 3D basadas en renderizado en tiempo real serán más flexibles y poderosas en términos de interacción emocional. Actualmente, Cocos puede proporcionar un conjunto completo de marcos para escenas de voz, incluido el diseño de imágenes, el modelado de imágenes y la producción de acciones, incluida la función de vinculación a otras aplicaciones.
En el proceso de producción de una nueva generación de VPA, el OEM espera introducir elementos de gamificación y convertirlo en una función operativa. Por ejemplo, introduzca algunos huevos navideños y huevos de cumpleaños. Durante el Día Nacional y el Festival del Medio Otoño, ¿hay algo nuevo que pueda entregarse en los automóviles de los usuarios en tiempo real, para que los usuarios puedan mantener las imágenes 3D frescas en todo momento?
Como motor de desarrollo de juegos, el motor Cocos tiene su propio marco de actualización en caliente, que puede admitir actualizaciones en tiempo real de toda la imagen VPA desde modelos, códigos, escenas y lógica de script.
Cocos creará servicios backend para OEM: una plataforma de gestión de recursos que puede proporcionar capacidades de actualización en caliente en tiempo real independientemente de OTA. Con actualizaciones en tiempo real, se pueden enviar ropa nueva y nuevas acciones a VPA cada semana y todos los días, lo que permite a los OEM operar VPA sin estar restringidos por los ritmos de OTA.
Por ejemplo, si un baile en la plataforma de videos cortos se vuelve popular, el ingeniero empaqueta y carga el archivo de secuencia de comandos de acción de baile en el backend de actualización. Al día siguiente, cuando el usuario enciende el coche, la imagen del asistente personal virtual del propietario puede realizar este baile, convirtiéndola en una experiencia más interesante para el usuario.
¿Hacer que Adas lo sea menos? ¿Cansado?
Actualmente, cada vez son más los modelos que incorporan funciones de conducción asistida automática. Sin embargo, vi una encuesta antes y descubrí que muchos propietarios de automóviles se sienten más cansados cuando utilizan la conducción asistida automática. La razón principal es que a veces la visualización de la conducción asistida automática no es lo suficientemente buena y los propietarios de automóviles no saben qué hará su automóvil a continuación. En este momento, tendrá mucho pánico y tensión. Si está de ese humor durante mucho tiempo, se sentirá muy cansado.
Por lo tanto, la visualización de la conducción autónoma también es una parte muy importante de la función de conducción automática asistida. Según los datos del mapa original proporcionados por el OEM, Cocos realiza una representación de visualización tridimensional de acuerdo con el estilo visual de la HMI correspondiente. Utilice una solución visual que cumpla con los requisitos del OEM para la restauración 3D para mejorar la experiencia de los propietarios de automóviles al utilizar las funciones ADAS.
Juegos de coches interactivos multimodo
Los juegos son uno de los escenarios de aplicación importantes de Cocos. En el campo de los juegos para automóviles, Cocos hace más para ayudar a los fabricantes OEM a crear juegos interactivos multimodales en la cabina. Incluyendo algunos juegos somatosensoriales basados en cámaras de coche, juegos de voz combinados con micrófonos y juegos deportivos combinados con volantes. Así como juegos de vinculación multipantalla que vinculan las pantallas delantera y trasera, y la pantalla principal y la del acompañante.
Reproductor de música más atmosférico
La música es la función más tradicional de la cabina y también es la tres funciones principales principales en términos de uso. En la actualidad, muchos fabricantes de equipos originales tienen la necesidad de actualizar los reproductores de música para crear diferenciación, en lugar de utilizar una versión para automóvil de un determinado reproductor de música. Basado en las capacidades del motor de renderizado 3D, Cocos puede ayudar a los fabricantes OEM a reempaquetar reproductores de música y mejorar la atmósfera musical en la cabina a través de letras y visualización de música.
Tiempo de ejecución de Cocos: ¿baja latencia? ¿Simplemente haga clic para usar?
Cocos Runtime es un SDK comercial desarrollado por Cocos que admite contenido interactivo para ejecutarse sin instalación. Puede ejecutarse en una variedad de plataformas de sistemas operativos y puede entenderse como un conjunto de marcos operativos subyacentes para pequeños programas y juegos. Admite contenido desarrollado por los principales motores de juegos JavaScript y puede maximizar de manera eficiente la eficiencia operativa del contenido digital. Después de integrar varios dispositivos de hardware y aplicaciones con Runtime, ¿pueden los usuarios experimentar contenido interactivo digital? ¿Haz clic para jugar? Experiencia fluida en lugar de pasar por el modo de descarga tradicional.
En la cabina, el tiempo de inicio y carga de algunos productos HMI es de hasta decenas de segundos, lo que sin duda afectará seriamente la experiencia de conductores y pasajeros. Por ejemplo, AR-HUD idealmente necesita lograr un control de retardo a nivel de milisegundos para poder integrar con precisión el mundo virtual digital con el mundo real, lo que determina directamente la experiencia del usuario.
Al introducir el tiempo de ejecución de Cocos, se pueden mejorar las velocidades de inicio y carga y se pueden reducir los retrasos en las operaciones.
Mejorar la cadena ecológica de Cocos y explorar límites más técnicos.
En términos de ecología de desarrolladores, Cocos cuenta actualmente con 654.385 millones de desarrolladores registrados en todo el mundo. Además de las empresas nacionales de Internet de primer nivel, empresas extranjeras como Facebook, Google y Ubisoft están llevando a cabo cooperación técnica con nosotros.
Cocos se asoció recientemente con Nintendo para construir un ecosistema de desarrolladores. Cocos Creator pronto será compatible con Nintendo Switch. En ese momento, después de que los desarrolladores soliciten convertirse en desarrolladores certificados de Nintendo, pueden comunicarse con Cocos para obtener el motor y el juego se puede publicar en NS con un solo clic.
En Github, la comunidad de código abierto más grande del mundo, Cocos también está a la vanguardia de las solicitudes de extracción en proyectos de motores de juegos.
Cocos también está realizando una serie de recorridos por salones y transmisiones en vivo en línea basadas en el ecosistema de desarrolladores. Conozca más sobre las demandas reales de los desarrolladores para crear mejores herramientas de desarrollo de contenido.
En general, Cocos seguirá proporcionando cadenas de herramientas y soluciones más completas basadas en escenarios de aplicaciones 3D para ayudar a las empresas de automóviles a tomar la delantera en la competencia por la nueva generación de cabinas inteligentes. @2019