NetEase Cloud, en los últimos 20 años de NetEase, ¿qué obstáculos ha pisado?
“Todo el mundo piensa que esto es demasiado difícil y casi imposible de completar. Entonces, a continuación, divida los objetivos por fases y optimice primero a 1 minuto, luego a 40 segundos y luego a 20 segundos. todos ven el potencial que pueden aprovechar sus propios enlaces. Finalmente, se necesitan unos 20 segundos para completar el establecimiento de un contenedor (excluyendo el tiempo de transmisión de imágenes, en el complejo sistema de computación en la nube, en realidad no es posible hacer esto). No es fácil”.
La historia de cómo NetEase Cloud finalmente pudo poner un contenedor en línea en 20 segundos ilustra el núcleo y la esencia de la tecnología de computación en la nube: optimización continua y a largo plazo. El 13 de julio de 2017, NetEase Cloud celebrará la primera Conferencia de Innovación en la Nube. El tema de la conferencia "Ingenio empresarial e innovación tecnológica" destacó los 20 años de experiencia de NetEase Technology: frente a la innovación tecnológica empresarial, sólo mediante un ingenio solitario y duradero podemos "afilar" productos de alta calidad.
La computación en la nube no es un mito
Hace diez años, además de los servicios tradicionales de Internet como el correo electrónico, los portales y los juegos, comenzaron a aparecer muchas formas innovadoras de negocio en Internet, incluidos los blogs. y álbumes de fotos en línea. En ese momento, Ding Lei creía que NetEase necesitaba establecer una organización independiente e innovadora de incubación y exploración de empresas fuera de sus segmentos comerciales originales, por lo que estableció el Instituto de Investigación NetEase Hangzhou. Diez años después, NetEase Cloud surgió del Instituto de Investigación NetEase Hangzhou. Del desarrollo de la tecnología NetEase se puede ver que la computación en la nube no es un mito, sino un resultado inevitable de la evolución de la tecnología de Internet.
Wang Yuan, actual director ejecutivo del Instituto de Investigación NetEase Hangzhou, dijo que el primer negocio del Instituto de Investigación NetEase Hangzhou fueron los blogs, lo que representó el nacimiento de la era Web 2.0. Durante la exploración de nuevos negocios en Internet, se descubrió que los requisitos técnicos de los formularios comerciales Web 2.0 son cualitativamente superiores a los de la Web 1.0 y requieren el soporte de software básico como la gestión masiva de datos. La cantidad de datos aportados por los internautas es al menos. mayor que el de portales anteriores. Dos órdenes de magnitud.
Cuando Chen E se unió por primera vez a NetEase, el concepto de Web 2.0 explotó y su primer proyecto fue el blog NetEase. Chen E no solo tiene que participar en la investigación y el desarrollo de tecnología, sino que también tiene que realizar la operación y el mantenimiento técnicos del blog, incluido el control de versiones, etc. "Todos los desafíos técnicos y la dirección técnica de repente se volvieron completamente diferentes a los anteriores. El enfoque se convirtió en expansión horizontal, alta concurrencia y alto rendimiento". Chen Meng recordó que el desarrollo de todo el sistema de tecnología de Internet era relativamente plano en ese momento. El salto de puntos requiere diferentes métodos de operación y mantenimiento. "Parece que navegar por Internet se ha convertido en una operación y mantenimiento, así que estoy muy impresionado".
Si la Web 2.0 es un salto en la tecnología de Internet, la computación en la nube es otro salto en la tecnología de Internet. "La plataforma de computación en la nube tiene un papel importante en la promoción del negocio de Internet de NetEase, porque en ese momento nuestra administración de servidores y el crecimiento comercial habían llegado a un cuello de botella, y dicha nube era necesaria para lograr nuevos avances", como dijo el primer grupo de empleados de NetEase. Instituto de Investigación de Hangzhou, recordó Chen Meng.
“La computación en la nube es un sistema distribuido. Creo que lo fundamental es saber elegir. Debido a la arquitectura del sistema distribuido y la tecnología de implementación, no ha habido muchos avances en las últimas dos décadas. Las teorías existentes han existido durante mucho tiempo, y los siguientes principios de CAP (consistencia, disponibilidad y tolerancia de partición) son solo un resumen, por lo que lo más importante es conocer las compensaciones, como la elección del sistema. "
La nube NetEase actual proviene de las capacidades de seguridad en la nube de NetEase Technology en la operación de los productos NetEase UGC, de las capacidades de servicio básico de computación en la nube de NetEase para su gama completa. Productos de Internet y del servicio al cliente en la nube de comercio electrónico NetEase, de las capacidades de procesamiento de big data de los múltiples productos de NetEase, de la tecnología de comunicación y video de Yixinpao, etc.
Es precisamente gracias a la experiencia de desarrollo, operación y mantenimiento a gran escala de productos de Internet de NetEase que NetEase Cloud ha ganado una gran cantidad de clientes y desarrolladores en solo un año después de su lanzamiento oficial.
Después de haber experimentado la optimización a largo plazo de los productos NetEase, al hablar sobre el viaje tecnológico de NetEase en los últimos diez años, Wang Yuan dijo que el sistema técnico siempre necesita mejorarse continuamente, porque el desarrollo empresarial propondrá constantemente nuevos necesidades de tecnologías, hay muchas áreas que se pueden optimizar en el enorme sistema técnico.
Hasta ahora, NetEase Cloud es un sistema técnico exitoso, porque este sistema técnico se ha convertido en una plataforma unificada y estandarizada que transporta los diversos productos y servicios de Internet de NetEase. Desde 2012, NetEase Hangzhou Research Institute ha respaldado totalmente los productos de Internet del Grupo NetEase en la nube. NetEase Cloud admite más de 95 productos de Internet dentro de NetEase.
En particular, los servicios de NetEase como educación, música, confianza, comercio electrónico, finanzas y juegos móviles han experimentado un crecimiento explosivo en los últimos tres o cuatro años. Pero independientemente del alcance y la escala de los servicios de Internet, el sistema tecnológico de NetEase Cloud ha completado con éxito su misión. "Cuando el negocio crece explosivamente, puede brindar un fuerte apoyo de manera oportuna y sin demoras técnicas", enfatizó Wang Yuan.
Tomemos Internet como ejemplo. En los tres años transcurridos desde el lanzamiento de la primera versión, NetEase Aviation Research Institute ha invertido mucha energía y recursos en la arquitectura y optimización de toda la red. El rendimiento de la red de NetEase Cloud ha pasado por un largo proceso de optimización desde poder ejecutar solo redes Gigabit al principio hasta redes de casi 10 Gigabit. Solo resolviendo el problema de la red podemos integrar mejor los servicios anteriores, porque la virtualización de la computación en la nube está relativamente madura, pero la optimización de la red subyacente por parte de cada proveedor de servicios en la nube es en realidad muy diferente. Algunas soluciones en la nube ni siquiera pueden lograr Gigabit, especialmente. después de implementar SDN.
NetEase Cloud ha pasado por muchos lugares desde la nube privada en 2012 hasta la nube pública más tarde. Uno de ellos es seguir la autoinvestigación y la selección de caminos de la comunidad de tecnología de código abierto. De 2006 a 2007, NetEase comenzó a desarrollar una plataforma masiva de gestión de datos, que incluía cinco sistemas centrales que eran relativamente avanzados y líderes en el país en ese momento. Pero luego, algunas plataformas fueron reemplazadas por plataformas de código abierto más maduras. Por ejemplo, en 2010, el sistema informático paralelo desarrollado de forma independiente fue reemplazado por el maduro Hadoop. Por supuesto, cuando Hangyan comenzó su propia investigación en 2007, Hadoop aún no estaba maduro.
“Mirando a la comunidad de código abierto, si solo ves la situación actual, es más fácil caer en el pozo. En ese momento, sentí que había muchos problemas en los proyectos de código abierto, y eso. Fue fácil hacer mejores proyectos a través de la autoinvestigación, pero tal vez tres o cinco años después. Ha sido superado por la comunidad de código abierto. La fuerza de investigación y desarrollo de los proyectos maduros de código abierto y las comunidades de código abierto es realmente grandiosa, y no se puede comparar. con la inversión de una empresa, a menos que sea el proyecto estratégico de la empresa". Wang Yuan recordó que en los últimos diez años, muchos productos de NetEase Cloud han tenido experiencias similares. Finalmente, descubrió que a medida que la comunidad de tecnología de código abierto continúa madurando, es una mejor ruta de producto seguir la innovación tecnológica de la comunidad de código abierto y optimizar la tecnología general del escenario.
Si volvemos a hace diez años y reconsideramos, "debería haber dos ajustes. Uno es participar más activamente en proyectos en la comunidad de código abierto y crecer con la comunidad de código abierto. El otro es considerar adelantar la investigación en aviación." Comercializar la tecnología y ofrecer mejores productos y servicios al mundo exterior. ”
¿Por qué deberíamos comercializarla antes? "Si solo apoyamos el negocio de NetEase, habrá más o menos deficiencias en la inversión en tecnología y en aplicaciones integrales; si la gente de todo el mundo la usa, se puede decir que esta tecnología es muy madura y confiable. Por lo tanto, las propias aplicaciones de NetEase son simplemente un punto de partida. ”
Aceptando pruebas internas y externas, NetEase ha lanzado comunicaciones, vídeo (NetEase Cloud Letter, Video Cloud), servicio al cliente en la nube totalmente inteligente (NetEase Qiyu) y servicios básicos de computación en la nube (NetEase). Hive) desde 2015. , seguridad en la nube (NetEase Yidun) y una serie de servicios de escenario en la nube, así como una plataforma integral de desarrollo de aplicaciones y gestión de big data (NetEase Mammoth), plataforma de análisis visual de big data a nivel empresarial (NetEase Youshu) y otras plataformas de big data.
NetEase Cloud Trust es un servicio PaaS en la nube de mensajería instantánea creado por NetEase basándose en sus 17 años de experiencia en mensajería instantánea. Además de las funciones básicas, NetEase Cloud Letter también proporciona funciones de comunicación avanzadas, que incluyen audio y video en tiempo real, transmisión interactiva en vivo, pizarra de enseñanza, teléfono dedicado, SMS, nube privada y más servicios.
En mayo de 2017, 350.000 desarrolladores han accedido a los servicios en la nube de NetEase IM, cubriendo 700 millones de usuarios, muchos de ellos en educación, medicina, O2O, juegos, redes sociales y otras industrias.
El aula de doble maestro de TAL es un nuevo modelo de enseñanza. Un maestro se actualiza a dos maestros que son responsables del aprendizaje de los estudiantes: uno es el maestro, que enseña en forma de transmisión en vivo; es el tutor, quien es responsable de la gestión del aula y de la tutoría de aprendizaje específica extraescolar. En el futuro, el aula de doble maestro estará conectada a funciones básicas como NetEase Cloud IM, pizarra interactiva, audio y video en tiempo real y funciones de SMS, lo que no solo reducirá el costo de operación y mantenimiento técnico, sino también Permitir que el futuro aula con dos profesores se centre más en su propio negocio de operaciones y desarrollo de cursos básicos.
El sistema de servicio al cliente en la nube totalmente inteligente (NetEase Qiyu) desarrollado durante 20 años por NetEase puede integrar a la perfección servicio al cliente en línea multicanal, centros de llamadas, robots de servicio al cliente y sistemas de órdenes de trabajo para crear un sistema eficiente. desde el exterior hacia el interior del sistema de atención al cliente. Xiaoniu Online es la plataforma financiera de Internet líder en China, con un volumen acumulado de transacciones en línea de más de 654,38 mil millones. El acceso de Mavericks Online al servicio al cliente en la nube totalmente inteligente (NetEase Qiyu) permite la comunicación integrada entre la Web y las cuentas oficiales de WeChat WeChat, órdenes de trabajo entre departamentos, una rica gestión del rendimiento y otras funciones.
Peng Te, director de Mavericks Online Services, dijo: "El robot de servicio al cliente inteligente proporcionado por el servicio al cliente en la nube totalmente inteligente (NetEase Qiyu) es muy inteligente, y los años de acumulación de tecnología y experiencia de NetEase son dignos de confianza. Acceso a un servicio al cliente en la nube totalmente inteligente El servicio al cliente en la nube (NetEase Qiyu) ha mejorado enormemente la experiencia del producto de Mavericks. Otro punto muy importante es que el servicio al cliente en la nube totalmente inteligente (NetEase Qiyu) es definitivamente el mejor del mercado en términos de seguridad. , que es muy importante para los Mavericks e incluso para los Mavericks. Toda la industria financiera de Internet es crucial "
NetEase Cloud Music se basa en los servicios básicos de NetEase Cloud. Ante solicitudes masivas de datos, los servicios básicos de NetEase Cloud proporcionan un entorno de clúster de contenedores estable y escalable, un modelo de desarrollo ágil y un buen soporte de operación y mantenimiento. "Como producto desarrollado por NetEase durante muchos años, los servicios basados en la nube han sentado una base sólida para la operación eficiente general de nuestros proyectos y también han proporcionado soluciones más eficientes y confiables para aplicaciones de nivel empresarial", afirmó Zhu Yiwen, director ejecutivo de NetEase. Música en la nube.
Desde su lanzamiento en junio de 2015, el negocio de NetEase Kaola ha entrado en un período de rápido desarrollo. Los cuellos de botella de la primera versión del sistema de comercio electrónico se hicieron evidentes gradualmente, es decir, la velocidad de iteración era lenta y solo proporcionar flexibilidad de recursos básicos no podía resolver el problema. Específicamente, a medida que el número de usuarios continúa aumentando, las demandas del mercado continúan cambiando y el sistema operativo continúa mejorando, NetEase Kaola necesita realizar cada vez más cambios en los módulos funcionales. No solo la administración de recursos básicos se vuelve cada vez más. complejo, la implementación y gestión de la capa de aplicación con script también se ha quedado muy por detrás de las necesidades.
Las capacidades de automatización de la plataforma de nube de contenedores NetEase Cloud Basic Services (NetEase Hive) resuelven los desafíos de NetEase Kaola. El servicio básico de NetEase Cloud (NetEase Hive) utiliza contenedores Docker como la unidad básica de toda la implementación y programación del software, y combina Kubernetes como marco de servicio de orquestación y gestión de contenedores.
NetEase Cloud Basic Service (NetEase Hive) también optimiza la programación basada en Kubernetes nativo, utilizando años de experiencia en ajuste en la ejecución de la capa IaaS para optimizar la interoperabilidad de la red y el almacenamiento persistente entre contenedores. Como resultado, NetEase Cloud Basic Service (NetEase Hive) aumentó el límite de frecuencia de actualización de NetEase Koala de las 2 veces al día iniciales a 112 veces al día y luego a 723 veces al día, y el soporte de acceso simultáneo aumentó de 2600 veces. por segundo a 16.000 veces por segundo.
En términos de big data, con el progreso de big data y el aprendizaje automático estadístico en los últimos años, la ciencia de datos ha recibido una atención generalizada. El Instituto de Investigación NetEase Hangzhou también ha establecido un centro de ciencia de datos para crear productos de plataforma de big data, inteligencia empresarial y aprendizaje automático. Este año, se lanzaron NetEase Mammoth Big Data Platform y NetEase Digital Agile BI Platform. Además, el Centro de ciencia de datos del Instituto de Investigación NetEase Hangzhou también está integrando datos de los principales productos de NetEase, clasificando los datos de NetEase y permitiendo que los datos de NetEase desempeñen un papel más importante. Los retratos de usuarios de NetEase se han extraído y aplicado con éxito a la publicidad, el control de riesgos financieros y otros campos, logrando resultados notables.
Además de las pruebas rigurosas realizadas por usuarios internos y externos, Wang Yuan enfatizó que una de las ventajas de NetEase Cloud radica en la coherencia del diseño de la arquitectura general, es decir, el servicio PaaS de capa superior puede ser construido enteramente en base a las capacidades de la capa IaaS. "La arquitectura de computación en la nube de algunos amigos está relativamente descentralizada. Los servicios como las bases de datos de la capa superior no están configurados en el host de la nube, sino que son un sistema independiente. Todos los servicios PaaS de NetEase Cloud Computing son respaldados, programados y administrados de manera uniforme por la parte inferior. -level IaaS Proporciona una buena coordinación mutua y está al mismo nivel que el bien diseñado AWS (EC2 ECS). Por supuesto, este diseño de arquitectura también es el resultado del templado continuo de la tecnología NetEase durante diez años. (Texto/Ningchuan)