¿Qué hace un ingeniero de big data?

¿Qué hace un ingeniero de big data? ¿Qué habilidades se requieren?

Big data es un término técnico muy de moda en este momento. Al mismo tiempo, naturalmente ha generado algunas profesiones relacionadas con el procesamiento de big data, que influyen en las decisiones comerciales de las empresas a través de la extracción y el análisis de datos.

Este grupo de personas se llama Data Scientist en el extranjero. Este título fue propuesto por primera vez por D.J. Pati y Jeff Hammerbacher en 2008. Más tarde se convirtieron en los responsables de los equipos de ciencia de datos de LinkedIn y Facebook. El puesto de científico de datos ahora ha comenzado a crear valor en las industrias tradicionales de telecomunicaciones, comercio minorista, finanzas, manufactura, logística, medicina, educación y otras industrias de EE. UU.

Sin embargo, en China la aplicación del big data apenas ha comenzado y el mercado del talento aún no está tan maduro. “Es difícil esperar que un generalista complete todos los eslabones de toda la cadena. basarán sus esfuerzos en utilizar los recursos existentes y las deficiencias para reclutar talentos que puedan complementar el equipo existente", dijo Wang Yuyao, director de análisis y estrategia de negocios de LinkedIn, a China Business News.

Por lo tanto, cada empresa tiene diferentes requisitos para el trabajo con big data: algunas enfatizan la programación de bases de datos, otras destacan el conocimiento de matemáticas y estadísticas aplicadas, y algunas requieren experiencia en empresas de consultoría o bancos de inversión. Algunas esperan encontrar talentos orientados a las aplicaciones. que entienden los productos y los mercados. Debido a esto, muchas empresas darán a estas personas que se ocupan de big data algunos títulos y definiciones nuevos según sus tipos de negocios y divisiones de equipo: a menudo nos referimos a ingenieros de minería de datos, expertos en big data, investigadores de datos, expertos en análisis de usuarios, etc. a los títulos que aparecen en las empresas nacionales como "ingenieros de big data".

Wang Yuyao cree que en una empresa madura basada en datos, los "ingenieros de big data" suelen ser un equipo, lo que significa todo, desde la recopilación de datos, la presentación, el análisis y la información empresarial hasta la transformación del mercado. Este equipo puede incluir roles como ingenieros de datos, analistas, especialistas de productos, especialistas en marketing y tomadores de decisiones comerciales para completar la conversión de datos sin procesar a valor comercial; en pocas palabras, este es un equipo que apoya a la empresa en la toma de decisiones comerciales. , descubre importantes grupos de modelos de negocio.

Dado que el trabajo nacional de big data aún se encuentra en una etapa por desarrollar, el valor que se puede extraer depende completamente de las habilidades personales de los ingenieros. Los expertos que ya están en esta industria han brindado algunos marcos generales para las necesidades de talento, incluida la capacidad de codificación informática, matemáticas y antecedentes relacionados con la estadística. Por supuesto, si puede tener una comprensión más profunda de algunos campos o industrias específicos, podrá emitir juicios rápidamente. sobre ellos, y es más útil comprender los factores clave.

Aunque para algunas grandes empresas, los empleados con títulos de maestría y doctorado son una mejor opción, el investigador del Grupo Alibaba, Xue Guirong, enfatizó que las calificaciones académicas no son el factor más importante siempre que puedan procesar datos en una gran cantidad. La experiencia y la curiosidad a quienes les gusta buscar tesoros en el océano de datos serán más adecuadas para este trabajo.

Además, un excelente ingeniero de big data debe tener ciertas capacidades de análisis lógico y ser capaz de localizar rápidamente los atributos clave y determinantes de un problema empresarial. "Tiene que saber qué es relevante, qué es importante, qué tipo de datos son los más valiosos y cómo encontrar rápidamente las necesidades centrales de cada negocio", dijo Shen Zhiyong, científico de datos del Baidu Big Data Joint de las Naciones Unidas. Laboratorio. La capacidad de aprendizaje puede ayudar a los ingenieros de big data a adaptarse rápidamente a diferentes proyectos y convertirse en expertos en datos en este campo en poco tiempo. Las habilidades de comunicación pueden hacer que su trabajo sea más fluido, porque el trabajo de los ingenieros de big data se divide principalmente en dos formas: Impulsado por; El departamento de marketing e impulsado por el departamento de análisis de datos, el primero a menudo necesita comprender las necesidades de desarrollo del gerente de producto, mientras que el segundo necesita encontrar el departamento de operaciones para comprender la transformación real del modelo de datos.

Puedes considerar los requisitos anteriores como la dirección de los esfuerzos para convertirte en un ingeniero de big data, porque según la observación de Yan Liping, socio gerente de Marlboro Ruihua, esta es una gran brecha de talento. En la actualidad, las aplicaciones nacionales de big data se concentran principalmente en el campo de Internet y más del 56% de las empresas se están preparando para desarrollar investigaciones de big data. "En los próximos cinco años, el 94% de las empresas necesitarán científicos de datos", dijo Yan Liping. . Por lo tanto, también sugirió que algunas personas en las empresas que originalmente se dedicaban a trabajos relacionados con datos deberían considerar la transformación.

En este número de "First Financial Weekly" se entrevistó a tres empresas nacionales de Internet, BAT y expertos en recursos humanos en campos relacionados. Nos explicaron cómo convertirse en un ingeniero de big data y los beneficios de dichos puestos desde un puesto. Perspectiva del lugar de trabajo. Situación actual del lugar de trabajo.

A ¿Qué hace un ingeniero de big data?

En palabras de Xue Guirong, investigador de Alibaba Group, los ingenieros de big data son un grupo de personas que “juegan con datos”, jugando con el valor comercial de los datos y convirtiendo los datos en productividad. La mayor diferencia entre big data y datos tradicionales es que están en línea, en tiempo real, a escala masiva, de forma irregular y no sistemática, por lo que las personas que pueden "jugar" con estos datos son muy importantes.

Shen Zhiyong cree que si imaginamos el big data como una mina que se sigue acumulando, entonces el trabajo de un ingeniero de big data es: “El primer paso es localizar y extraer el conjunto de datos donde se encuentra la información. , que equivale a prospección y minería. El segundo paso es convertirla en información que pueda usarse directamente para juzgar, lo que equivale a fundición.

Por último, están las aplicaciones, visualización de datos, etc. ”

Por tanto, analizar la historia, predecir el futuro y optimizar opciones son las tres tareas más importantes de los ingenieros de big data a la hora de “jugar con los datos”. A través de estas tres direcciones de trabajo, ayudan a las empresas a tomar mejores decisiones de negocio.

Descubrir las características de eventos pasados

Un trabajo muy importante de los ingenieros de big data es descubrir las características de eventos pasados ​​analizando datos, por ejemplo, de Tencent. El equipo está construyendo un almacén de datos para clasificar la información de datos grande e irregular en todas las plataformas de red de la empresa y resumir las características que se pueden consultar para satisfacer las necesidades de datos de los diversos negocios de la empresa, incluida la publicidad, el desarrollo de juegos, las redes sociales, etc.

El papel más importante de encontrar las características de eventos pasados ​​es ayudar a las empresas a comprender mejor a los consumidores. Al analizar la trayectoria del comportamiento pasado del usuario, pueden comprender a esta persona y predecir su comportamiento. qué tipo de persona es, su edad, aficiones, si es un usuario de Internet pago, qué tipo de juegos le gusta jugar y qué le gusta hacer habitualmente en línea. Zheng Lifeng, director general del Centro de Investigación y Desarrollo de Tencent Cloud Computing Co., Ltd. en Beijing, dijo a China Business Weekly que el siguiente paso es alcanzar el nivel empresarial, donde se puedan recomendar servicios relevantes para varios grupos de personas, como los móviles. juegos, o basados ​​​​en diferentes características y necesidades Nuevos modelos de negocio, como el negocio de entradas de cine de WeChat

Predecir lo que puede suceder en el futuro

Al introducir factores clave, los ingenieros de big data pueden. predecir las tendencias futuras de los consumidores En la plataforma de marketing, los ingenieros están tratando de ayudar a los vendedores de Taobao a hacer negocios introduciendo datos meteorológicos: “Por ejemplo, si no hace calor este verano, es muy probable que algunos productos no se vendan tan bien como el último. año Además de los aires acondicionados y ventiladores, pueden verse afectados por su impacto chalecos, bañadores, etc. Luego estableceremos la relación entre los datos meteorológicos y los datos de ventas, buscaremos categorías relacionadas y alertaremos a los vendedores con antelación para que entreguen el inventario. "Dijo Xue Guirong.

En Baidu, Shen Zhiyong apoya el desarrollo de modelos de algunos productos de "Baidu Prediction", tratando de utilizar big data para servir a una gama más amplia de personas. Ya en línea se incluyen predicciones de la Copa del Mundo. predicción del examen de ingreso a la universidad, predicción de atracciones, etc. Tomando como ejemplo la predicción de atracciones de Baidu, los ingenieros de big data deben recopilar todos los factores clave que pueden afectar el flujo de personas en las atracciones durante un período de tiempo para predecir y calificar la congestión futura. de varias atracciones en todo el país: en los próximos días, ¿cuál será? ¿Será fluido, lleno o lleno en general?

Descubra los resultados óptimos

¿Según el Debido a la naturaleza comercial de diferentes empresas, los ingenieros de big data pueden lograr diferentes propósitos a través del análisis de datos /p>

Para Tencent, Zheng Lifeng cree que el ejemplo más simple y directo que puede reflejar el trabajo de los ingenieros de big data es la prueba de opciones (AB). Test), que ayuda a los gerentes de producto a elegir entre las alternativas A y B. En el pasado, los tomadores de decisiones solo podían emitir juicios basados ​​en la experiencia, pero ahora los ingenieros de big data pueden realizar pruebas en tiempo real a gran escala, por ejemplo, en el En el ejemplo de productos de redes sociales, deje que la mitad de los usuarios vea la interfaz A y la otra mitad utilice la interfaz B. Observe y cuente las tasas de clics y las tasas de conversión durante un período de tiempo para ayudar al departamento de marketing a tomar la decisión final.

Como empresa de comercio electrónico, Alibaba espera utilizar big data para dirigirse a grupos precisos de personas y ayudar a los vendedores a tomar mejores decisiones. “Lo que más esperamos es que se pueda encontrar un grupo de personas que sean más. interesados ​​en el producto que los usuarios existentes. "Dijo Xue Guirong. Un ejemplo en Taobao es que cierto vendedor de ginseng originalmente promocionó el grupo objetivo entre mujeres embarazadas, pero después de analizar la correlación entre los datos, los ingenieros descubrieron que el marketing dirigido a mujeres embarazadas tenía una tasa de conversión más alta.

B Habilidades requeridas

Antecedentes relacionados con matemáticas y estadística

En cuanto a las tres principales empresas de Internet de BAT que entrevistamos, todas tienen requisitos para los ingenieros de big data Shen. Zhiyong cree que los trabajadores de datos que carecen de formación teórica tienen más probabilidades de entrar en una zona de peligro técnico: un montón de números que siempre se pueden resolver de acuerdo con diferentes modelos de datos y algoritmos. Puede obtener algunos resultados, pero si no lo hace. Si sabe lo que significan, no son resultados realmente significativos y dichos resultados pueden engañarlo fácilmente. “Solo con cierto conocimiento teórico se puede comprender el modelo, reutilizarlo e incluso utilizarlo para resolver problemas reales. "Dijo Shen Zhiyong.

Capacidad de codificación informática

Las capacidades de desarrollo reales y las capacidades de procesamiento de datos a gran escala son algunos de los elementos necesarios para un ingeniero de big data. "Porque el valor de muchos datos proviene A partir del proceso de excavación, debes hacerlo tú mismo para descubrir el valor del oro. "Dijo Zheng Lifeng.

Por ejemplo, muchos de los registros que la gente genera en las redes sociales son datos no estructurados. ¿Cómo extraer información útil de estos textos, voces, imágenes e incluso videos despistados? Es necesario obtener información significativa. minado por los propios ingenieros de big data. Incluso en algunos equipos, las responsabilidades de los ingenieros de big data son principalmente el análisis empresarial, pero también deben estar familiarizados con la forma en que las computadoras procesan big data.

Conocimiento en el campo o la industria.

En opinión de Yan Liping, un punto muy importante en el papel del ingeniero de big data es que no puede separarse del mercado, porque el big data sólo puede generar valor cuando se combina con aplicaciones en campos específicos.

Por lo tanto, la experiencia en una o más industrias verticales puede ayudar a los candidatos a acumular conocimientos de la industria, lo que será de gran ayuda para convertirse en un ingeniero de big data en el futuro. Por lo tanto, esta también es una ventaja más convincente al postularse para este puesto.

“No solo debe comprender los datos, sino también tener visión para los negocios, ya sea en el comercio minorista, la medicina, los juegos, el turismo u otras industrias, lo mejor es tener cierta comprensión de algunos de estos campos. hacer negocios con la empresa en la misma dirección ", Xue Guirong también hizo una analogía: "En el pasado, dijimos que algunos empleados de tiendas de lujo eran esnobs y podían decir de un vistazo si podían pagar algo o no. pero este grupo de personas es precisamente perspicaz y creemos que son expertos en esta industria. Otro ejemplo es una persona que conoce la industria médica cuando considera el negocio de seguros médicos, no solo considera los registros hospitalarios de las personas, sino también los datos dietéticos. , que se basan todos en su comprensión de este campo "

C Desarrollo profesional de ingenieros de big data

Cómo convertirse en un ingeniero de big data

Debido a. Debido a la escasez actual de talentos en big data, a las empresas les resulta difícil contratar talentos adecuados: se debe tener un alto grado de educación y, preferiblemente, también tener experiencia en el procesamiento de datos a gran escala. Por lo tanto, muchas empresas investigarán internamente.

En agosto de este año, Alibaba celebró un concurso de big data. Extrajo los datos de la plataforma Tmall, eliminó los problemas sensibles y luego los colocó en la plataforma de computación en la nube y los entregó a más de 7.000. equipos para la competencia. La competencia se divide en competencia interna y competencia externa. "De esta manera, podemos motivar a los empleados internos y también descubrir talentos externos, de modo que puedan surgir ingenieros de big data en diversas industrias".

Yan Liping sugirió que las personas que se hayan dedicado a la gestión de bases de datos, la minería, y programación durante mucho tiempo incluyen analistas cuantitativos tradicionales, ingenieros de Hadoop y cualquier gerente que necesite usar datos para tomar decisiones y juicios en el trabajo, como gerentes de operaciones en ciertos campos, pueden probar este puesto, y los expertos en varios campos solo necesitan Para aprender a utilizar datos, también puede convertirse en un ingeniero de big data.

Salario

Como "panda gigante" entre las profesiones de TI, se puede decir que los ingresos y beneficios de los ingenieros de big data están en la cima de la categoría. Según la observación de Yan Liping, el 10% de la contratación industrial, de TI y de comunicaciones a nivel nacional está relacionada con big data, y la proporción sigue aumentando. Yan Liping dijo: "La llegada de la era del big data es repentina. El impulso de desarrollo en el país es radical, pero los talentos son muy limitados. Ahora la oferta supera la demanda en los Estados Unidos, el salario promedio anual de los grandes". Los ingenieros de datos llegan a 175.000 dólares estadounidenses, y se entiende que en las principales empresas nacionales de Internet, el salario de los ingenieros de big data del mismo nivel puede ser entre un 20% y un 30% más alto que el de otros puestos, y son muy valorados por las empresas. .

Ruta de desarrollo profesional

Debido a la pequeña cantidad de talentos de big data, los departamentos de datos de la mayoría de las empresas generalmente tienen un modelo jerárquico plano, dividido aproximadamente en analistas de datos e investigadores senior. Director de Departamento 3 niveles. Las grandes empresas pueden dividir diferentes equipos según las dimensiones de los campos de aplicación, mientras que las pequeñas empresas necesitan desempeñar múltiples funciones. Algunas empresas de Internet que ponen especial énfasis en las estrategias de big data ocuparán otro puesto destacado, como el director de datos de Alibaba. "La mayoría de las personas en este puesto se desarrollarán en la dirección de la investigación y se convertirán en importantes talentos en estrategia de datos", dijo Yan Liping. Por otro lado, los ingenieros de big data entienden los negocios y los productos, así como a los empleados del departamento comercial, por lo que también pueden pasar al departamento de productos o al departamento de marketing, o incluso ascender a la alta dirección de la empresa.