¿Cuáles son los requisitos para transformarse en un ingeniero de big data?
A este grupo de personas se les llama científicos de datos en el extranjero. Este título fue propuesto por primera vez en 2008 por D.J. Pati y Jeff Hammerbacher, quienes luego se convirtieron en líderes del equipo de ciencia de datos en LinkedIn y Facebook, respectivamente. En la actualidad, el puesto de científico de datos también ha comenzado a crear valor en industrias tradicionales como las telecomunicaciones, el comercio minorista, las finanzas, la manufactura, la logística, la atención médica y la educación en los Estados Unidos.
Pero en China, como base de formación de talentos de big data, podemos tener una comprensión más clara de la industria actual de big data. Creemos que la aplicación de big data acaba de surgir y el mercado de talentos aún no es así. maduro. "Es difícil esperar que un generalista complete todos los eslabones de toda la cadena. Más empresas reclutarán talentos que puedan complementar el equipo existente en función de sus recursos y deficiencias existentes", Wang Yuyao, director de análisis y estrategia empresarial de LinkedIn China. dijo al "Primer Semanario Financiero".
¿Qué hace un ingeniero de datos?
Por lo tanto, cada empresa tiene diferentes requisitos para el trabajo de big data: algunas enfatizan la programación de bases de datos, algunas destacan conocimientos de matemáticas y estadística aplicadas, algunas requieren experiencia relevante en empresas de consultoría o bancos de inversión, y algunas requieren experiencia relevante en empresas de consultoría o bancos de inversión. Esperamos encontrar talentos orientados a las aplicaciones que comprendan los productos y los mercados. Debido a esto, muchas empresas darán nuevos títulos y definiciones a quienes manejan big data según el tipo de negocio y la división del equipo: ingenieros de minería de datos, expertos en big data, investigadores de datos, expertos en análisis de usuarios, etc. Es un título que aparece a menudo en las empresas nacionales. Lo llamamos colectivamente "ingeniero de big data".
Debido a que el trabajo nacional de big data aún se encuentra en una etapa de desarrollo, el valor que se puede extraer depende completamente de las habilidades personales de los ingenieros. Los expertos que han estado en esta industria dieron un resumen aproximado de las necesidades de talento, incluida la capacidad de codificación informática, matemáticas y experiencia en estadística. Por supuesto, si puede tener una comprensión más profunda de algunos campos o industrias específicos, será más útil para ellos juzgar y comprender rápidamente los factores clave.
Aunque para algunas grandes empresas, los empleados con una maestría son una mejor opción, el investigador del Grupo Alibaba, Xue, enfatizó que las calificaciones académicas no son el factor más importante. La experiencia en el procesamiento de datos a gran escala y la curiosidad de. La búsqueda de tesoros en el océano de datos es más adecuada para este trabajo.
Además, un excelente ingeniero de big data debe tener ciertas capacidades de análisis lógico y ser capaz de localizar rápidamente los atributos clave y los determinantes de un problema empresarial. "Necesita saber qué es relevante, qué es importante, qué tipo de datos son los más valiosos y cómo encontrar rápidamente las necesidades centrales de cada negocio", dijo Shen Zhiyong, científico de datos de Baidu Big Data Joint de las Naciones Unidas. Laboratorio. La capacidad de aprendizaje puede ayudar a los ingenieros de big data a adaptarse rápidamente a diferentes proyectos y convertirse en expertos en datos en este campo en poco tiempo. Las habilidades de comunicación pueden hacer que su trabajo se desarrolle sin problemas, porque el trabajo de los ingenieros de big data se divide principalmente en dos formas: por marketing; departamento Impulsado por e impulsado por el departamento de análisis de datos. El primero a menudo necesita comprender las necesidades de desarrollo de los gerentes de producto, y el segundo necesita encontrar el departamento de operaciones para comprender la transformación real del modelo de datos.
Puedes considerar estos requisitos como la dirección para convertirte en un ingeniero de big data. Esta es una gran brecha de talento. En la actualidad, las aplicaciones nacionales de big data se concentran principalmente en el campo de Internet y más del 56% de las empresas se están preparando para llevar a cabo investigaciones de big data.
Por lo tanto, analizar la historia, predecir el futuro y optimizar las opciones son las tres tareas más importantes para que los ingenieros de big data jueguen con los datos. A través de estas tres direcciones de trabajo ayudamos a las empresas a tomar mejores decisiones comerciales.
1. Descubra las características de eventos pasados
Un trabajo muy importante de los ingenieros de big data es descubrir las características de eventos pasados mediante el análisis de datos. Por ejemplo, el equipo de datos de Tencent está construyendo un almacén de datos para clasificar la enorme e irregular información de datos en todas las plataformas de red de la empresa y resumir las características consultables para satisfacer las diversas necesidades comerciales de datos de la empresa, incluida la publicidad y el desarrollo de juegos y las redes sociales.
Encontrar las características de eventos pasados puede ayudar a las empresas a comprender mejor a los consumidores. Al analizar la trayectoria de comportamiento pasada del usuario, podemos comprender a esta persona y predecir su comportamiento. “Puedes saber qué tipo de persona es, su edad, aficiones, si es un usuario de Internet de pago, qué tipo de juegos le gusta jugar y qué le gusta hacer normalmente en línea.
Zheng Lifeng, director general del Centro de Investigación y Desarrollo de Tencent Cloud Computing Co., Ltd. en Beijing, dijo a China Business Weekly. A continuación, a nivel empresarial, se pueden recomendar servicios relevantes para varios grupos de personas, como juegos móviles o nuevos. se pueden derivar en función de diferentes características y modelos de negocio, como el negocio de entradas de cine de WeChat
2. Predecir lo que puede suceder en el futuro
Introduciendo factores clave. Los ingenieros de datos pueden predecir las tendencias de consumo futuras en Alimama. En la plataforma de marketing, los ingenieros están tratando de ayudar a los vendedores de Taobao a hacer negocios introduciendo datos meteorológicos: "Por ejemplo, si no hace calor este verano, es muy probable que algunos productos no lo hagan. se venderán el año pasado, excepto aires acondicionados, ventiladores eléctricos, chalecos, trajes de baño, etc." , puede verse afectado por ello. Luego estableceremos la relación entre los datos meteorológicos y los datos de ventas, encontraremos categorías relacionadas y proporcionaremos alertas tempranas sobre la rotación del inventario de los vendedores. ” Clasificación: ¿será fluida, abarrotada o en general abarrotada en los próximos días?
3 Descubra los resultados de la optimización
Según la naturaleza comercial de las diferentes empresas, grandes. Los ingenieros de datos pueden lograr esto a través del análisis de datos.
En el pasado, los tomadores de decisiones solo podían emitir juicios basados en la experiencia, pero ahora los ingenieros de big data pueden ayudar al departamento de marketing a tomar decisiones finales a través de grandes escalas. escalar pruebas en tiempo real, como tomar productos de redes sociales como ejemplo. La mitad de los usuarios ve la interfaz A y la otra mitad usa la interfaz B para observar y contar la tasa de clics y la tasa de conversión durante un período de tiempo. /p>
Como empresa de comercio electrónico, Alibaba espera utilizar big data para dirigirse con precisión a las personas. Ayudar a los vendedores a realizar un mejor marketing. Un ejemplo de Taobao es que el grupo objetivo original de la promoción de un determinado vendedor eran mujeres embarazadas. Al analizar la correlación entre los datos, los ingenieros descubrieron que la tasa de conversión de marketing era mayor para las mujeres embarazadas.
Habilidades requeridas
1. >En cuanto a las tres principales empresas de BAT Internet que entrevistamos, los requisitos para los ingenieros de big data son estadísticas y una maestría o un doctorado en matemáticas. Los trabajadores de datos que carecen de formación teórica tienen más probabilidades de entrar en la zona de peligro, habilidades que pueden. Siempre obtenga algunos resultados basados en diferentes modelos de datos y algoritmos, pero si no lo sabe, lo que representa no es un resultado verdaderamente significativo y es fácil engañarlo. “Solo con cierto conocimiento teórico podemos entender el modelo. reutilizar el modelo e incluso innovarlo para resolver problemas prácticos. ", Dijo Shen Zhiyong.
2. Capacidad de codificación informática
La capacidad de desarrollo práctico y la capacidad de procesamiento de datos a gran escala son algunos elementos esenciales para un ingeniero de big data.
Por ejemplo, muchos registros generados por personas en las redes sociales son datos no estructurados. Cómo extraer información significativa de estos textos, sonidos, imágenes e incluso videos desorientados requiere que los ingenieros de big data los extraigan ellos mismos. responsable del análisis empresarial, pero también debe estar familiarizado con la forma en que las computadoras procesan big data.
3. Conocimiento de campos de aplicación o industrias específicas.
El rol es. Es muy importante, porque los big data solo pueden generar valor cuando se combinan con aplicaciones en campos específicos. Por lo tanto, la experiencia en una o más industrias verticales puede acumular conocimiento de la industria para los candidatos, lo cual es muy útil para convertirse en ingenieros de big data en el futuro. También es una ventaja más convincente al postularse para este puesto
Desarrollo profesional
1 Cómo llegar a ser
Debido a la escasez actual de talentos en big data, es. Es difícil para las empresas reclutar talentos adecuados: deben tener educación superior y experiencia en procesamiento de datos a gran escala, por lo que muchas empresas los buscarán.
En agosto de 2014, Alibaba celebró una conferencia sobre big data. competencia, saque los datos en la plataforma Tmall, elimine los problemas sensibles, colóquelos en la plataforma de computación en la nube y entregue a más de 7,000 equipos para competir. Talentos externos descubiertos, lo que permite que los ingenieros de big data en diversas industrias se destaquen.
”
Personas que han estado involucradas en la gestión, minería y programación de bases de datos durante mucho tiempo, incluidos analistas cuantitativos tradicionales, ingenieros de Hadoop y cualquier gerente que necesite emitir juicios y decisiones a través de datos en su trabajo, como ciertos campos Los gerentes de operaciones pueden probar este puesto. Los expertos en diversos campos también pueden convertirse en ingenieros de big data siempre que aprendan a utilizar los datos
2. Como "ingeniero de big data" en la industria de TI, se puede decir que el salario de los ingenieros de big data ha alcanzado la cima de la misma industria. Entre la TI nacional, las comunicaciones y la contratación industrial, el 10% está relacionado con. big data, y la proporción sigue aumentando. Nicole Yan dijo: "La llegada de la era del big data es muy repentina. El impulso del desarrollo interno es radical, pero el talento es muy limitado. La demanda ahora supera por completo a la oferta. "En los Estados Unidos, el salario anual promedio de los ingenieros de big data alcanza los 654,38 + 0,75 millones de dólares estadounidenses. Se entiende que en las principales empresas nacionales de Internet, el salario de los ingenieros de big data del mismo nivel puede ser del 20% al 30 % más alto que otros puestos y son muy valorados por las empresas.
3. Ruta de desarrollo profesional
Debido a la falta de talentos en big data, los departamentos de datos de la mayoría de las empresas en general. Hay un modelo jerárquico plano, que se divide aproximadamente en tres niveles: analistas de datos, investigadores senior y directores de departamento. Las grandes empresas pueden dividir diferentes equipos según las dimensiones de los campos de aplicación, mientras que en las pequeñas empresas, algunas empresas de Internet ponen especial énfasis en. Las estrategias de big data establecerán otros puestos de alto nivel, como el director de datos de Alibaba. Por otro lado, los ingenieros de big data no tienen menos conocimiento de los negocios y los productos que los empleados del departamento comercial, por lo que también pueden transferirse al producto. departamento o departamento de marketing, o incluso ascender a la cima de la empresa.