¿Cuál es la diferencia entre las funciones de un ingeniero de big data y un ingeniero de desarrollo de big data?
Las funciones de los ingenieros de big data (es decir, ingenieros de desarrollo de big data) son las siguientes:
1. Recopilación de big data (rastreadores), limpieza de big data (ingenieros ETL), big data. modelado (Ingeniero de Algoritmos), Análisis de Big Data (Analista de Datos).
2. Gestión, análisis, visualización, aplicación y otras tecnologías (ingeniero de desarrollo de big data).
3. Investigar y aplicar la arquitectura, la tecnología y los estándares de las plataformas de big data.
4. Diseñar, desarrollar, integrar y probar sistemas de software y hardware de big data.
5. Gestionar, mantener y garantizar el funcionamiento estable de los sistemas de big data.
6. Monitorizar, gestionar y garantizar la seguridad del big data.
7. Proporcionar consultoría técnica y servicios técnicos para big data.
Datos extendidos:
Requisitos de habilidades para ingenieros de big data (es decir, ingenieros de desarrollo de big data):
1. Competente en conocimientos técnicos de Java, familiarizado con Spark. kafka, Diseño y desarrollo de Hive, HBase, zookeeper, HDFS, MR y otras aplicaciones.
2. Comprender lenguajes de scripting como python/shell.
3. Estar familiarizado con la arquitectura de la plataforma de big data y tener cierto conocimiento de ETL y almacén de datos.
4. Se dará prioridad a los solicitantes con experiencia en visualización de datos, análisis de datos y construcción de modelos matemáticos.
5. Se dará prioridad a los solicitantes con experiencia en el desarrollo de sistemas rastreadores.