Práctica de construcción de plataformas de tecnología de big data
[2015 Technology Salon Sharing]
Debido a las necesidades del trabajo, a principios de 2010 la empresa planeó construir una plataforma básica de big data para resolver la caótica situación de la multi -soporte empresarial y multisistema. Debido a que tengo experiencia en la construcción de plataformas SNS, sé que la construcción de una "plataforma" no es un proyecto simple. Requiere mucha mano de obra, tiempo y recursos. También requiere buenas capacidades de diseño arquitectónico y grandes reservas prácticas. tecnología de datos.Es un En el proceso de construcción continua, las pequeñas y medianas empresas se enfrentan al desafío de procesar "grandes" datos.
Definición de una frase
Servicio de recopilación y extracción de información de Internet
Definición ampliada
Plataforma informática inteligente en línea de Internet, orientada a las necesidades de la empresa. Investigación y desarrollo interno de productos y El equipo de operaciones, los desarrolladores de aplicaciones de terceros y los desarrolladores independientes brindan soporte clave en información, inteligencia, conocimiento, comportamiento, informática y otros aspectos al desarrollar aplicaciones en los campos de gobierno, medios, empresas, finanzas y sitios web. y otros campos;
La plataforma se divide en 4 partes en su conjunto y también se han establecido 4 equipos: recopilación de datos, almacenamiento de datos, extracción de datos e interfaz de datos.
Pregunta 1: Hay un retraso en el procesamiento de datos en tiempo real y la puntualidad no es alta. La empresa requiere que el procesamiento de datos sea oportuno y receptivo en el segundo nivel. p> Pregunta 2: La eficiencia del procesamiento de datos por lotes No es alta, la esencia de mfs sigue siendo un método de recorrido de archivos, que no se puede calcular en paralelo
Pregunta 3: Almacenamiento y análisis de datos asociados
Se han realizado dos cambios principales:
(1) Agregar middleware de mensajes distribuidos MQ
El modo de operación por turnos original del sistema en tiempo real se cambia al modo de publicación. -modo de suscripción
Desacoplamiento de los modos de procesamiento de datos en streaming y de procesamiento de datos por lotes
(2) Introducción del ecosistema Hadoop de almacenamiento distribuido y computación paralela
Mayor escala de almacenamiento y mayor velocidad de escritura
El procesamiento por lotes adopta el método de computación paralela MapReduce Mejora significativamente la eficiencia de los datos históricos
Con el desarrollo tecnológico de la industria y el desarrollo sostenible del negocio de la empresa, la plataforma de big data ha introducido gradualmente más sistemas de tecnología de código abierto
(1) Aspectos tecnológicos
(2) Aspectos comerciales
La construcción de una plataforma de big data requiere una experiencia técnica madura equipo y una gran cantidad de inversión de costos por parte de la empresa Durante el proceso de construcción de la plataforma, implica desarrollo comercial, inversión de costos, las soluciones técnicas deben considerarse de manera integral y se recomienda invertir solo cuando existe un impulso comercial sólido. La empresa encontró muchos problemas técnicos durante el proceso de construcción de la plataforma, incluida la arquitectura general diseñada en este artículo, que aún enfrenta el desarrollo del negocio. Se compartirán nuevas preguntas gradualmente en el futuro.