Red de Respuestas Legales - Derecho de bienes - ¿Qué incluye el big data? La tecnología de big data incluye recopilación de datos, acceso a datos, infraestructura, procesamiento de datos, análisis estadístico, extracción de datos, predicción de modelos y presentación de resultados. 1. Recopilación de datos: en el ciclo de vida de big data, la recopilación de datos es en el primer paso. Según la clasificación de los sistemas de aplicaciones que generan datos a través de MapReduce, existen cuatro fuentes principales para recopilar big data: sistemas de información de gestión, sistemas de información web, sistemas de información física y sistemas de experimentos científicos. 2. Acceso a datos: el almacenamiento de big data adopta diferentes rutas técnicas y se puede dividir aproximadamente en tres categorías. La categoría 1 es principalmente para datos estructurados a gran escala. La segunda categoría se ocupa principalmente de datos semiestructurados y no estructurados. La tercera categoría se enfrenta a big data estructurados y no estructurados. 3. Infraestructura: almacenamiento en la nube, almacenamiento de archivos distribuidos, etc. 4. Procesamiento de datos: diferentes conjuntos de datos pueden tener diferentes estructuras y patrones, como archivos, árboles XML, tablas relacionales, etc. , lo que muestra la heterogeneidad de los datos. Para múltiples conjuntos de datos heterogéneos, se requiere un procesamiento de integración adicional o procesamiento integrado. Después de recopilar, clasificar, limpiar y convertir datos de diferentes conjuntos de datos, se generan nuevos conjuntos de datos para proporcionar una vista de datos unificada para el procesamiento posterior de consultas y análisis. 5. Análisis estadístico: prueba de hipótesis, prueba de significancia, análisis de diferencias, análisis de correlación, prueba T, análisis de varianza, análisis de chi-cuadrado, análisis de correlación parcial, análisis de distancia, análisis de regresión, análisis de regresión simple, análisis de regresión múltiple, regresión por pasos, regresión Análisis de predicción y residual, regresión de crestas, análisis de regresión logística, estimación de curvas, análisis factorial, análisis de conglomerados, análisis de componentes principales, análisis factorial y agrupamiento rápido. 6. Minería de datos: es necesario mejorar las tecnologías existentes de minería de datos y aprendizaje automático; desarrollar nuevas tecnologías de minería de datos, como la minería de redes de datos, la minería de grupos especiales y la minería de gráficos, como la conexión de datos basada en objetos y la minería de gráficos; conexión de similitud; Romper las tecnologías de minería de big data orientadas al campo, como el análisis de intereses del usuario, el análisis del comportamiento de la red y el análisis semántico emocional. 7. Predicción de modelos: modelos predictivos, aprendizaje automático, modelado y simulación. 8. Presentación de resultados: computación en la nube, nube de etiquetas, diagrama de relaciones, etc.