Características del big data y el data masivo
Cubo de Rubik (Big Data Model Platform)
La Big Data Model Platform es una plataforma de herramientas para análisis y minería de datos basada en bus de servicios y computación en la nube distribuida. Utiliza un sistema de archivos distribuido para almacenar datos y admite el procesamiento de datos masivos. Utiliza una variedad de tecnologías de recopilación de datos para respaldar la recopilación de datos estructurados y no estructurados. Admite la configuración del modelo de proceso a través de una herramienta de creación de modelos gráficos. Se pueden integrar fácilmente otras herramientas y servicios en la plataforma a través de tecnología de complementos de terceros. La plataforma de análisis y juicio de datos es un proceso de recopilación de cantidades masivas de información, establecimiento de modelos de datos, extracción y análisis de datos y, en última instancia, formación de conocimientos para las operaciones y la toma de decisiones reales. La plataforma incluye principalmente la parte de recopilación de datos, la parte de configuración del modelo, la parte de ejecución del modelo y la parte de visualización de resultados.
Herramienta de extracción de datos para la plataforma de big data
La herramienta de extracción de datos de la plataforma de big data realiza la función de importar datos de db a hdfs. Con la ayuda de Hadoop, se pueden extraer datos de base de datos paralelos distribuidos en clústeres eficientes en lotes paralelos al sistema de archivos HDFS mediante partición de bases de datos, partición de campos, paginación, etc., resolviendo eficazmente los problemas tradicionales de carga de trabajo excesiva y prolongada. tiempo de extracción de big data, proporcionando una tubería de transmisión para el almacén de big data. El servidor de procesamiento de datos asigna subprocesos de procesamiento de tareas de trabajo independientes y colas de ejecución de tareas a cada trabajo, y los trabajos no interfieren entre sí. Modo de procesamiento de tareas de trabajo flexible: las tareas de trabajo se pueden ejecutar de forma incremental y las estrategias de tiempo de procesamiento de tareas se pueden configurar y personalizar según las diferentes necesidades. Utilice un modelo asincrónico basado en eventos para administrar y distribuir instrucciones de trabajo y recopilar datos sobre el estado del trabajo. A través del terminal de administración y monitoreo, puede monitorear el estado de ejecución en tiempo real de los trabajos en cada nodo de procesamiento de datos, ver el estado de ejecución histórico de los trabajos e implementar fácilmente operaciones como enviar nuevos trabajos, volver a ejecutar trabajos, y detener los trabajos que se están ejecutando actualmente.
Herramienta de recopilación de datos de Internet
El radar de información de red es un producto de recopilación direccional de información de red. Puede recopilar y actualizar datos del sitio web establecidos por los usuarios para lograr objetivos flexibles de recopilación de datos de red y proporcionar la información necesaria. Base para Internet. Proporcionar base para el análisis de datos.
Weizhiyun (plataforma de servicio push de Internet)
El centro de datos de computación en la nube se basa en un procesamiento de datos chino avanzado y soporte de datos masivo, complementado con servicios manuales en cada enlace, de modo que los datos El centro funciona de forma segura y eficiente. De acuerdo con los diferentes enlaces del centro de datos de computación en la nube, contamos con personal de administración y mantenimiento de sistemas especialmente equipado, personal de procesamiento y compilación de datos, personal de recolección y mantenimiento de datos, administradores de sistemas de plataforma, administradores institucionales, monitoreo de opinión pública y analistas para satisfacer las necesidades. de cada enlace. Para los usuarios, ofrecemos soluciones orientadas al gobierno y a las empresas.
Microscopio (herramienta de minería de texto de big data)
La minería de texto se refiere a la tecnología de procesamiento informático que extrae información y conocimiento valiosos de los datos de texto, incluida la clasificación de texto, la agrupación de texto, la extracción de información y la entidad. reconocimiento, indexación de palabras clave, resumen, etc. El software de minería de texto basado en Hadoop MapReduce puede extraer y analizar textos masivos. Un campo de aplicación importante de CKM es la comparación inteligente, que se utiliza ampliamente en la verificación de novedad de patentes, verificación de novedad científica y tecnológica, verificación de duplicación de documentos, protección de derechos de autor, trazabilidad de manuscritos y otros campos.
Cubo de datos (minería de relaciones visuales)
Los métodos de presentación de la minería de relaciones visuales de big data incluyen diagramas de relaciones, líneas de tiempo, diagramas de análisis, listas y otros métodos de expresión, lo que proporciona a los usuarios información completa sobre cómo Se presenta información de orientación.