¿Cómo gestionar y controlar los datos de forma eficaz?
Organizar los recursos de datos: el primer paso en el gobierno de datos es aclarar el entorno de recursos de datos de la organización y la lista de recursos de datos desde una perspectiva empresarial, incluida la organización, los asuntos comerciales, los sistemas de información y las bases de datos, las páginas web y los archivos. y formularios de interfaz API. El resultado de este paso es una lista de recursos de datos clasificados.
Recopilación y limpieza de datos: proceso de extracción, conversión y carga de datos desde el origen al destino a través de herramientas visuales ETL (como DataX (Pentaho Data Integration) de Alibaba), con el propósito de convertir datos dispersos. y datos desordenados Almacenamiento centralizado.
Construcción de una base de datos de temas básicos: en términos generales, los datos se pueden dividir en datos básicos, datos de temas comerciales y datos de análisis. Los datos básicos generalmente se refieren a datos de entidades centrales, o datos maestros, como población, personas jurídicas, información geográfica, crédito, certificados electrónicos y otros datos en ciudades inteligentes. Los datos temáticos generalmente se refieren a datos temáticos de una determinada empresa, como la supervisión de alimentos, la supervisión e inspección de calidad, la supervisión empresarial integral y otros datos de la Administración de Supervisión del Mercado. Los datos analíticos se refieren a los datos de los resultados del análisis basados en un análisis integral de los datos de la entidad comercial, como la evaluación empresarial integral por parte de la Administración de Supervisión del Mercado, la distribución regional de la industria, la distribución empresarial de alto riesgo, etc. Luego, la construcción de la biblioteca básica y la biblioteca temática consiste en extraer la estructura de almacenamiento de datos de acuerdo con los principios de fácil almacenamiento, fácil administración y fácil uso. Para decirlo sin rodeos, se trata de diseñar la estructura de la tabla de la base de datos de acuerdo con ciertos principios, luego diseñar el proceso de recolección y limpieza de datos de acuerdo con la lista de recursos de datos y almacenar los datos limpios en la base de datos o el almacén de datos.
Gestión de metadatos: La gestión de metadatos es la gestión de los atributos de los elementos de datos en la base de datos básica y la base de datos temática. Al mismo tiempo, el significado comercial del elemento de datos está asociado con el elemento de datos, de modo que el personal comercial pueda comprender el significado de los campos de datos en la base de datos. Además, los metadatos son la base para el intercambio automático de datos, el intercambio de datos y la inteligencia empresarial (BI) que se menciona más adelante. Cabe señalar que la gestión de metadatos generalmente gestiona los atributos de los elementos de datos (es decir, los activos de datos principales) en la base de datos básica y la base de datos temática, mientras que la lista de recursos de datos gestiona los elementos de datos de varias fuentes de datos.
Seguimiento de relaciones familiares: cuando se encuentran errores de datos al utilizar datos en escenarios comerciales, el equipo de gestión de datos necesita localizar rápidamente la fuente de datos y reparar los errores de datos. Luego, el equipo de gobierno de datos necesita saber de qué biblioteca central provienen los datos del equipo comercial y de qué fuente de datos provienen los datos de la biblioteca central. Nuestro enfoque es establecer una asociación entre metadatos y listas de recursos de datos. Los elementos de datos utilizados por el equipo empresarial se configuran mediante combinaciones de metadatos, estableciendo así una afinidad entre los escenarios de uso de datos y las fuentes de datos. Directorio de recursos de datos: el directorio de recursos de datos se utiliza generalmente en escenarios de intercambio de datos, como el intercambio de datos entre departamentos gubernamentales. Cree un directorio de recursos de datos basado en escenarios comerciales y especificaciones de la industria, y confíe en metadatos y temas básicos de biblioteca para realizar aplicaciones y usos automatizados de datos.
Gestión de la calidad: la exploración exitosa del valor de los datos debe depender de datos de alta calidad. Solo se pueden utilizar datos precisos, completos y consistentes. Por lo tanto, la calidad de los datos debe analizarse desde múltiples dimensiones, como compensación, verificación de valores distintos de cero, verificación de rango, verificación normativa, verificación de repetibilidad, verificación de correlación, verificación de valores atípicos, verificación de volatilidad, etc. Cabe señalar que el diseño de un modelo de calidad de datos excelente debe basarse en un conocimiento profundo del negocio. Técnicamente, también se recomienda utilizar tecnologías relacionadas con big data para garantizar el rendimiento de la detección y reducir el impacto en el rendimiento de los sistemas empresariales, como Hadoop, MapReduce, HBase, etc.
Business Intelligence (BI): La finalidad del gobierno del dato es el uso. Para los grandes almacenes de datos, los escenarios y requisitos para el uso de datos están cambiando. Los productos de BI se pueden utilizar para obtener rápidamente los datos necesarios y analizarlos para generar informes. Por ejemplo, Parker Data es un fabricante profesional de BI.
Intercambio e intercambio de datos * * *: el intercambio de datos * * * incluye el intercambio de datos * * * dentro y entre organizaciones * * * el intercambio también se divide en tres tipos: tablas de biblioteca, archivos e interfaces API. . Forma. Compartir tablas de biblioteca * * * es relativamente sencillo y compartir archivos * * * se puede lograr mediante el intercambio inverso de datos con herramientas ETL. Recomendamos la interfaz API * * * modo compartido. De esta manera, el almacén de datos central puede conservar la propiedad de los datos y transferir los derechos de uso de los datos a través de interfaces API. La interfaz API * * * se puede implementar a través de la puerta de enlace API. Las funciones comunes incluyen generación automática de interfaz, revisión de aplicaciones, límite de tráfico, límite de concurrencia, aislamiento multiusuario, estadísticas de llamadas, auditoría de llamadas, lista blanca y negra, monitoreo de llamadas, monitoreo de calidad. etc.