¿Qué significa ETL?

ETL, la abreviatura de Extracción-Transformación-Carga, el nombre chino es extracción, transformación y carga de datos.

Generalmente, con el desarrollo y la expansión del negocio, se producen cada vez más líneas de producción y se generan cada vez más datos sobre los métodos de recopilación, el formato de datos original, el volumen de datos, los requisitos de almacenamiento y los escenarios de uso. De estos datos hay grandes diferencias en otros aspectos.

La extracción de datos se refiere a extraer datos de origen ODS en DW. Una vez que los datos se extraen y limpian, es necesario mostrarlos. Generalmente, los datos limpios se cargan en MySQL y luego se usan en varios sistemas, o se usa Tableau para mostrarlos directamente al personal relevante. El sistema de gestión de metadatos es necesario para el almacén de datos y el personal relevante debe mantenerlo periódicamente. Si los metadatos y los cambios en el almacén de datos no están sincronizados, el sistema de metadatos será inútil.

Información ampliada

El proceso descrito por ETL generalmente incluye ETL o ELT, y se utiliza en combinación. Generalmente, cuanto mayor sea la cantidad de datos, más compleja la lógica de conversión y mayor potencia informática la base de datos de destino, más probable será utilizar ELT para utilizar las capacidades de procesamiento paralelo de la base de datos de destino. El propósito es integrar datos dispersos, desordenados y no estándar en la empresa para proporcionar una base analítica para la toma de decisiones de la empresa. Es un vínculo importante en el proyecto de inteligencia empresarial.

Referencia: Enciclopedia Baidu-ETL