Cómo sincronizar datos de MySQL con el almacén de datos

Infobright es una base de datos de columnas basada en una tecnología de cuadrícula de conocimiento patentada única. Infobright es una solución de almacén de datos mysql de código abierto que presenta soluciones de almacenamiento en columnas, compresión de datos de alta intensidad y cálculos estadísticos optimizados (similar a suma/promedio/agrupar por). Infobright está basado en mysql, pero puedes instalarlo sin MySQL porque viene con uno. Mysql se puede dividir aproximadamente en capa lógica y motor de almacenamiento físico. infobright implementa principalmente un motor de almacenamiento, pero debido a que su lógica de almacenamiento es fundamentalmente diferente de la de una base de datos relacional, no se puede conectar directamente a mysql como un complemento como InnoDB. Su capa lógica es la capa lógica de mysql más su propio optimizador.

Función Infobright

Ventajas:

El rendimiento de consultas de grandes cantidades de datos es potente y estable: en condiciones de millones, decenas de millones y miles de millones. de registros, la misma consulta SELECT La velocidad de la declaración es de 5 a 60 veces más rápida que los motores de almacenamiento MySQL comunes como MyISAM e InnoDB. Las consultas eficientes se basan principalmente en la optimización de las consultas mediante estructuras de almacenamiento especialmente diseñadas, pero el efecto de la optimización aquí también depende del diseño de la estructura de la base de datos y las declaraciones de la consulta.

La cantidad de datos almacenados es enorme: tamaño de datos en TB, miles de millones de registros. El almacenamiento de datos se basa principalmente en herramientas de carga de datos de alta velocidad (100 G/h) y una alta relación de compresión de datos (>10:1).

Alta relación de compresión de datos: se dice que la relación promedio de compresión de datos puede alcanzar más de 10:1. Incluso puede alcanzar 40:1, lo que ahorra mucho espacio de almacenamiento de datos. Las altas tasas de compresión de datos dependen principalmente del almacenamiento en columnas y de algoritmos de compresión flexibles pendientes de patente.

Almacenamiento basado en columnas: sin índices ni particiones. Incluso si el volumen de datos es enorme, la velocidad de consulta es muy rápida. Se puede utilizar en almacenes de datos para procesar cantidades masivas de datos sin necesidad de recopilaciones. No es necesario crear un índice, lo que evita los problemas de mantener el índice y ampliarlo con datos. Cada columna de datos se comprime y almacena en bloques, y cada nodo de la cuadrícula informado registra estadísticas en bloques en lugar de índices para acelerar las búsquedas.

Responda rápidamente a consultas de agregación complejas: adecuado para consultas SQL analíticas complejas, como SUM, COUNT, AVG y GROUP BY.