¿Qué software tiene la plataforma de big data?
Este es un nivel medio de Java que permite a los desarrolladores ejecutar consultas SQL en Apache HBase. Phoenix está escrito completamente en Java, el código está en GitHub y proporciona un controlador JDBC que el cliente puede integrar.
El motor de consultas Phoenix convertirá la consulta SQL en uno o más escaneos HBase y programará la ejecución para producir un conjunto de resultados JDBC estándar. Al utilizar directamente la API de HBase, coprocesadores y filtros personalizados, los niveles de rendimiento varían desde milisegundos para consultas simples hasta segundos para millones de filas.
En segundo lugar, pronto
Presto, el motor de consulta de datos de código abierto de Facebook, podrá analizar de forma rápida e interactiva más de 250 PB de datos. El desarrollo del proyecto comenzó en el otoño de 2012. Actualmente, el proyecto es utilizado por más de 1.000 empleados de Facebook, ejecuta más de 30.000 consultas y los datos diarios están en el nivel de 1 PB. Facebook afirma que el rendimiento de Presto es 10 veces mejor que el de Hive y Map*Reduce.
Presto actualmente admite la mayoría de los efectos especiales de ANSI SQL, incluidas consultas conjuntas, uniones izquierda y derecha, subconsultas y algunas funciones de agregación y cálculo. Admite conteo distinto aproximado, etc.
En tercer lugar, los tiburones
Los tiburones son panales sobre chispas. Esencialmente, el análisis HQL de Hive se utiliza para traducir HQL en operaciones RDD en Spark, y luego la información de la tabla en la base de datos se obtiene a través de los metadatos de Hive. Shark obtendrá los datos y archivos reales sobre HDFS y los ejecutará en Spark. Shark es rápido y totalmente compatible con Hive. Puede utilizar API como rdd2sql() en modo shell para continuar calculando el conjunto de resultados obtenido por HQL en el entorno Scala. Admite la escritura de aprendizaje automático simple o funciones simples de análisis y procesamiento para realizar análisis adicionales. y calcular los resultados HQL.
¿Qué tipo de software está disponible en la plataforma de big data? Qingteng Editor lo compartirá con usted aquí. Si está interesado en la ingeniería de big data, espero que este artículo pueda ayudarle. Si desea saber más sobre las habilidades y la información de los analistas de datos y los ingenieros de big data, puede hacer clic en otros artículos de este sitio para obtener más información.
¿Qué software comparte contigo el editor sobre la plataforma de big data? Para obtener más información, puede seguir a Global Ivy para compartir más información detallada.