Factores importantes en la evaluación de la infraestructura de Big Data
Factores importantes al evaluar la infraestructura de big data
A medida que la industria de TI continúa inculcando las ventajas del almacenamiento barato, las empresas tienen más datos que nunca, por lo que al evaluar la infraestructura de big data ¿Qué factores deben investigarse en profundidad durante el proceso de arquitectura. Este artículo implica la evaluación de factores importantes como la capacidad, la latencia, la accesibilidad, la seguridad y el costo.
Factores impulsores del desarrollo del big data
Además de almacenar más datos que nunca, los tipos de datos a los que nos enfrentamos también se han vuelto más complejos. Estas fuentes de datos incluyen transacciones por Internet, actividades en redes sociales, sensores automatizados, dispositivos móviles e instrumentos de investigación científica. Además del crecimiento de datos estáticos, las transacciones también mantendrán una "tasa de crecimiento" de datos fija. Por ejemplo, el rápido crecimiento de la información social genera una gran cantidad de transacciones y registros. Sin embargo, los conjuntos de datos existentes y en constante expansión no garantizan que se pueda encontrar información valiosa para la empresa.
La información actual es un importante factor de producción
Los datos se han convertido en un medio de producción, al igual que el capital, el trabajo y las materias primas, y no se limitan a una determinada industria. aplicaciones dentro. Todos los departamentos de la empresa tienen como objetivo integrar y comparar colecciones de datos cada vez mayores en un esfuerzo por reducir costos, mejorar la calidad, mejorar las capacidades de producción y desarrollar nuevos productos. Por ejemplo, el análisis directo de datos de productos en el campo puede ayudar a mejorar los diseños. Por poner otro ejemplo, las empresas pueden mejorar significativamente sus capacidades de análisis competitivo mediante un análisis en profundidad de los hábitos de los usuarios y la comparación de las características de crecimiento del mercado en general.
La necesidad del desarrollo del almacenamiento
Big data significa que el crecimiento de los datos excede su propia infraestructura, lo que impulsa un mayor desarrollo de sistemas de almacenamiento, redes y computación que enfrentan estos desafíos especiales. desarrollar. Los requisitos de las aplicaciones de software impulsan en última instancia el desarrollo de capacidades de hardware y, en este caso, el procesamiento de análisis de big data está afectando el desarrollo de la infraestructura de almacenamiento de datos. Esta es una oportunidad para las empresas de almacenamiento e infraestructura de TI. A medida que los conjuntos de datos estructurados y no estructurados continúan creciendo y los métodos para analizar estos datos se vuelven más diversos, los diseños actuales de sistemas de almacenamiento no pueden hacer frente a las necesidades de la infraestructura de big data. Los proveedores de almacenamiento han comenzado a implementar sistemas basados en bloques y archivos para abordar muchas de estas necesidades. A continuación se enumeran algunas de las características de la infraestructura de almacenamiento de big data que surgen de los desafíos que plantea el big data.
Capacidad. "Grande" a menudo puede entenderse como datos a nivel de petabytes, por lo que la infraestructura de big data, por supuesto, debe ser escalable. Sin embargo, también debe poder ampliarse fácilmente, añadiendo capacidad directamente a los usuarios en forma de módulos o matrices, o al menos evitando que el sistema se caiga. El almacenamiento escalable se ha vuelto muy popular porque satisface esta necesidad. La característica de la arquitectura de clúster escalable es que está compuesta por nodos de almacenamiento. Cada nodo tiene potencia de procesamiento y conectividad, y se puede expandir sin problemas para evitar el problema del almacenamiento en chimenea que puede ocurrir en los sistemas tradicionales.
Big data también significa muchos archivos. Gestionar la acumulación de metadatos en un sistema de archivos puede reducir la escalabilidad y afectar el rendimiento, problemas que pueden surgir con los sistemas NAS tradicionales. La arquitectura de almacenamiento basada en objetos es otra forma de admitir el escalado a miles de millones de archivos en un sistema de almacenamiento de big data sin los problemas de carga que se encuentran en los sistemas de archivos tradicionales. El almacenamiento basado en objetos puede escalarse en diferentes geografías, lo que permite escalar grandes infraestructuras en múltiples ubicaciones.
Retraso. La infraestructura de big data también puede incluir componentes en tiempo real, especialmente en interacciones de páginas web o transacciones de procesamiento financiero. Los sistemas de almacenamiento deben poder hacer frente a los problemas anteriores manteniendo el rendimiento correspondiente, ya que los retrasos pueden producir datos obsoletos. En esta área, la infraestructura escalable también puede aumentar la potencia de procesamiento y la conectividad a medida que se amplía la capacidad mediante la aplicación de grupos de nodos de almacenamiento. Los sistemas de almacenamiento basados en objetos pueden transmitir datos simultáneamente, mejorando en mayor medida el rendimiento.