¿Cuáles son las principales características de la era del big data?
1. La primera característica del big data es "grande". En la antigua era Map3, un Map3 pequeño de nivel MB podía satisfacer las necesidades de muchas personas. Pero con el tiempo, las unidades de almacenamiento han cambiado de GB en el pasado a TB, e incluso ahora a niveles de PB y EB.
Con el rápido desarrollo de la tecnología de la información, los datos han comenzado a crecer explosivamente. Redes sociales (Weibo, Twitter, Facebook), redes móviles, diversas herramientas inteligentes, herramientas de servicio, etc. se han convertido en fuentes de datos. Los casi 400 millones de miembros de Taobao generan alrededor de 20 TB de datos de transacciones de productos básicos cada día; los aproximadamente 654,38 mil millones de usuarios de Facebook generan más de 300 TB de datos de registro cada día.
Se necesitan con urgencia algoritmos inteligentes, potentes plataformas de procesamiento de datos y nuevas tecnologías de procesamiento de datos para contar, analizar, predecir y procesar datos de gran escala en tiempo real.
2.Diversidad. Una amplia gama de fuentes de datos determina la diversidad de formas de big data. Cualquier forma de datos puede entrar en juego. Actualmente, los sistemas de recomendación más utilizados incluyen Taobao, NetEase Cloud Music, Toutiao, etc. Estas plataformas recomendarán además cosas que les gustan a los usuarios mediante el análisis de los datos de registro de los usuarios.
Los datos de registro son obviamente datos estructurados y algunos datos no están obviamente estructurados, como imágenes, audios, videos, etc. Estos datos tienen relaciones causales débiles y requieren anotaciones manuales.
3.Alta velocidad. Los big data se generan muy rápidamente y se transmiten principalmente a través de Internet. Todos en la vida son inseparables de Internet, lo que significa que todos los días, las personas proporcionan una gran cantidad de información a big data.
Y estos datos deben procesarse de manera oportuna, porque es muy antieconómico gastar mucho capital para almacenar datos históricos con poco efecto. Para una plataforma, los datos guardados pueden ser solo de los últimos días o un mes. Los datos que están lejos deben limpiarse a tiempo; de lo contrario, el costo será demasiado alto.
En base a esta situación, big data tiene requisitos muy estrictos en cuanto a velocidad de procesamiento. Se utiliza una gran cantidad de recursos en el servidor para procesar y calcular datos, y muchas plataformas requieren análisis en tiempo real. Los datos se generan todo el tiempo y quien sea más rápido tendrá ventaja.
4. Ésta es también la característica principal del big data. Entre los datos generados en el mundo real, la proporción de datos valiosos es muy pequeña.
En comparación con los datos pequeños tradicionales, el mayor valor de los grandes datos es extraer datos valiosos para tendencias futuras y análisis de predicción de patrones a partir de una gran cantidad de datos irrelevantes, y utilizar métodos de aprendizaje automático, métodos o datos de inteligencia artificial. métodos de minería para un análisis en profundidad.
Descubrir nuevas leyes y nuevos conocimientos y aplicarlos a la agricultura, las finanzas, la medicina y otros campos, logrando en última instancia los efectos de mejorar la gobernanza social, aumentar la eficiencia de la producción y promover la investigación científica.