¿Qué significa big data?
El concepto y connotación de big data
El concepto de “big data” existe desde hace mucho tiempo. En 1980, el famoso futurista Alvin? En su libro "La tercera ola", Toffler elogió con entusiasmo el big data como "la cadencia de la tercera ola". Pero no fue hasta los últimos años que "big data" se convirtió en una palabra candente en la industria de la tecnología de la información de Internet, junto con la "computación en la nube" y el "Internet de las cosas". En 2008, con motivo del décimo aniversario de la fundación de Google, la famosa revista "Nature" publicó un número especial para discutir una serie de cuestiones técnicas y desafíos relacionados con el futuro procesamiento de big data, en el que se proponía el concepto de "big data". . En mayo de 2011, en la conferencia EMC World 2011 con el tema "La computación en la nube se encuentra con Big Data", EMC también descartó el concepto de big data. Por tanto, mucha gente cree que 2011 es el primer año de big data.
Desde entonces, muchos expertos e instituciones han propuesto su comprensión del big data desde diferentes perspectivas. Por supuesto, como los big data en sí son muy abstractos, no existe una definición reconocida internacionalmente. Wikipedia cree que big data es un conjunto de datos complejos a gran escala que excede las capacidades de procesamiento de los sistemas de bases de datos existentes o las herramientas de administración de bases de datos y su procesamiento requiere más tiempo del que los clientes pueden tolerar. Informatica, el fabricante de software de integración de datos empresariales número uno del mundo, cree que big data incluye datos masivos y tipos de datos complejos, y su escala excede las capacidades de gestión y procesamiento de los sistemas de bases de datos tradicionales. Amazon Web Services (AWS) y el científico de big data John Rauser mencionaron una definición simple: Big data es cualquier cantidad masiva de datos que excede la potencia de procesamiento de las computadoras. La definición de Baidu Search es: "Big data" es un conjunto de datos que es extremadamente grande en volumen y categoría de datos, y dicho conjunto de datos no puede ser capturado, administrado ni procesado por herramientas de bases de datos tradicionales. La definición de "Internet Weekly" es: El concepto de "big data" es mucho más que una gran cantidad de datos (TB) y la tecnología para procesar grandes cantidades de datos, o un concepto simple como los llamados "Cuatro Vs", pero cubre las necesidades de las personas. Lo que se puede hacer con base en datos a gran escala no se puede lograr con base en datos a pequeña escala. En otras palabras, los big data nos permiten analizar cantidades masivas de datos de una manera sin precedentes para obtener productos y servicios de gran valor o conocimientos profundos, formando en última instancia una fuerza para el cambio.
Basándonos en las diferentes definiciones anteriores, creemos que big data debe incluir al menos los dos aspectos siguientes: primero, es enorme y, segundo, no se puede procesar con herramientas tradicionales. Por tanto, big data no se trata de cómo definirlo, sino de cómo utilizarlo. No solo enfatiza la escala de los datos, sino que también enfatiza la capacidad de obtener rápidamente información y conocimientos valiosos a partir de datos masivos.
Las características 4V del big data
En general, se cree que el big data tiene principalmente las siguientes cuatro características típicas: volumen, variación, velocidad y valor, que se denominan "4V".
1. Las características de big data se reflejan primero en "gran volumen", y las unidades de almacenamiento han cambiado de GB y TB en el pasado a PB y EB. Con el rápido desarrollo de la tecnología de la información, los datos han comenzado a crecer explosivamente. Redes sociales (Weibo, Twitter, Facebook), redes móviles, diversos terminales inteligentes, etc. se han convertido en fuentes de datos. Los casi 400 millones de miembros de Taobao generan alrededor de 20 TB de datos de transacciones de productos básicos cada día; los aproximadamente 654,38 mil millones de usuarios de Facebook generan más de 300 TB de datos de registro cada día. Se necesitan con urgencia algoritmos inteligentes, potentes plataformas de procesamiento de datos y nuevas tecnologías de procesamiento de datos para contar, analizar, predecir y procesar datos de gran escala en tiempo real.
2.Diversidad.
Una amplia gama de fuentes de datos determina la diversidad de formas de big data. Los macrodatos se pueden dividir aproximadamente en tres categorías: en primer lugar, datos estructurados, como datos del sistema financiero, datos del sistema de gestión de la información, datos del sistema médico, etc. , que se caracteriza por fuertes relaciones causales entre datos; el segundo son datos no estructurados, como videos, imágenes, audio, etc. , caracterizados por la ausencia de relación causal entre datos; terceros, datos semiestructurados, como documentos HTML, correos electrónicos, páginas web, etc. , caracterizado por una relación causal débil entre los datos.
3.Alta velocidad. A diferencia de los soportes de datos tradicionales, como archivos, transmisiones, periódicos, etc., el intercambio y difusión de big data se realiza a través de Internet y la computación en la nube, y su velocidad es mucho más rápida que el intercambio y difusión de información de los medios tradicionales. La diferencia importante entre big data y datos masivos es que, además del mayor tamaño de datos de big data, big data tiene requisitos más estrictos en cuanto a la velocidad de respuesta del procesamiento de datos. El análisis en tiempo real reemplaza el análisis por lotes, y la entrada, el procesamiento y el descarte de datos son inmediatos y casi sin demora. La tasa de crecimiento y la velocidad de procesamiento de los datos son manifestaciones importantes de la alta velocidad del big data.
4. Ésta es también la característica principal del big data. Entre los datos generados en el mundo real, la proporción de datos valiosos es muy pequeña. En comparación con los pequeños datos tradicionales, el mayor valor de los grandes datos radica en la extracción de datos valiosos para la predicción y el análisis de tendencias y patrones futuros a partir de una gran cantidad de datos irrelevantes, a través de métodos de aprendizaje automático, métodos de inteligencia artificial o métodos de minería de datos. Con un análisis profundo, podemos descubrir nuevas leyes y nuevos conocimientos, y aplicarlos a la agricultura, las finanzas, la medicina y otros campos, logrando en última instancia los efectos de mejorar la gobernanza social, aumentar la eficiencia de la producción y promover la investigación científica.
Seis grandes tendencias de desarrollo del big data
Aunque el big data aún se encuentra en la etapa inicial de desarrollo, todavía existen muchas dificultades y desafíos, pero creemos que a medida que pasa el tiempo, big data tendrá un futuro brillante Las perspectivas de desarrollo son muy prometedoras.
1. Los datos crecerán exponencialmente.
En los últimos años, con el auge de las redes sociales, Internet móvil, comercio electrónico, Internet y computación en la nube, el audio, vídeo, imágenes, registros y otros datos han crecido exponencialmente. Según datos relevantes, en 2011, el tamaño de datos global era de 1,8 ZB, lo que puede llenar 57,5 mil millones de iPads de 32 GB. Estos iPads pueden construir dos Grandes Murallas en China. Para 2020, los datos globales alcanzarán los 40ZB. Si se almacenaran todos en discos Blu-ray, los discos pesarían tanto como 424 portaaviones Nimitz. El Centro de Datos de Internet de Estados Unidos señala que los datos en Internet crecerán a un ritmo del 50% anual y se duplicarán cada dos años. Actualmente, más del 90% de los datos del mundo se generaron en los últimos años.
2. Los datos serán el recurso más valioso.
En la era del big data, los datos se han convertido en un nuevo elemento después de la tierra, el trabajo y el capital, formando la competitividad central de las empresas del futuro. En un informe titulado “Big Data, Big Impact”, el Wall Street Journal declara que los datos se han convertido en una nueva clase de activos, como el dinero o el oro. Rometty, director ejecutivo de IBM, cree que "los datos se convertirán en el factor fundamental que determinará la victoria o la derrota en todas las industrias y, eventualmente, los datos se convertirán en un recurso natural vital para la humanidad. Con el desarrollo continuo de las aplicaciones de big data, tenemos razones para creer que son grandes". datos Se convertirá en un activo importante y en el foco de la competencia para instituciones y empresas. Gigantes de Internet como Google, Apple, Amazon, Alibaba y Tencent están aprovechando el poder del big data para lograr un mayor éxito empresarial y seguirán mejorando su competitividad a través del big data.
3. Integración inteligente de big data y las industrias tradicionales
A través de la recopilación, clasificación, análisis y extracción de big data, no solo podemos descubrir problemas en la gobernanza urbana y captar las tendencias. en operación económica, también puede impulsar diseños precisos y modelos de producción precisos, llevar a la industria de servicios a agregar valor con precisión y crear una nueva forma de industria creativa interactiva. Las ubicaciones de tiendas emblemáticas como McDonald's, KFC y Apple se basan en ubicaciones precisas basadas en análisis de datos. Baidu, Alibaba y Tencent brindan a los usuarios servicios más profesionales y personalizados al dominar y analizar cantidades masivas de datos. Con la profundización de la construcción de ciudades inteligentes, los big data desempeñarán un papel cada vez más importante en las ciudades inteligentes.
Desde la digitalización urbana hasta las ciudades inteligentes, la clave es lograr el procesamiento inteligente de la información digital, cuyo núcleo es la introducción de tecnología de procesamiento de big data. Los big data se convertirán en el motor de inteligencia central de las ciudades inteligentes. Finanzas inteligentes, seguridad inteligente, atención médica inteligente, educación inteligente, transporte inteligente, gestión urbana inteligente, etc. Todas ellas son áreas importantes para la integración de big data y las industrias tradicionales.
4. Los datos serán cada vez más abiertos.
Los macrodatos son el * * * mismo recurso de la humanidad * * * la misma riqueza La apertura y el intercambio de datos es una tendencia histórica irreversible. A medida que los gobiernos y las empresas de todo el mundo se vuelven cada vez más conscientes de los beneficios sociales y el valor comercial que aportan los datos abiertos, pronto se desencadenará una ola de apertura de datos en todo el mundo. De hecho, el desarrollo de big data requiere la cooperación de todo el mundo y de toda la humanidad, convirtiendo los big data privados en big data públicos y, en última instancia, logrando la integración global de los big data privados, de propiedad empresarial y de la industria, para que para no volverse inútiles. Cuanto más relevantes son los big data, más valiosos y abiertos son. En particular, habrá cada vez más datos abiertos de empresas públicas y empresas de Internet. En la actualidad, los gobiernos de países y regiones desarrollados como Estados Unidos y Europa han dado ejemplo en términos de datos gubernamentales y de servicios públicos. Por un lado, el gobierno municipal chino tomará la iniciativa en la promoción de la divulgación y el disfrute de los datos; por otro lado, proporcionará a los usuarios de datos abundantes fuentes y aplicaciones de datos mediante la promoción de la construcción de diversas plataformas comerciales de servicios de big data;
5. La seguridad de los big data recibirá cada vez más atención.
A medida que los big data se utilicen cada vez más en la economía y la sociedad, la seguridad de los big data seguramente recibirá más atención. En la era del big data, mientras utilizamos tecnologías de big data como la minería y el análisis de datos para obtener información valiosa, los "hackers" también pueden utilizar estas tecnologías de big data para recopilar información más útil al máximo y lanzar ataques contra objetivos que están interesados. Ataques más "precisos". En los últimos años, de vez en cuando se han filtrado privacidad personal, información comercial e incluso secretos de estado. En este sentido, países desarrollados como Estados Unidos y Europa han formulado y mejorado leyes y regulaciones relevantes para proteger la seguridad de la información y prevenir fugas de privacidad. Es previsible que en un futuro próximo otros países sigan rápidamente su ejemplo para proteger mejor la seguridad de los datos de sus gobiernos, empresas e incluso residentes.
6. Los talentos de big data serán muy populares.
Con el desarrollo continuo de big data y su aplicación cada vez más extendida, los analistas de datos experimentados incluyen analistas de big data, expertos en gestión de datos, ingenieros de algoritmos de big data, gerentes de productos de datos, etc. , se convertirá en un recurso escaso para toda la sociedad y en talentos para diversas instituciones. Según las predicciones de la consultora de renombre internacional Gartner, la demanda mundial de talentos en big data alcanzará los 4,4 millones en 2015, pero el mercado de talentos sólo puede satisfacer un tercio de la demanda. McKinsey predice que Estados Unidos necesitará entre 440.000 y 490.000 talentos de análisis de datos en profundidad para 2065, 438-08, con una brecha de 654.3804-654.380.900 personas. En vista de esto, Estados Unidos, a través de la Fundación Nacional de Ciencias, alienta a las universidades de investigación a establecer programas de grado interdisciplinarios para prepararse para la capacitación de la próxima generación de científicos e ingenieros de datos, y establece fondos de capacitación para apoyar la capacitación técnica relevante para estudiantes universitarios. y reunirá a investigadores de diversas disciplinas para discutir cómo los big data están cambiando la educación y el aprendizaje. El Reino Unido, Australia, Francia y otros países también han adoptado disposiciones especiales similares para la formación de talentos en big data. Empresas como IBM también han comenzado a promover de manera integral la cooperación con universidades en el campo de big data, tratando de cultivar talentos de datos compuestos que comprendan tanto el conocimiento empresarial como las capacidades analíticas. (Wu Feng: Centro Nacional de Información)