Tecnología y aplicaciones de big data

Tecnología y aplicaciones de big data

Durante el último medio siglo, a medida que la tecnología informática se ha integrado plenamente en la vida social, la explosión de información se ha acumulado hasta un nivel que ha comenzado a desencadenar cambios. . El siglo XXI es una era de gran desarrollo de datos e información. Internet móvil, redes sociales, comercio electrónico, etc. han ampliado enormemente los límites y el alcance de las aplicaciones de Internet. Todo tipo de datos se están expandiendo y haciendo más grandes rápidamente. Internet (social, búsqueda, comercio electrónico), Internet móvil (Weibo), Internet de las cosas (sensores, tierra inteligente), Internet de los vehículos, GPS, imágenes médicas, monitoreo de seguridad, finanzas (banca, mercado de valores, seguros), telecomunicaciones (llamadas, SMS) están generando datos alocadamente. En mayo de 2011, en la conferencia EMC World 2011 con el tema "Cloud Computing Meets Big Data", EMC lanzó el concepto de Big Data. Como afirmó una columna del New York Times en febrero de 2012, la era de los “grandes datos” ha llegado en los negocios, la economía y otros campos, las decisiones se tomarán cada vez más basándose en datos y análisis en lugar de en la experiencia y la intuición. ¿Gary, profesor de sociología de Harvard? Jin dijo: "Esto es una revolución. Los enormes recursos de datos han permitido que varios campos inicien un proceso cuantitativo. Ya sea el mundo académico, empresarial o gubernamental, todos los campos iniciarán este proceso".

2. ¿Qué? Es big data

Big Data (Big Data) se refiere a datos que exceden las capacidades de procesamiento de los sistemas de bases de datos tradicionales. Sus requisitos de tamaño de datos y velocidad de transferencia son muy altos o su estructura no es adecuada para el sistema de base de datos original. Para sacarle valor a los big data, tenemos que elegir otra forma de procesarlos. Hay patrones e información valiosos ocultos en los datos que habrían requerido un tiempo y un costo considerables para extraerlos en el pasado. Empresas líderes como Walmart o Google tienen que pagar un alto precio para extraer información a partir de big data. Los diversos recursos actuales, como el hardware, la arquitectura de la nube y el software de código abierto, hacen que el procesamiento de big data sea más conveniente y económico. Incluso las empresas que empiezan en un garaje ahora pueden alquilar tiempo en la nube a un precio más bajo. Para las organizaciones empresariales, el valor del big data se refleja en dos aspectos: análisis y uso y desarrollo secundario. El análisis de big data puede revelar información oculta en ellos. Por ejemplo, en la industria minorista, el análisis de las ventas de las tiendas y de la información geográfica y social puede mejorar la comprensión del cliente. El desarrollo secundario de big data es la especialidad de las empresas de Internet de éxito. Por ejemplo, Facebook combina una gran cantidad de información del usuario para personalizar una experiencia de usuario altamente personalizada y crear un nuevo modelo publicitario. Esta práctica empresarial de crear nuevos productos y servicios a través de big data no es una coincidencia. Google, Yahoo, Amazon y Facebook son todos innovadores en la era de big data.

(1) Características 4V del big data

Volumen: las empresas se enfrentan a un crecimiento a gran escala en el volumen de datos. Por ejemplo, un informe reciente de IDC predice que el volumen global de datos se expandirá 50 veces para 2020. Actualmente, el tamaño de los big data es una métrica en evolución, con conjuntos de datos individuales que varían en tamaño desde decenas de terabytes hasta petabytes. En pocas palabras, almacenar 1 PB de datos requeriría 20.000 PC con discos duros de 50 GB. Además, los datos se pueden generar a partir de una variedad de fuentes inesperadas.

Variedad: una opinión común es que el uso que hacen las personas de las búsquedas en Internet es la principal causa de la diversidad de datos, y esta opinión es parcialmente correcta. Sin embargo, el aumento de la diversidad de datos se debe principalmente a nuevos tipos de datos multiestructurados y tipos de datos que incluyen blogs web, redes sociales, búsquedas en Internet, registros de llamadas de teléfonos móviles y redes de sensores. Algunos de estos sensores están instalados en trenes, automóviles y aviones, y cada uno de ellos aumenta la diversidad de datos.

Velocidad: La velocidad describe la velocidad a la que se crean y mueven los datos. En la era de las redes de alta velocidad, se ha vuelto popular crear flujos de datos en tiempo real a través de procesadores y servidores de computadora de alta velocidad basados ​​en la optimización del rendimiento del software. Las empresas no sólo necesitan saber cómo crear datos rápidamente, sino que también deben saber cómo procesarlos, analizarlos y devolverlos a los usuarios para satisfacer sus necesidades en tiempo real. Según una encuesta de IMS Research sobre la velocidad de creación de datos, se prevé que en 2020 habrá 22 mil millones de dispositivos conectados a Internet en todo el mundo.

Valor (Value): Gran cantidad de información irrelevante, pero es preciosa. Análisis predecible de tendencias y patrones futuros, análisis profundo y complejo (aprendizaje automático, inteligencia artificial versus inteligencia empresarial tradicional (consultoría, informes, etc.))

3. El impacto de la era del big data en vida y trabajo

Big data, además de su impacto económico, también puede tener un profundo impacto en la política, la cultura, etc. Big data puede ayudar a las personas a iniciar un modelo de gestión "numérico", que también es nuestro "Gran sociedad" actual La expresión concentrada de "tres puntos de tecnología, siete puntos de datos, y aquellos que obtengan los datos ganarán el mundo".

La influencia de los "grandes datos" ha aumentado la demanda. Para los expertos en gestión de la información, de hecho, la influencia de big data no se limita solo a la industria de la información y las comunicaciones, sino que está "engullendo" y reconstruyendo muchas industrias tradicionales que utilizan ampliamente métodos de análisis de datos para gestionar y optimizar. Las operaciones son esencialmente empresas de datos.

Las ubicaciones de tiendas emblemáticas como McDonald's, KFC y Apple se basan en una selección precisa de la ubicación basada en el análisis de datos. En la industria minorista, las tecnologías y métodos de análisis de datos se utilizan ampliamente. Las empresas tradicionales como Wal-Mart remodelan y optimizan las cadenas de suministro mediante la minería de datos, y las empresas de comercio electrónico emergentes como Joyo Amazon y Taobao utilizan análisis de datos masivos. analizar para ofrecer a los usuarios servicios más profesionales y personalizados.

En términos de privacidad personal, el big data a menudo contiene información detallada y potencialmente reveladora sobre nosotros, lo que poco a poco hace que nos preocupemos por la privacidad personal. Algunas empresas que se ocupan de big data deben tomarse esta cuestión en serio. Por ejemplo, lo que causó una profunda impresión en la gente de Tianrui Information fue que uno de sus científicos propuso que no deberíamos simplemente obedecer las cuestiones legales de protección de la privacidad. Estas están lejos de ser suficientes. Las empresas deberían respetar el principio de Google de no hacer el mal. Se deben hacer esfuerzos más activos.

4. Dirección del desarrollo y tendencias en la era del big data

Según la encuesta de ESM International Electronic Business Information sobre el estado actual y las tendencias de las aplicaciones de big data en 2013, el big data Entre las tecnologías que más preocupan a los encuestados, las cinco principales son el análisis de big data (12,91%), la base de datos en la nube (11,82%), Hadoop (11,73%), la base de datos en memoria (11,64%) y la seguridad de los datos (9,21%). Hadoop ya no es la única tecnología de big data en la mente de las personas, y el análisis de big data se ha convertido en la tecnología que más preocupa. De esto se puede ver que la comprensión de los grandes datos por parte de las personas se ha profundizado gradualmente y están prestando cada vez más atención a los puntos técnicos. Dado que el análisis de big data es la tendencia tecnológica más observada, ¿qué función en el análisis de big data es la más importante? Como se puede ver en la figura siguiente, las tres funciones principales son análisis en tiempo real (21,32%), modelos de minería enriquecidos (17,97%) e interfaz visual (15,91%). Una encuesta similar se realizó en 2012, cuando los modelos mineros ricos (27,22%) fueron elegidos un 7,34% más que el análisis en tiempo real (19,88%). En solo un año, la demanda empresarial de análisis en tiempo real ha aumentado, lo que ha provocado que muchos proveedores de big data utilicen el análisis en tiempo real como tecnologías innovadoras. De los resultados de la encuesta se puede ver que las empresas tienen una necesidad urgente de implementar big data en los próximos uno o dos años, y la construcción de infraestructura inicial se ha convertido gradualmente en una necesidad de análisis de big data y soluciones generales de big data. Al mismo tiempo, big data también enfrenta el desafío de la falta de talentos. Las empresas y las universidades deben unir fuerzas para cultivar talentos compuestos en el campo de los datos para ayudar a las empresas a ganar esta "guerra de datos".

5. Aplicación de big data

(1) Expansor de la industria, construyendo la piedra angular de la industria de big data

IBM: Los servicios proporcionados por IBM big data incluyen análisis de datos, análisis de texto, Blue Spruce (una plataforma de red para la colaboración impulsada por mashup, servicios de medición, monitoreo y comercialización (MMMS) de IBM Mashup Center; InfoSphere bigInsights, la última familia de productos del portafolio de big data de IBM, se basa en Apache Hadoop.

La cartera de productos incluye: software y servicios Apache Hadoop empaquetados, cuyo nombre en código es bigInsights Core, para iniciar el análisis de big data. El software se llama bigsheet. El propósito del software es ayudar a extraer y anotar información relevante de grandes cantidades de datos de manera fácil, simple e intuitiva. Es una solución industrial diseñada para finanzas, gestión de riesgos, medios y entretenimiento y otras industrias.

Microsoft: En enero de 2011, cooperó con HP (en concreto, con la División de Aplicaciones Integradas de Bases de Datos de HP) para desarrollar una serie de dispositivos que pueden mejorar la productividad y acelerar la toma de decisiones.

EMC: EMC ha adquirido la Bolsa de Nueva York y el Nasdaq; sus soluciones de big data incluyen más de 40 productos.

Oracle: Oracle Big Data Appliance, junto con Oracle Exalogic Middleware Cloud Server, Oracle Exadata Database Machine Cloud Server y Oracle Exalytics Business Intelligence Cloud Server, forman la cartera de productos de sistemas más extensa y altamente integrada de Oracle.

(2) Big data promueve la transformación de las funciones gubernamentales

Preste atención a la aplicación de la tecnología de big data y revitalice los activos de los centros de computación en la nube en varios lugares: transforme los grandes originales -Los parques industriales de inversión a escala y los parques industriales de Internet de las cosas de los proyectos Achievement se transforman en proyectos inteligentes en el campo de la seguridad, y se aplica la tecnología de big data para mejorar las capacidades de respuesta a emergencias y las capacidades de prevención de seguridad en el campo de los medios de vida de las personas; la tecnología se aplica para mejorar las capacidades de servicio y la eficiencia operativa, así como los servicios personalizados, como atención médica, salud, educación y otros departamentos para resolver el problema del análisis de datos en los campos de finanzas, telecomunicaciones, etc.: siempre ha recibido una gran recepción; atención, pero se limita al análisis estadístico de datos de transacciones debido a limitaciones de capacidad de almacenamiento y potencia informática. Por un lado, la aplicación de big data promueve la transformación de las funciones gubernamentales; por otro, la inversión gubernamental creará un efecto de demostración y promoverá en gran medida el desarrollo de big data;

(3) Construir una “Ciudad Inteligente”

La administración Obama en Estados Unidos publicó la “Iniciativa de Investigación y Desarrollo de Big Data” en el sitio web de la Casa Blanca, proponiendo “recopilar y procesar información de datos grande y compleja, adquirir conocimientos y perspectivas, mejorar las capacidades, acelerar el ritmo de la innovación en los campos de la ciencia y la ingeniería, fortalecer la seguridad nacional de Estados Unidos y transformar los modelos de educación y aprendizaje". Wu Hequan, académico de los chinos. Academia de Ingeniería, dijo: "Las ciudades inteligentes son la base clave para utilizar la tecnología informática inteligente para hacer que la composición y los servicios de las ciudades sean más inteligentes, interconectados y eficaces. Con la construcción de ciudades inteligentes, la sociedad entrará en los "grandes datos". era. ”

(4) El futuro lo cambiará todo