La historia del big data
Al resumir los factores de éxito de Li Na, una vez más vi los comentarios de que big data jugó un papel importante. Sin embargo, la explicación más confiable para la victoria de Li Na esta vez es que con la ayuda de Carlos, la efectividad del combate psicológico de Li Na ha mejorado enormemente.
Bajo la premisa de liderar a nivel técnico, Li Na superó el problema de ritmo de todo el juego. Tiene corazón de campeona. El 6 de septiembre de 2012, la china Li Na, que representaba el más alto nivel del tenis asiático, se enfrentó a Serena Williams en Estados Unidos.
En ese momento, IBM desarrolló una estrategia ganadora para que los jugadores "ingresaran la clave" después de sintetizar todos los datos de los partidos del US Open en los últimos ocho años. La clave de la victoria de Li Na incluye tres indicadores: 1. La tasa de puntuación en la primera ronda superó el 69%; la tasa de puntuación en la etapa de punto muerto 2,4-9 superó el 48%:3. La tasa de puntuación debe exceder el 67% cuando se saca 30-30 o 40-40.
Como resultado, Li Na fue completamente derrotada. Después del juego, IBM anunció que Li Na solo completó una de las tres estrategias ganadoras, mientras que Serena Williams completó dos de sus tres estrategias ganadoras.
Como resultado, muchas personas siguieron el pensamiento de IBM y preguntaron: ¿por qué Li Na no siguió la estrategia de BM? De hecho, cuando los deseos subjetivos de las partes no son positivos, los big data son sólo ruido para ellas. Asimismo, los datos pueden ser engañosos debido a una intención subjetiva.
A menudo nos engañan al pensar que el papel del big data es dejar que la historia recuerde el futuro. No precisamente.
En un campo como el tenis, los datos históricos muchas veces se convierten incluso en una trampa. Curiosamente, en otra competición de tenis femenino, una jugadora cumplió dos de los tres indicadores establecidos por IBM, pero no lo consiguió.
El ganador logró sólo un objetivo.
2. ¿Cuál es el proceso de desarrollo de la era del big data? El proceso de desarrollo de big data se puede dividir según momentos.
El proceso de desarrollo específico de la era del big data es el siguiente: El proyecto Hadoop nació en 2005. Hadoop fue originalmente un proyecto utilizado por Yahoo para resolver problemas de búsqueda web. Posteriormente fue presentado por la Apache Software Foundation y se convirtió en una aplicación de código abierto debido a su alta eficiencia.
Hadoop en sí no es un producto, sino un ecosistema compuesto por múltiples productos de software, * * * para lograr funciones integrales y análisis flexible de big data. Técnicamente hablando, Hadoop consta de dos servicios clave: un servicio de almacenamiento de datos confiable que utiliza el sistema de archivos distribuido Hadoop (HDFS) y un servicio de procesamiento de datos paralelo de alto rendimiento que utiliza la tecnología MapReduce.
El objetivo común de ambos servicios es proporcionar una base para un análisis rápido y confiable de datos estructurados y complejos. A finales de 2008, algunos investigadores informáticos de renombre en los Estados Unidos reconocieron los "grandes datos". La industria organizó el Computing Community Consortium y publicó el influyente libro blanco "Big Data Computing: Creando avances revolucionarios en los negocios, la ciencia y la sociedad".
Permite a la gente pensar más allá de las máquinas de procesamiento de datos y propone que lo realmente importante del big data son los nuevos usos y los nuevos conocimientos, no los datos en sí. Se puede decir que esta organización es la primera organización en proponer el concepto de big data.
En 2009, India * * * estableció una base de datos biométrica para la gestión de identidades, y el Proyecto Global Pulse de las Naciones Unidas ha estudiado cómo utilizar fuentes de datos de teléfonos móviles y sitios de redes sociales para analizar y predecir todo desde la espiral. precios hasta brotes de enfermedades y otras cuestiones. Ese mismo año, el gobierno de Estados Unidos abrió aún más la puerta a los datos al lanzar el sitio web ://Data.gov, que proporciona diversos datos al público.
Se utilizan más de 44.500 conjuntos de datos en el sitio para permitir que los sitios web y las aplicaciones para teléfonos inteligentes realicen un seguimiento de todo, desde vuelos hasta retiradas de productos y tasas de desempleo en regiones específicas. La acción inspiró iniciativas similares desde Kenia hasta el Reino Unido. En 2009, algunas de las principales bibliotecas de investigación e institutos de información científica de Europa formaron una asociación para mejorar el acceso a los datos científicos en Internet.
Febrero de 2010, Kenneth? Cooker publicó un informe de big data de 14 páginas "Data, Data Everywhere" en The Economist. Cook mencionó en el informe: "Existe una cantidad inimaginable de información digital en el mundo y está creciendo a un ritmo extremadamente rápido.
Del círculo económico al círculo científico, del sector político al las artes El impacto de esta enorme cantidad de información se ha sentido en muchos campos. Los científicos e ingenieros informáticos acuñaron una nueva palabra para este fenómeno: "Big Data".
Cooker se convirtió en el primero en ver big data. de los científicos de datos de moda en la era de los datos En febrero de 2011, la supercomputadora Watson de IBM podía escanear y analizar 4 TB (aproximadamente 200 millones de páginas) de datos por segundo, derrotando a dos concursantes humanos en el famoso programa de televisión estadounidense "Jeopardy". campeonato.
Más tarde, * * * consideró este momento como un "triunfo de la informática de big data".
En mayo del mismo año, el McKinsey & Company Global Institute (MGI) publicó un informe: "Big Data: la próxima nueva área de innovación, competencia y productividad", y el big data comenzó a atraer la atención. Esta es la primera vez que una organización profesional proporciona una introducción y una perspectiva integral sobre big data.
El informe señala que el big data ha penetrado en todas las industrias y áreas funcionales de negocios hoy en día y se ha convertido en un importante factor de producción. La extracción y aplicación masiva de datos por parte de la gente presagia la llegada de una nueva ola de crecimiento de la productividad y excedente del consumidor.
El informe también menciona que los "grandes datos" surgen del enorme aumento en la capacidad y velocidad de producción y recopilación de datos, a medida que más y más personas, dispositivos y sensores están conectados a través de redes digitales, la generación de datos , las capacidades de transmisión, uso compartido y acceso también se han cambiado por completo. En el "Duodécimo Plan Quinquenal" para Internet de las Cosas publicado por el Ministerio de Industria y Tecnología de la Información en 2011, la tecnología de procesamiento de información se propuso como uno de los cuatro proyectos clave de innovación tecnológica, incluido el almacenamiento masivo de datos, la extracción de datos y la creación de imágenes. y análisis inteligente de vídeo: todos estos son aspectos importantes de los componentes de big data.
Big data fue uno de los temas del Foro Económico Mundial celebrado en Davos, Suiza, en diciembre de 2012. El informe "Big Data, Big Impact" publicado en la reunión declaró que los datos se han convertido en una nueva clase de activo económico, al igual que la moneda o el oro. 2065438+En marzo de 2002, el presidente Obama* publicó la "Iniciativa de Investigación y Desarrollo de Big Data" en el sitio web de la Casa Blanca, que señalaba que los big data se han convertido en una característica importante de los tiempos.
El 22 de marzo de 2012, Obama * * * anunció una inversión de 200 millones de dólares en el campo de big data. Este fue un momento decisivo para que la tecnología de big data pasara de ser un comportamiento comercial a una ciencia nacional. estrategia tecnológica. En la conferencia telefónica del día siguiente, *** definió los datos como el "nuevo petróleo del futuro" y la competencia en el campo de la tecnología de big data está relacionada con la seguridad nacional y el futuro. Dijo también que la competitividad a nivel nacional se reflejará en parte en la escala, actividad, capacidad de interpretación y aplicación de los datos que posee un país * * * las cifras nacionales reflejan la posesión y control de los datos;
Digital * * * será otro espacio para que jueguen los países grandes después de la defensa fronteriza, la defensa costera y la defensa aérea. En abril de 2012, la empresa de software estadounidense Splunk cotizó con éxito en Nasdaq en junio de 2019, convirtiéndose en la primera empresa de procesamiento de big data en cotizar.
Dada la continua desaceleración de la economía estadounidense y la continua volatilidad en el mercado de valores, el excelente desempeño comercial de Splunk en el primer día es particularmente impresionante, con su aumento del primer día más que duplicándose. Splunk es un proveedor líder de software de servicios de análisis y monitoreo de big data, fundado en 2003.
La exitosa cotización de Splunk ha promovido la atención del mercado de capitales hacia big data y también ha impulsado a los fabricantes de TI a acelerar su diseño de big data. En julio de 2012, las Naciones Unidas publicaron el "Libro Blanco del Gobierno de Big Data" en Nueva York, que resume cómo los países pueden utilizar big data para servir y proteger mejor a su gente.
Este documento técnico explica las funciones, motivaciones y necesidades de los individuos, los sectores público y privado en el ecosistema de datos: por ejemplo, los individuos proporcionan datos y multitudes a través de preocupaciones sobre el precio y el deseo de mejores servicios. Información de paquetes, están escondidos.
3. Antecedentes de la era del Big Data A principios de 2012, la palabra big data se menciona cada vez más. La gente lo utiliza para describir y definir los datos masivos generados en la era de la explosión de la información y para nombrar innovaciones y desarrollos tecnológicos relacionados.
Ha aparecido en las portadas de las columnas de *** y del Wall Street Journal, ha aparecido en las noticias del sitio web oficial de la Casa Blanca, ha aparecido en algunos salones de conferencias nacionales con temas de Internet e incluso ha aparecido en citado por los exigentes Guo Jin Securities, Guotai Junan y Galaxy Securities Escriba un informe de recomendación de inversión. Los datos se están expandiendo y aumentando rápidamente, lo que determina el desarrollo futuro de las empresas. Aunque es posible que muchas empresas no sean conscientes de los peligros ocultos causados por el crecimiento explosivo de los datos, a medida que pasa el tiempo, la gente será cada vez más consciente de la importancia de los datos para las empresas.
Como decía una columna en * * * 2065 438+ de febrero de 2002, la era del "big data" ha llegado. En los negocios, la economía y otros campos, las decisiones se basarán en datos y análisis más que en la experiencia y la intuición. Gary King, profesor de sociología de la Universidad de Harvard, dijo: "Esto es una revolución. Enormes recursos de datos han iniciado el proceso de cuantificación en todos los campos, y todos los campos iniciarán este proceso, ya sea académico, empresarial o * * *".
.
4. ¿Qué significa la era del big data? Era del big data: propuesta por primera vez por McKinsey, una empresa consultora de renombre mundial. Los macrodatos existen desde hace algún tiempo en la física, la biología, la ecología ambiental, el ejército, las finanzas, las comunicaciones y otras industrias, pero solo han atraído la atención de la gente debido al desarrollo de Internet y la industria de la información en los últimos años.
Antecedentes de big data: en 2012, la palabra big data se mencionó cada vez más. La gente lo utiliza para describir y definir los datos masivos generados en la era de la explosión de la información y para nombrar innovaciones y desarrollos tecnológicos relacionados. Ha aparecido en la portada de columnas de *** y del Wall Street Journal, ha aparecido en las noticias del sitio web oficial de la Casa Blanca, ha aparecido en algunos salones de conferencias nacionales con temas de Internet e incluso ha sido incluido en recomendaciones de inversión. informes de los exigentes Guojin Securities, Guotai Junan y Galaxy Securities.
Los datos se están expandiendo y creciendo rápidamente, lo que determina el desarrollo futuro de las empresas.
Aunque es posible que muchas empresas no sean conscientes de los peligros ocultos causados por el crecimiento explosivo de los datos, a medida que pasa el tiempo, la gente será cada vez más consciente de la importancia de los datos para las empresas. Como decía una columna en * * * 2065 438+ de febrero de 2002, la era de los “grandes datos” ha llegado. En los negocios, la economía y otros campos, las decisiones se basarán en datos y análisis más que en la experiencia y la intuición.
Gary King, profesor de sociología en la Universidad de Harvard, dijo: "Esto es una revolución. Enormes recursos de datos han iniciado el proceso de cuantificación en todos los campos, y todos los campos iniciarán este proceso, ya sea en el ámbito académico o O * * * "La expansión de los datos El big data afecta a la sociedad actual. Esta es una sociedad en rápido desarrollo con tecnología avanzada y circulación de información. La comunicación entre las personas es cada vez más estrecha y la vida se vuelve cada vez más cómoda. Los macrodatos son un producto de esta era de alta tecnología.
Con la llegada de la era de la nube, el big data ha recibido cada vez más atención. Los macrodatos se utilizan a menudo para describir las grandes cantidades de datos no estructurados y semiestructurados creados por una empresa, cuya descarga a una base de datos relacional para su análisis llevaría demasiado tiempo y dinero.
El análisis de big data a menudo se asocia con la computación en la nube, porque el análisis en tiempo real de grandes conjuntos de datos requiere marcos como MapReduce para distribuir el trabajo a docenas, cientos o incluso miles de computadoras. En la sociedad actual, la aplicación del big data muestra cada vez más sus ventajas y ocupa cada vez más campos, como el comercio electrónico, O2O, logística y distribución, etc. Varios campos que utilizan big data para el desarrollo están ayudando a las empresas a desarrollar continuamente nuevos negocios e innovar modelos operativos.
Con la ayuda del concepto de big data, se han mejorado y optimizado integralmente el juicio sobre el comportamiento del consumidor, la predicción de las ventas de productos, el alcance preciso del marketing, la reposición del inventario, etc. "Big data" se refiere a un fenómeno en la industria de Internet: datos sobre el comportamiento de los usuarios en la red generados y acumulados por las empresas de Internet en las operaciones diarias.
La escala de estos datos es tan enorme que no se puede medir mediante g o t. ¿Qué tamaño tienen los big data? Un conjunto de datos llamado "Un día en Internet" nos dice que en un día, todo el contenido generado por Internet se puede grabar en 654,38+68 millones de DVD y se envían hasta 294 mil millones de correos electrónicos (equivalente a dos años de correo electrónico); papel en los Estados Unidos) número de cartas de calidad).
2 millones de publicaciones comunitarias (equivalentes a 770 años de la revista Time); 378.000 ventas de teléfonos móviles, cifra superior a los 37,1.000 bebés que nacen cada día en el mundo... En 2012, la cantidad de datos ha aumentado. crecido desde TB (1024GB=1TB) salta a PB (1024TB=1PB). Según los resultados de la investigación de la Corporación Internacional de Datos (IDC), el volumen global de datos fue de 0,49 zb en 2008, 0,8 zb en 2009, aumentó a 1,2 zb en 2065, 438+01, y el número llegó a 1,82 ZB en 2011.
Para 2012, el volumen de datos de todo el material impreso producido por humanos será de 200 PB, y el volumen de datos de todas las palabras pronunciadas por humanos en la historia será de aproximadamente 5 EB. Según una investigación de IBM, el 90% de todos los datos adquiridos por la civilización humana se generaron en los últimos dos años.
Para 2020, la escala de datos generados a nivel mundial alcanzará 44 veces la de hoy. Cada día se suben más de 500 millones de imágenes en todo el mundo y cada minuto se comparten 20 horas de vídeo.
Sin embargo, incluso toda la información que la gente crea todos los días (comunicaciones de todo tipo, incluidas llamadas de voz, correos electrónicos y mensajes, así como todas las imágenes, vídeos y música subidos) no puede igualar el rendimiento de la información digital. sobre la propia persona. Esta tendencia continuará.
Todavía estamos en las primeras etapas de lo que se conoce como "Internet de las cosas" y, a medida que la tecnología madure, nuestros dispositivos, vehículos y la tecnología "portátil" en rápida evolución podrán conectarse y conectarse. comunicarse entre sí. Los avances en ciencia y tecnología han reducido el costo de crear, adquirir y gestionar información a una sexta parte de lo que era en 2005, y la inversión empresarial en hardware, software, talento y servicios ha aumentado en un 50% desde 2005, a 400 dólares. mil millones de dólares.
La esencia del big data El big data nos ha traído tres cambios conceptuales subversivos: todos los datos, no el muestreo aleatorio, es una dirección general, no una guía precisa, es una especie de correlación, más que de causalidad; a. No una muestra aleatoria, sino todos los datos: en la era del big data, podemos analizar más datos y, a veces, incluso procesar todos los datos relacionados con un fenómeno especial, en lugar de depender del muestreo aleatorio (muestreo aleatorio, utilizamos). pensar Se da por sentado, pero la tecnología digital de alto rendimiento nos hace darnos cuenta de que en realidad se trata de una limitación artificial, no de precisión, sino de hibridación: hay demasiados datos de investigación y ya no estamos interesados en buscar la precisión); ; antes Hay muy pocos datos para analizar, por lo que es importante cuantificar nuestros registros con la mayor precisión posible. A medida que la escala se expanda, la obsesión por la precisión se debilitará; con los macrodatos, ya no necesitamos llegar al fondo de un fenómeno, sólo necesitamos captar la dirección general del desarrollo.
Ignorar adecuadamente la precisión a nivel micro nos dará mejores conocimientos a nivel macro; c. No la causalidad, sino la correlación: ya no estamos interesados en buscar causalidad. La búsqueda de relaciones causales es un hábito humano consagrado desde hace mucho tiempo.
5. Por qué los big data son tan importantes Los big data son una infraestructura moderna en la nube que incluye muchas formas de conectarse con otros y * * * disfrutar de la información. Promueve el desarrollo del "Internet de las cosas", como conectar personas a través de sitios de redes sociales y la posibilidad de encontrar conocidos a través de * * * compartir amigos o Internet. La inteligencia artificial se basa en big data y es completamente transparente para la mayoría de las personas. La gente no sabe que existe esa tecnología detrás de esto. Big data está detrás de los teléfonos inteligentes que la gente usa todos los días y luego, a través de ellos, las personas aportan información a Internet móvil, incluso si no se dan cuenta.
¿Por qué es tan importante el big data?
En primer lugar, el procesamiento y análisis de big data se está convirtiendo en un nodo para la aplicación integrada de una nueva generación de tecnologías de la información. Internet móvil, Internet de las cosas, redes sociales, hogares digitales, comercio electrónico, etc. son las formas de aplicación de la nueva generación de tecnologías de la información, y estas aplicaciones siguen generando big data. La computación en la nube proporciona una plataforma informática y de almacenamiento para estos datos masivos y diversos. Al gestionar, procesar, analizar y optimizar datos de diferentes fuentes, los resultados se retroalimentan a las aplicaciones mencionadas, creando así un enorme valor económico y social.
En segundo lugar, el big data es el nuevo motor para el crecimiento rápido y sostenido de la industria de la información. Seguirán surgiendo nuevas tecnologías, nuevos productos, nuevos servicios y nuevos formatos de negocio en el mercado de big data. En el campo del hardware y los equipos integrados, los big data tendrán un impacto importante en las industrias de chips y almacenamiento, y también darán lugar a servidores integrados de almacenamiento y procesamiento de datos, computación en memoria y otros mercados. En el campo del software y los servicios, los macrodatos conducirán al desarrollo de procesamiento y análisis rápidos de datos, tecnología de extracción de datos y productos de software.
En tercer lugar, la aplicación de big data se convertirá en un factor clave para mejorar la competitividad básica. La toma de decisiones en todos los ámbitos de la vida está cambiando de "impulsada por los negocios" a "basada en datos".
Resumen
Cuando llegue la era del big data, debemos utilizar el pensamiento de big data para explorar el valor potencial de big data. La importancia de big data no es dominar una gran cantidad de información de datos, sino procesar profesionalmente estos datos significativos. En el pasado, los datos tal como los conocemos estaban fríos y sin vida. Se almacenaban en una copia de seguridad fría, esperando silenciosamente a que la gente los sacara. Nos sentimos muy negativos con respecto a estos datos y, antes de comenzar a analizarlos y aplicarlos, debemos pensar claramente en su propósito. Ahora, con el advenimiento de la era de los datos, la gente está tratando de encenderlos, calentarlos y darles vida. Los llamados "datos vivos" se refieren a datos dinámicos, datos cíclicos, generación interactiva e interacción. Esta es una evolución natural de los datos. Necesitamos utilizar el pensamiento de big data para considerar cómo estos datos pueden aportar beneficios. Las perspectivas de desarrollo futuro de big data son muy buenas. Las ocupaciones relacionadas con big data, como mineros de datos, analistas de datos, etc., definitivamente tendrán un amplio margen de desarrollo.
6. La forma de implementar el archivado de datos históricos en bases de datos de gran tamaño es la siguiente:
En primer lugar, ¿debe dejar claro que su inserción es un requisito comercial normal? Si es así, sólo se podrá aceptar dicha inserción de datos.
En segundo lugar, dijiste que el inventario de datos no se puede cargar, por lo que puedes aumentar el límite superior de tu base de datos. Esta propiedad que se puede configurar en la base de datos tiene una propiedad de archivo de base de datos maxsize.
Por fin hay un método disponible. Si sus datos históricos no tendrán un gran impacto en el negocio actual, puede considerar mover los datos no utilizados a una tabla histórica u otra base de datos durante el archivado.
Presta atención al mantenimiento de la base de datos y desfragmenta el índice periódicamente.