Reflexiones sobre la era del big data
Después de leer "Big Data Era", no me interesan los libros más vendidos, los temas candentes ni la tecnología de moda. Para libros y publicaciones periódicas, me gustan los de cierta época. El título es la vista del retiro. Los productos novedosos están fuera de mi alcance y estoy acostumbrado a utilizar productos de tecnología madura. No es ni arrogante ni indiferente, simplemente mantiene cierta distancia de la realidad y deja cierto margen para pensar. Este hábito se ha roto recientemente. Como resultado de mi trabajo, el concepto emergente de "big data" comenzó a entrar con frecuencia en mi campo de visión. No pude controlar mi curiosidad. Compré "Big Data Era" en línea y no pude dejarlo. Después de leerlo durante tres días, fue bastante gratificante. Este libro tiene las siguientes características.
En primer lugar, el autor se sitúa en las alturas dominantes de la teoría y explica claramente las innovaciones que el big data aporta al trabajo, la vida y el pensamiento humanos, los tres modelos de negocio típicos en la era del big data, y los beneficios que la era del big data trae a las personas. Desafíos que plantean la protección de la privacidad y la seguridad pública. En segundo lugar, los ejemplos del artículo se acercan a la vida y la época reales, lo que deja a los lectores profundamente impresionados y empáticos. Además, el autor no utilizó muchos términos profesionales y pretendió serlo. A lo largo del libro, las palabras y oraciones son fáciles de entender.
El autor considera que la era del big data tiene tres características distintivas.
En primer lugar, cuando las personas estudian y analizan un fenómeno, utilizarán todos los datos en lugar de muestrear datos.
En segundo lugar, en la era del big data, no debemos perseguir ciegamente la precisión de los datos, sino adaptarnos a la diversidad y riqueza de los datos, e incluso aceptar datos erróneos.
En tercer lugar, comprender la correlación entre los datos es mejor que explorar la causalidad. El qué es más importante que el por qué.
El autor señala que con el desarrollo de la tecnología, el costo de almacenamiento y procesamiento de datos se ha reducido significativamente, y las personas ahora tienen la capacidad de extraer información a partir de residuos de datos fragmentados y aparentemente irrelevantes. En la era del big data, tres tipos de empresas se convertirán en las favoritas de la era. Primero, empresas y organizaciones con big data. Como gobiernos, bancos, empresas de telecomunicaciones, empresas globales de Internet (Alibaba, Taobao). El segundo son empresas profesionales con tecnología de análisis y procesamiento de datos, como Amazon, Google, etc. En tercer lugar, las empresas con pensamiento innovador pueden no tener ni big data ni tecnología profesional, pero son buenas en el uso de big data y encuentran su mundo ideal a partir de big data.
¿Cómo afrontarán los individuos la próxima era del big data? Éste es un problema grave.
Reflexiones sobre la "Era del Big Data" 2 Ahora bien, cuando se habla de nuevos medios e Internet, hay que mencionar el big data. Parece que si no dices esto, quedarás fuera. Es más, todavía hay mucha gente que sigue la misma idea, y muchos habladores vacíos ni siquiera han leído el libro clásico sobre este aspecto: "La era del Big Data" de Schon Baige. ¿Quién es Víctor Mayer Schoenberg? Actualmente es profesor de gobernanza y regulación en el Instituto de Internet de la Network School de la Universidad de Oxford y fue director del Proyecto de Investigación sobre Regulación de la Información en la Escuela Kennedy de Harvard. Entre sus clientes de consultoría se incluyen empresas globales como Microsoft, HP e IBM. Es el verdadero arquitecto y actor detrás de la política oficial de Internet de la UE, y también ha servido como grupo de expertos para muchos gobiernos de alto nivel. ¡Este profesor de Oxford, conocido como el "profeta" de la era del big data, es increíble! Entonces, ¿lo que dijo el maestro es la regla de oro? incierto. Hay que hacer algunos deberes y comprender el trabajo del maestro antes de poder mantener un diálogo intelectual con él.
Schoenberg analiza el big data en tres partes: cambio de pensamiento, cambio de negocio y cambio de gestión.
En la primera parte, "Pensar los cambios en la era del Big Data", Schoenberg expresó claramente sus tres puntos de vista:
Primero, más: no muestras aleatorias, sino todos los datos.
2. Más variado: no exacto, pero mixto.
En tercer lugar, mejor: no causalidad, sino correlación. No estoy de acuerdo con el primer punto.
Por un lado, desde el punto de vista técnico y de equipamiento, es muy difícil procesar todos los datos. Por otra parte, ¿es necesario para todos? ¿Es necesario recopilar todos los datos para analizarlos y determinar hechos simples?
Discutí este tema con el profesor Zhu Jianhua de la Universidad de la ciudad de Hong Kong. El profesor Zhu es un experto en métodos de investigación en comunicación y análisis de datos. Él cree que se puede encontrar un método estadístico matemático para el análisis, que no requiere necesariamente todos los datos.
En relación con la correlación mencionada en el segundo punto de Schoenberg, entiendo que los datos totales que dijo no se refieren a la cantidad sino al rango, es decir, la muestra aleatoria de big data no se limita a los datos objetivo, sino que también incluye todos los datos. fuera del objetivo. Creo que el análisis de big data no puede descartar el muestreo aleatorio, pero se deben ampliar el método y el alcance del muestreo.
Estoy de acuerdo con el segundo punto de Schoenberg. Creo que es un buen complemento a su primer punto y también es una reflexión sobre la comunicación y el marketing de precisión. Los algoritmos simples para big data son más eficientes que los algoritmos complejos para big data. "Una perspectiva más amplia y un pensamiento filosófico oriental. No puedo estar completamente de acuerdo con el tercer punto de Schoenberg". No necesitas saber por qué, sólo qué. La comunicación son datos y los datos son relaciones. En la era de los datos pequeños, la gente sólo se preocupa por la causalidad, pero no sabe lo suficiente sobre la correlación. En la era del big data, no se puede dejar de enfatizar el importante papel de la correlación, pero no se debe descartar por completo. ¿De dónde provienen los grandes datos? ¿Para qué se utiliza? Si se ignora por completo la relación causal y no se conocen las causas y consecuencias del big data, también se eliminará el valor humanista del big data. Hoy en día, para explicar y difundir sus propios puntos de vista, muchos académicos suelen hacer declaraciones impactantes y negar por completo viejas ideas.
La complejidad y diversidad de cualquier cosa en el mundo no es simplemente una cosa o la otra. ¿Tiene Schoenberg también este tipo de pensamiento ingenuo sobre la oposición binaria? De hecho, los lectores deben ver claramente el contexto en el que están hablando al leer y no caer en el malentendido de sacar citas de contexto debido a una lectura superficial. Por ejemplo, Schoenberg propuso "no causalidad, sino correlación". En este artículo, también dijo en el libro: "En la mayoría de los casos, una vez que hemos completado el análisis de correlación de big data, ya no estamos satisfechos con solo conocer el ' qué', continuaremos estudiando la relación causal a un nivel más profundo y descubriremos el 'por qué' detrás de esto". Se puede ver que todos los datos y correlaciones que mencionó están en un contexto específico. Es una opción en la minería de datos. .
Una de las fuerzas impulsoras de la investigación de big data es la comercialización. En la segunda parte, Schoenberg analiza los cambios empresariales en la era del big data. Según Schoenberg, la digitalización significa que todo se puede “cuantificar”. El análisis cuantitativo de big data puede responder eficazmente a la pregunta "qué", pero aún no puede responder completamente al "por qué". Por eso creo que no se pueden descartar el análisis cualitativo y la investigación cualitativa. No hay duda de que la innovación de datos puede crear valor. Al discutir el papel de Big Data, Schoenberg todavía lo ubica en el sistema empresarial de aplicaciones de datos en lugar de en todo el sistema social, pero discutió esto en la segunda parte de la pregunta "Cambio de gestión en la era de Big Data".
En una sociedad del riesgo, los problemas de seguridad de la información son cada vez más prominentes. ¿Cómo deshacerse del dilema del big data? Schoenberg intenta una respuesta en la sección final, "Control", pero es básicamente un tópico. Pensé que tal vez Out of Control de Kevin Kelly podría ayudarnos a responder esa pregunta. Al menos puede proporcionar más dimensiones para pensar. Como dijo Schoenberg en la conclusión: "Big data no es un mundo frío lleno de algoritmos y máquinas, y el papel de los humanos no puede ser reemplazado por completo. Lo que big data nos proporciona no es la respuesta final, sino una respuesta de referencia. La ayuda es temporal , habrá mejores métodos y respuestas en un futuro próximo. "¡Gracias, hermano Xun! Dejemos que el debate sobre big data regrese de las ciencias naturales a las humanidades y las ciencias sociales. De esto se puede inferir que la "era del big data" no es la respuesta final, ni la respuesta estándar, sino una respuesta de referencia.
Además, antes de leer este libro, debes tener algunos conocimientos y conceptos básicos de ciencia de datos, como ¿qué son los datos? ¿Qué son los grandes datos? ¿Cuál es la diferencia entre análisis de datos y minería de datos, y cuál es la diferencia entre digitalización y datificación? Hacer algunos deberes antes de leer facilitará la lectura.
Después de leer el libro "Big Data Era", me di cuenta de que estamos a punto de iniciar o estamos iniciando otro cambio importante tras el salto del papel a la electrónica.
Este libro presenta los tres cambios principales que seguirán a la llegada de la era del big data: cambio empresarial, cambio de gestión y cambio de pensamiento.
De hecho, este cambio ya ha comenzado. El campo empresarial se ha visto revolucionado con la llegada de la era del big data. Hace unos años, una empresa llamada Farecast hizo que reservar mejores tarifas aéreas fuera menos un sueño. La empresa utiliza datos sobre la venta de entradas para predecir tendencias futuras en los precios de las entradas. Ahora, los pasajeros que utilizan esta herramienta pueden ahorrar alrededor de 50 dólares por billete en promedio. Esta es la comodidad que ofrece el big data.
Todo el mundo debería saber que la gripe H1N1 apareció en 2009. Tomemos a Estados Unidos como ejemplo.
Los CDC sólo recopilan datos una vez por semana y los pacientes suelen ir al hospital debido a un dolor insoportable, lo que también provoca un retraso en la información. Pero en el caso de enfermedades de rápida propagación, Google puede tomar decisiones oportunas e identificar la ubicación de los brotes de gripe. Esto se basa en enormes recursos de datos, lo que indica que la era del big data también ha tenido un impacto significativo en la salud pública.
En mi opinión, si quieres nadar en la era del big data, no sólo debes aprender a analizar, sino también tomar decisiones audaces.
En Estados Unidos, cada año, en julio y agosto, cuando azotan los tifones, también se colocan en los estantes materiales para la prevención de inundaciones. Walmart notó que en este momento las ventas de un tipo de tarta de huevo aumentaron significativamente en comparación con otros meses. Como resultado, el comerciante hizo una suposición audaz: este resultado se debió a la relación entre los dos artículos, por lo que colocó la tarta de huevo al lado de los suministros para la prevención de inundaciones. ¡Esta medida ha aumentado considerablemente las ganancias! ¡Este es el cerebro de big data del minorista número uno del mundo!
La llegada de la era del big data puede hacernos la vida más cómoda. Sin embargo, si el big data lo domina todo, existen ciertos riesgos.
Todo el mundo debería saber que los mapas electrónicos pueden dar indicaciones a las personas. Pero probablemente no sepas que acumulará silenciosamente los datos de viajes de las personas y, mediante un análisis inteligente, puede inferir dónde está tu casa y dónde está tu trabajo. De esta forma, nuestra privacidad queda recogida sin que nadie lo sepa.
La llegada de la era del big data ha hecho que nuestras vidas sean más seguras y cómodas, pero al mismo tiempo nuestra privacidad ya no es privada y la recopilación de datos se ha vuelto omnipresente y omnipresente. El mundo ha dado un pequeño paso hacia la era del big data y se acerca una nueva era. ¡Armemos nuestro cerebro con conocimiento y preparémonos para la nueva era!
Reflexiones sobre la "era del big data" 4 En primer lugar, quiero decir qué es el big data y cuál es la era del big data. Big data es a la vez un recurso y una herramienta. Proporciona una nueva forma de pensar para comprender el mundo de la información actual. ¿Por qué una nueva forma de pensar? En una era de falta de información o simulación, preferimos una forma de pensar precisa, como "un clavo es un clavo, un remache es un remache", pero en esta forma de pensar tradicional, solo obtenemos una respuesta a la pregunta.
En la era del big data, hemos roto esta forma de pensar, es decir, aceptamos la incertidumbre de los resultados. En resumen, creo que el big data es un modelo predictivo. En la era del big data, lo que nos importa no es la causa y el efecto, es decir, qué es, sino más bien la correlación de "qué". En otras palabras, en esta nueva forma de pensar, no nos es factible explorar las razones detrás del problema. ¡Lo que hacemos es utilizar big data como herramientas y dejar que los datos hablen por sí solos!
En segundo lugar, me gustaría hablar sobre cómo utilizar big data para mejorar la efectividad en combate de nuestro ejército. Por supuesto, el análisis de big data no es una predicción precisa y la predicción precisa no existe. Los macrodatos sólo pueden ayudarnos a comprender el presente y predecir el futuro.
Como soldado, lo que me importa es cómo hacer un buen uso de las herramientas de big data para mejorar la eficacia de combate de nuestro ejército y ganar esta guerra de la información. No hay duda de que lo que estamos librando ahora no es una guerra cuchillo contra cuchillo, arma contra arma, ni es una era analógica, sino una era digital, ¡y lo que estamos librando es una guerra de información!
Con la victoria de cuatro guerras, el patrón de guerra del ejército estadounidense se ha transformado de la mecanización a la informatización, y el correspondiente tiempo de victoria en el campo de batalla es cada vez más corto. Este es un resultado inevitable de la era del big data. Nuestro ejército está en el proceso de transición a la informatización. En el proceso de esta guerra, necesitamos más talentos de alta tecnología, como analistas informáticos, analistas de big data y matemáticos, para ganar esta guerra de la información. Ésta es la base que debemos tener en la era del big data. ¡La mejora de la eficacia de combate de nuestro ejército es inminente!
Por supuesto, el big data es un arma de doble filo. Sólo si lo usas bien podrás usarlo con habilidad. Por el contrario, un uso inadecuado provocará pérdidas inconmensurables.
Después de todo, este es solo un modelo de predicción y no puede obtener resultados de predicción precisos. Deberíamos tener los datos que se nos proporcionen y no estar encerrados en una enorme base de datos. Para adaptarnos al desarrollo de los tiempos, en este mundo donde los más aptos sobreviven y los fuertes se comen a los débiles, la cruel competencia en la era del big data ha hecho sonar la alarma para nosotros. ¡Ha comenzado una guerra de información silenciosa!
Reflexiones sobre la era del big data 5 La “computación en la nube” del año pasado estaba en pleno apogeo, pero el “big data” de este año nos tomó desprevenidos nuevamente. Parece que de la noche a la mañana todos los fabricantes han cambiado sus pancartas y han promocionado el "big data". Como resultado, los CIO de varias empresas también han puesto sus miras en los "grandes datos". Hay una caricatura muy vívida del "Programador" Weibo. Creo que esta imagen realmente refleja la situación actual de la computación en la nube y los big data en las pequeñas y medianas empresas.
Pero dicho esto, "Big Data Era" es un buen libro.
Por supuesto, muchas celebridades de TI también lo recomendaron y escribieron muchos comentarios para expresar su amor por este libro. Antes de leer este libro, estaba básicamente confundido acerca del concepto de big data. Aunque he prestado atención a BI, que ahora también es muy popular, siento lo mismo. Puede que se trate de más datos, análisis de datos más detallados y extracción de datos. Después de leer este libro, siento que la idea anterior solo puede considerarse una pequeña parte: datos masivos, y la otra: centrarse en la correlación de datos, en lugar de la precisión de los datos, puede ser la diferencia entre big data y BI actual, no solo el método, sino también la forma de pensar. Pero, hablando francamente, realmente lleva tiempo probar si la correlación de los datos es mejor o si la precisión de los datos es mejor. Al menos a juzgar por los métodos actuales de análisis de datos, se inclina más por la precisión de los datos.
Después de leer este libro, tengo algunas preguntas en mente:
1. ¿Qué es big data?
Revisé la Enciclopedia Baidu y se define de la siguiente manera: big data, o datos enormes, se refiere a la cantidad de datos involucrados que es tan grande que no se puede capturar, administrar, procesar y organizar en más. datos precisos a través de las principales herramientas de software actuales que tienen un propósito positivo para ayudar a las empresas a tomar decisiones comerciales dentro de un período de tiempo razonable. Las características 4V del big data: volumen, velocidad, diversidad y precisión, esta parece ser la definición de IBM.
Opinión personal: Los datos masivos y el almacenamiento masivo son los prototipos básicos del big data.
2. ¿Para qué tipo de empresas es adecuado el big data?
Es cierto que la premisa del big data es el dato masivo. Sólo con recursos de datos masivos podemos descubrir la correlación de los datos y luego, mediante un procesamiento profesional, permitir que generen valor para la empresa. Para los operadores de telecomunicaciones, las grandes empresas que utilizan cantidades tan masivas de datos de usuarios en Internet también tienen condiciones únicas para aplicar big data, pero ¿qué pasa con las pequeñas y medianas empresas? ¿Datos del pedido de ventas? Si no se trata de una tienda centenaria, los datos probablemente sean muy escasos y sólo se puedan utilizar datos de los consumidores. Parece que la mayoría de los fabricantes, por ejemplo, son los que más analizan el comportamiento de compra de los consumidores.
Del mismo modo, en el sector público, el papel del big data también puede resultar útil. Por el contrario, creo que la aplicación de big data por parte de la mayoría de las pequeñas y medianas empresas parece ser un gran problema. El libro dice: Big data es la competitividad de las empresas. Es cierto que los datos son el recurso intangible central de una empresa (si se usan bien), pero ¿todos los datos, o en otras palabras: todas las empresas tienen la competitividad de big data, es realmente apropiado? ¿Parecerá que las pequeñas y medianas empresas están haciendo escándalo por un grano de arena?
3. El impacto del big data
Cuando las oleadas de auge de la tecnología de TI llegan a nuestra tienda, ni siquiera estás listo para comenzar a darle la bienvenida al impacto que trae para ti. Con la ayuda del Internet de las cosas y la computación en la nube, el big data está empezando a surgir. ¿Pero qué nos aporta?
1) La predicción del futuro comienza con el caso de Google que predijo con éxito una posible gripe futura, lo que ilustra que la aplicación de big data puede servir como un faro para nuestras vidas. La esencia es simple, la tecnología cambia el mundo.
2) La transformación de las oportunidades comerciales que brinda el big data comercial también dará lugar a una serie de oportunidades comerciales y modelos comerciales relacionados con el big data, y el valor potencial de los datos seguirá desempeñando un papel. Es fácil imaginar que en el futuro surgirá una cadena de la industria de datos, con recopilación, análisis y generación de datos especializados. Por supuesto, las empresas de TI también se verán afectadas.
3) "El Libro de Yi Si Si" decía: Debido a que existe una gran cantidad de datos como base, en el futuro es posible que prestemos más atención a la correlación de los datos que a su precisión. Todavía tengo reservas sobre este artículo.