Reflexiones sobre la era del big data
Reflexiones sobre la era del big data (1)
Ya no nos interesa encontrar relaciones causales, sino que deberíamos buscar correlaciones entre las cosas. Esta propuesta es mi mayor sentimiento después de leer este libro. Personalmente creo que también es la idea central de este libro. Empecemos desde el principio. En primer lugar, el libro presenta una propuesta que subvierte mis conocimientos previos. ¿No son los átomos sino la información el origen de todo? Ver el mundo como un mar de información y datos comprensibles nos brinda una perspectiva sin precedentes. Esta es una visión del mundo que puede impregnar todos los ámbitos de la vida. Esta afirmación se describe en un párrafo de la última parte del libro. La razón por la que lo pongo en la parte superior es porque creo que esta es la premisa para hablar del mundo digital y, naturalmente, también es la premisa para hablar de big data. Hay una sección en la mitad del libro sobre la diferencia entre digitalización y digitalización. Después de ordenar mi cerebro, la propuesta del mundo digital figuraba como el segundo paso del pensamiento de big data. Mientras escribo esto, no puedo evitar reflexionar sobre si he entendido la esencia del libro (la esencia en mi opinión. Esta es la primera frase). Porque, mirando retrospectivamente todo mi pensamiento, sigo pensando según el antiguo modelo de pensamiento causal. Otro aspecto atractivo de este libro es que tiene muchos puntos de vista, que se discuten desde una perspectiva filosófica. Aunque no tengo mucha tinta en el estómago, cuando lea estas descripciones descubriré que comprenderé mejor las proposiciones hechas por el autor. Por ejemplo, hay un pasaje en el libro
Dicemos que los humanos comprenden el mundo a través de la causalidad, que se refiere a los dos métodos básicos que utilizamos para comprender y explicar diversos fenómenos en el mundo: uno es a través de la rápida relación ilusoria de causa y efecto, la otra es a través de una causalidad lenta y ordenada. Los macrodatos cambiarán el papel de estos dos enfoques fundamentales en nuestra comprensión del mundo.
Al adjuntar algunos ejemplos, ¿utilizar los proporcionados por el autor? ¿Esencia? Una vez que lo miras, es fácil ver que este es efectivamente el caso. Bien, entonces, ¿qué ha cambiado el big data para nosotros? El autor señala tres puntos.
La esencia del big data reside en tres cambios a la hora de analizar la información. Estos cambios hablan de cambiar la forma en que entendemos y formamos la sociedad.
El primer cambio es que en la era del big data, podemos analizar más datos y, a veces, incluso procesar todos los datos relacionados con un fenómeno específico, en lugar de depender del muestreo aleatorio (muestra = población).
El segundo cambio es que hay demasiados datos de investigación y ya no estamos interesados en buscar la precisión.
El tercer cambio es causado por los dos primeros cambios, es decir, ya no nos interesa buscar relaciones causales, sino que debemos buscar correlaciones entre las cosas. ¿Qué nos dice el big data? ¿Qué es esto? En cambio. ¿Por qué? . En la era del big data, no necesitamos saber las razones detrás de los fenómenos, sólo debemos dejar que los datos hablen por sí solos.
Como todos sabemos, el cerebro humano tiene una función que combina nuevos estímulos o información de entrada con? ¿Experiencia pasada o conocimiento acumulado? Compara, luego ajusta, acepta. Si la nueva realidad que tienes delante no puede conciliarse con la información inherente almacenada en tu cerebro, inconscientemente te negarás a aceptar la nueva realidad (como si no la hubieras visto o te desviarías de la situación de la que eres consciente); haciendo conjeturas arbitrarias basadas en su propio conocimiento de la realidad (creando una ilusión). Este es un instinto humano diseñado para mantener la calma.
Por eso el autor lo llama revolución.
Dicho todo lo anterior, ¿qué nos aporta el big data? Aquí solo quiero hablar de lo que siento más profundamente, y otros que estén interesados pueden aprenderlo por sí mismos. Por supuesto, hay muchos en el libro, y el más común es cuánta riqueza han creado XXX empresas o individuos mediante el uso de big data. Dejando de lado estas cosas superficiales, lo que más me emociona o me asusta es la predicción. Esto es lo fundamental que aporta el big data. No es necesario repetir las razones por las que nos sentimos tentados. La computadora te dirá cuándo ganarás el premio mayor comprando una bola de doble color. Piénsalo y estarás un poco emocionado.
Por supuesto, esto es sólo una metáfora exagerada. Hay un pasaje del libro que me gusta mucho sobre el miedo.
La base de la equidad y la justicia es que las personas sólo necesitan ser responsables de algo después de haberlo hecho. Después de todo, no es un crimen querer hacer algo pero no hacerlo. La creencia fundamental de la sociedad en relación con la responsabilidad personal es que las personas deben ser responsables de las acciones que eligen. Si el análisis de big data es completamente preciso, entonces nuestro futuro se predecirá con precisión. Entonces, en el futuro, no solo perderemos el derecho a elegir, sino también a actuar en función de las predicciones. Si las predicciones precisas se hacen realidad, perderemos nuestro derecho al libre albedrío y a la libre elección. Como no tenemos otra opción, no necesitamos asumir la responsabilidad. ¿No es esto irónico?
Por último aquí, por cierto, otra descripción del libre albedrío en el libro.
En filosofía, el debate sobre la existencia de relaciones causales ha ardido durante siglos. Después de todo, si todo tuviera una causa y un efecto, entonces no tendríamos libertad para decidir nada. Si cada decisión o pensamiento que tomamos es resultado de algo más. Y este resultado se debe a otras razones. En este ciclo, no hay libre albedrío humano. ? Todas las trayectorias de la vida están controladas únicamente por causa y efecto. Como resultado, los filósofos debaten el papel de la causalidad en el mundo, a veces argumentando que es la antítesis del libre albedrío.
El libro da un ejemplo de la película "Minority Report". Cuando vi esto, pensé: "Oh, de hecho he visto esta película". Pensando en ello, todavía estoy un poco emocionado. Los que estén interesados pueden echar un vistazo. Probablemente la policía atrapa a los delincuentes de antemano mediante predicciones, pero no mediante big data, sino mediante un método sobrehumano. Cuando todo lo que haces es predecible, estás completamente expuesto al sol. Si fuera usted, ¿tendría miedo?
Finalmente adjunto dos posdatas, una es un pasaje del libro y la otra es una creación mía.
Big data no es un mundo frío lleno de algoritmos y máquinas, y el papel de los humanos todavía no puede ser reemplazado por completo. Lo que nos proporciona el big data no es la respuesta final, sino una respuesta de referencia. La ayuda es temporal, habrá mejores métodos y respuestas en un futuro próximo.
El big data acabará afectándonos, y será un arma de doble filo como otras tecnologías. Si se usa bien, puede resultar tentador, abusivo o aterrador. Al igual que la tecnología nuclear, si se utiliza, beneficiará a la Tierra. Si se abusa de ella, si te dan una Tierra de diamantes, igualmente explotará. Creo que el desarrollo futuro del big data será, como dijo el autor, una revolución en la vida, el trabajo y el pensamiento.
Reflexiones sobre la era del Big Data (2)
¿El año pasado? ¿computación en la nube? ¿Está frito este año? ¿Grandes datos? Otro ataque sorpresa. ¿Parece que de la noche a la mañana todos los fabricantes han cambiado de táctica y han subido los precios? ¿Grandes datos? Ya viene. Como resultado, ¿los CIO de varias empresas también han puesto sus ojos en el Heat? ¿Grandes datos? Ya viene. Hay una caricatura muy vívida del "Programador" Weibo. Creo que esta imagen realmente refleja la situación actual de la computación en la nube y los big data en las pequeñas y medianas empresas.
Pero dicho esto, "Big Data Era" es un buen libro.
Por supuesto, muchas celebridades de TI también lo recomendaron y escribieron muchos comentarios para expresar su amor por este libro. Antes de leer este libro, estaba básicamente confundido acerca del concepto de big data. Aunque he prestado atención a BI, que ahora también es muy popular, siento lo mismo. Puede que se trate de más datos, análisis de datos más detallados y extracción de datos. Después de leer este libro, siento que la idea anterior solo puede considerarse una pequeña parte: datos masivos, y la otra: centrarse en la correlación de datos, en lugar de la precisión de los datos, puede ser la mayor diferencia entre big data y BI actual, no Sólo el método, se trata más de la forma de pensar. Pero, hablando francamente, realmente lleva tiempo probar si la correlación de los datos es mejor o si la precisión de los datos es mejor. Al menos a juzgar por los métodos actuales de análisis de datos, se inclina más por la precisión de los datos. Después de leer este libro, tengo algunas preguntas en mente:
1. ¿Qué es big data?
Revisé la Enciclopedia Baidu y se define de la siguiente manera: big data, o datos enormes, se refiere a la cantidad de datos involucrados que es tan grande que no se puede capturar, administrar, procesar y organizar en más. datos precisos a través de las principales herramientas de software actuales que tienen un propósito positivo para ayudar a las empresas a tomar decisiones comerciales dentro de un período de tiempo razonable.
Las características 4V del big data: volumen, velocidad, variedad y fidelidad: ésta parece ser la definición de IBM.
Opinión personal: Los datos masivos y el almacenamiento masivo son los prototipos básicos del big data.
2. ¿Para qué tipo de empresas es adecuado el big data?
Es cierto que la premisa del big data es el dato masivo. Con recursos de datos masivos, podemos descubrir la correlación de los datos y dejarlos pasar.
El trato profesional permite generar valor para el emprendimiento. Para los operadores de telecomunicaciones, las grandes empresas que utilizan cantidades tan masivas de datos de usuarios en Internet también tienen condiciones únicas para aplicar big data, pero ¿qué pasa con las pequeñas y medianas empresas? ¿Datos del pedido de ventas? Si no fuera una tienda centenaria, los datos probablemente serían lamentables. 5. Sólo se podrán utilizar datos del consumidor. Parece que la mayoría de los fabricantes, por ejemplo, son los que más analizan el comportamiento de compra de los consumidores. Asimismo, en el sector público, el papel del big data también puede resultar útil. Por el contrario, creo que la aplicación de big data por parte de la mayoría de las pequeñas y medianas empresas parece ser un gran problema. El libro dice: Big data es la competitividad de las empresas. Es cierto que los datos son el recurso intangible central de una empresa (si se usan bien), pero ¿todos los datos, o en otras palabras: todas las empresas tienen la competitividad de big data, es realmente apropiado? ¿Parecerá que las pequeñas y medianas empresas están haciendo escándalo por un grano de arena?
3. El impacto del big data
Cuando las oleadas de auge de la tecnología de TI llegan a nuestra tienda, ni siquiera estás listo para comenzar a darle la bienvenida al impacto que trae para ti. Con la ayuda del Internet de las cosas y la computación en la nube, el big data está empezando a surgir. ¿Pero qué nos aporta?
1) Predecir el futuro A partir del caso de Google que predijo con éxito una posible gripe futura, se demuestra que la aplicación de big data puede servir como un faro para nuestras vidas. La esencia es simple, la tecnología cambia el mundo.
2) La transformación de las oportunidades comerciales que brinda el big data comercial también dará lugar a una serie de oportunidades comerciales y modelos comerciales relacionados con el big data, y el valor potencial de los datos seguirá desempeñando un papel. Es fácil imaginar que en el futuro surgirá una cadena de la industria de datos, con recopilación, análisis y generación de datos especializados. Por supuesto, las empresas de TI tienen el mayor impacto.
3) "El Libro de Yi Si Si" decía: Debido a que existe una gran cantidad de datos como base, en el futuro es posible que prestemos más atención a la correlación de los datos que a su precisión. Todavía tengo reservas sobre este artículo.
Reflexiones sobre la era del big data (3)
Hoy en día, cuando se trata de nuevos medios e Internet, tenemos que mencionar el big data. Parece que si no dices esto, quedarás fuera. Es más, hay mucha gente que sigue lo que dice, y muchos conversadores ni siquiera han leído en serio los clásicos sobre este tema. La era del big data de Schön Berger. ¿Vencedor? ¿Meyer? ¿Quién es Schoenberg? Actualmente es profesor de gobernanza y regulación en el Instituto de Internet de la Network School de la Universidad de Oxford y fue director del Proyecto de Investigación sobre Regulación de la Información en la Escuela Kennedy de Harvard. Entre sus clientes de consultoría se incluyen Microsoft, HP e IBM, y él es el verdadero creador y participante detrás de la política oficial de Internet de la UE. También ha trabajado como grupo de expertos para altos gobiernos de muchos países. Esto es aclamado como: ¿el profeta de la era del big data? ¡Los profesores de Oxford son increíbles! Entonces, ¿lo que dijo el maestro es la regla de oro? No necesariamente, debes hacer algunos deberes al leer las obras de los maestros. Si haces suficientes deberes y tienes la base teórica correspondiente, puedes tener un diálogo ideológico con ellos.
Schoenberg analiza el big data en tres partes: cambio de pensamiento, cambio de negocio y cambio de gestión. ¿En la primera parte? ¿Cambios de pensamiento en la era del big data? En este artículo, Schoenberg expresó claramente sus tres puntos de vista: primero, más: no muestras aleatorias, sino todos los datos; segundo, más mixto: no exacto, pero tercero, mejor: no causalidad, sino correlación; No estoy de acuerdo con el primer punto. Por un lado, desde el punto de vista técnico y de equipamiento resulta muy difícil procesar todos los datos. Por otra parte, ¿es necesario para todos? ¿Es necesario recopilar todos los datos para analizarlos y determinar hechos simples? Discutí este tema con el profesor Zhu Jianhua de la Universidad de la ciudad de Hong Kong. El profesor Zhu es un experto en métodos de investigación en comunicación y análisis de datos. Él cree que se puede encontrar un método estadístico matemático para el análisis, que no requiere necesariamente todos los datos.
En relación con la correlación mencionada en el segundo punto de Schoenberg, entiendo que los datos totales que dijo no se refieren a la cantidad sino al rango, es decir, la muestra aleatoria de big data no se limita a los datos objetivo, sino que también incluye todos los datos. fuera del objetivo. Creo que el análisis de big data no puede descartar el muestreo aleatorio, pero se deben ampliar el método y el alcance del muestreo.
Estoy de acuerdo con el segundo punto de Schoenberg. Creo que es un buen complemento a su primer punto y también es una reflexión sobre la comunicación y el marketing de precisión. ? Los algoritmos simples para big data son más eficientes que los algoritmos complejos para big data. ? Más visión macro y pensamiento filosófico oriental. No puedo estar totalmente de acuerdo con el tercer punto de Schoenberg. ? No causalidad, sino correlación. ? ¿No necesitas saberlo? ¿Por qué? ¿Solo necesito saberlo? ¿Qué es esto? . La comunicación son datos y los datos son relaciones. En la era de los datos pequeños, la gente sólo se preocupa por la causalidad, pero no sabe lo suficiente sobre la correlación. En la era del big data, no se puede dejar de enfatizar el importante papel de la correlación, pero no se debe descartar por completo. ¿De dónde provienen los grandes datos? ¿Para qué se utiliza? Si se ignora por completo la relación causal y no se conocen las causas y consecuencias del big data, también se eliminará el valor humanista del big data. Hoy en día, para explicar y difundir sus propios puntos de vista, muchos académicos suelen hacer declaraciones impactantes y negar por completo viejas ideas.
La complejidad y diversidad de cualquier cosa en el mundo no es simplemente una cosa o la otra. ¿Tiene Schoenberg también este tipo de pensamiento ingenuo sobre la oposición binaria? De hecho, los lectores deben ver claramente el contexto en el que están hablando al leer y no caer en el malentendido de sacar citas de contexto debido a una lectura superficial. Por ejemplo, ¿propuso Schoenberg? No causalidad, sino correlación. ? Cuando llegó a esta conclusión, también dijo en el libro:? En la mayoría de los casos, una vez que completamos el análisis de correlación de big data, ¿ya no estamos satisfechos con solo saberlo? ¿Qué es esto? En ese momento, continuaremos profundizando en la relación causal y descubriendo las razones detrás de ella. ¿Por qué? . ? [i] Se puede ver que todos los datos y relaciones relacionadas que mencionó están en un contexto específico y son opciones en la minería de datos.
Una de las fuerzas impulsoras de la investigación de big data es la comercialización. En la segunda parte, Schoenberg analiza los cambios empresariales en la era del big data. ¿Schoenberg cree que la digitalización significa que todo es posible? ¿Cuantificar? ¿Es el análisis cuantitativo de big data una respuesta poderosa? ¿Qué es esto? ¿Aún no se puede responder completamente a esta pregunta? ¿Por qué? . Por eso creo que no se pueden descartar el análisis cualitativo y la investigación cualitativa. No hay duda de que la innovación de datos puede crear valor. Al discutir el papel de Big Data, Schoenberg todavía lo ubica en el sistema empresarial de aplicaciones de datos en lugar de en todo el sistema social, pero discutió esto en la segunda parte de la pregunta "Cambio de gestión en la era de Big Data". En una sociedad de riesgo, los problemas de seguridad de la información se han vuelto cada vez más prominentes y la dictadura de datos y la protección de la privacidad se han convertido en una contradicción. ¿Cómo deshacerse del dilema del big data? ¿Schoenberg en la última sección? ¿control? Intenté responder, pero eran básicamente las mismas respuestas de siempre. Pensé, ¿tal vez Kevin? ¿Puede la pérdida de control de Kelly ayudarnos a responder esta pregunta? Al menos puede proporcionar más dimensiones para pensar. Como dijo Schoenberg en la conclusión:? Big data no es un mundo frío lleno de algoritmos y máquinas, y el papel de los humanos aún no puede ser reemplazado por completo. Lo que nos proporciona el big data no es la respuesta final, sino una respuesta de referencia. La ayuda es temporal, habrá mejores métodos y respuestas en un futuro próximo. ? Gracias Schoenberg. Dejemos que el debate sobre big data regrese de las ciencias naturales a las humanidades y las ciencias sociales. Se puede inferir que la "era del big data" no es la respuesta final, ni la respuesta estándar, sino una respuesta de referencia.
Además, antes de leer este libro, debes tener algunos conocimientos y conceptos básicos de ciencia de datos, como ¿qué son los datos? ¿Qué son los grandes datos? ¿Cuál es la diferencia entre análisis de datos y minería de datos, y cuál es la diferencia entre digitalización y datificación? Hacer algunos deberes antes de leer facilitará la lectura.