Resumen de 3000 palabras de la "Era del Big Data"

Primero tienes algo que decir

Ha habido algunos altibajos recientemente en esta situación, es mejor volver a los libros y encontrar algo con lo que estés de acuerdo en tu corazón. . Estos días dediqué algún tiempo a revisar la "Era del Big Data", clasifiqué y resumí la esencia y la compartí con todos.

El big data ha provocado cambios

Un nuevo tipo de capacidad única en la sociedad actual: analizando cantidades masivas de datos de una forma sin precedentes, podemos obtener productos y servicios de gran valor. Servicio o conocimiento profundo. Datos impactantes

En 2003, cuando los humanos descifraron por primera vez el código genético humano, se necesitaron 10 años de arduo trabajo para completar la secuenciación de tres mil millones de pares de bases, unos 10 años después, en todo el mundo. Puede completar el mismo trabajo cada 15 minutos. En el ámbito financiero, el volumen diario de operaciones en el mercado de valores estadounidense alcanza los 7.000 millones de acciones, y dos tercios de estas transacciones se completan automáticamente mediante programas informáticos basados ​​en modelos matemáticos y algoritmos contenidos en correos electrónicos.

En 2007, sólo el 7% de todos los datos eran datos analógicos almacenados en periódicos, libros, fotografías y otros medios, y el resto eran todos datos digitales; en 2000, la información almacenada digitalmente todavía representaba sólo la del mundo; Una cuarta parte de los datos; en ese momento, las otras tres cuartas partes de la información estaban almacenadas en medios como periódicos, películas, discos de vinilo y cintas de casete. La esencia del big data

El big data nos trae tres cambios conceptuales disruptivos: son todo datos, no muestreo aleatorio; es dirección general, no guía precisa; es correlación, no causalidad;

R. No una muestra aleatoria, sino todos los datos: en la era del big data, podemos analizar más datos y, a veces, incluso podemos procesar todos los datos relacionados con un fenómeno especial, en lugar de depender de ellos. Debido al muestreo aleatorio (muestreo aleatorio, generalmente lo considerábamos una limitación natural, pero la tecnología digital de alto rendimiento nos hizo darnos cuenta de que en realidad se trata de una limitación artificial);

B. pero resulta confuso: hay tantos datos de investigación que ya no nos interesa la precisión; antes había tan pocos datos para analizar que tenemos que cuantificar nuestros registros con la mayor precisión posible; a medida que la escala aumenta, la obsesión por la precisión se debilitará; Con big data, ya no necesitamos llegar al fondo de un fenómeno, siempre que comprendamos la dirección general del desarrollo. Ignorar adecuadamente la precisión a nivel micro nos permitirá tener una mejor visión;

C. No causalidad, sino correlación: ya no nos interesa encontrar causalidad. Encontrar causalidad es un hábito de larga data de los seres humanos. En la era del big data, no necesitamos centrarnos en la relación causal entre ellos. cosas, debemos buscar correlaciones entre las cosas; la correlación puede no decirnos exactamente por qué está sucediendo algo, pero nos recordará que está sucediendo. El núcleo del big data es la predicción

El núcleo del big data es la predicción, que a menudo se considera parte de la inteligencia artificial, o más bien, un tipo de aprendizaje automático. Big data no se trata de enseñar a los robots a pensar como humanos, sino de aplicar algoritmos matemáticos a cantidades masivas de datos para predecir la probabilidad de que sucedan cosas.

●●●

No es una muestra aleatoria, sino todos los datos

Históricamente, debido a que las herramientas para registrar, almacenar y analizar datos no eran lo suficientemente buenas, Para simplificar el análisis, decidimos reducir la cantidad de datos.

Uno de los propósitos de las estadísticas es utilizar la menor cantidad de datos posible para confirmar un hallazgo lo más significativo posible. La precisión del muestreo tradicional

La precisión del análisis de muestreo aumenta significativamente con el aumento de la aleatoriedad del muestreo, pero tiene poco que ver con el aumento del número de muestras. La razón general es que cuando aumenta el número de muestras. Cuando las muestras alcanzan un cierto valor, obtendremos cada vez menos información de nuevos individuos, lo que es similar al efecto marginal en economía. El problema del muestreo aleatorio

Existe un gran problema con el muestreo aleatorio: las personas solo pueden obtener los resultados de preguntas prediseñadas a partir del muestreo aleatorio, y los datos obtenidos de la encuesta no se pueden volver a analizar para lograr el propósito del plan, y si hay algún sesgo en el proceso de muestreo, los resultados del análisis serán muy diferentes.

Muestra = población

El propósito del muestreo es utilizar la menor cantidad de datos para obtener la mayor cantidad de información. Cuando podemos obtener cantidades masivas de datos, las cosas realmente interesantes de la vida a menudo están ocultas. en los detalles, mientras que el análisis de muestreo no puede capturar estos detalles (porque el muestreo no puede ir más allá del plan, se basa en dominar todos los datos, al menos la mayor cantidad de datos posible, para que podamos examinar correctamente los detalles y realizar nuevos); análisis.

●●●

No precisión, sino hibridez

La obsesión por la precisión es producto de la era de la escasez de información y la era de la simulación, solo el 5% Los datos están estructurados y se pueden aplicar a bases de datos tradicionales. Si no se puede aceptar el caos, el 95% restante de los datos no estructurados no se puede utilizar. Precisión en la era de los datos pequeños

En la "era de los datos pequeños", la capacidad de las personas para recopilar y procesar datos es limitada. Para los "datos pequeños", el requisito más básico e importante es reducir los errores y. garantizar la calidad (la información limitada recopilada significa que los pequeños errores se magnificarán e incluso pueden afectar la precisión de los resultados generales). La gente ha creado muchos sistemas precisos. Estos sistemas intentan hacernos aceptar la imagen miserable de un mundo tranquilo y ordenado, pretendiendo que todo en el mundo está ordenado, de hecho, la realidad es complicada y complicada, y las cosas que existen en el; mundo están más separados de lo que el sistema supone. Lo que queremos es probabilidad

Siempre vivimos para una "respuesta", y la precisión parece haber sido siempre el sustento de nuestras vidas, pero la idea de que sólo hay una respuesta para cada pregunta es insostenible. La existencia de "una y única verdad" es imposible, y la búsqueda de esta única verdad es una distracción. Los macrodatos pueden ser la clave para salvarnos: los macrodatos suelen hablar en términos de probabilidades más que de rostros "exactos".

●●●

No es una relación causal, sino una correlación

En la era del big data, no hace falta saber las razones detrás los fenómenos, pero deja que los datos "hablen" tú mismo. Ya no buscamos ciegamente por qué las personas hacen lo que hacen. Puede ser útil saber por qué las personas hacen lo que hacen, pero esta pregunta no es muy importante en este momento. Lo importante es que podemos analizar los comportamientos relacionados de las personas a través de big data. . Correlación

El núcleo de la correlación es cuantificar la relación matemática entre dos valores de datos: una correlación fuerte significa que cuando un valor de datos aumenta, es probable que el otro valor de datos aumente en consecuencia. Una correlación débil significa que cuando; un valor de datos aumenta, el otro valor de datos apenas cambia. La correlación nos ayuda a analizar un fenómeno identificando correlatos útiles, en lugar de revelar su funcionamiento interno. No hay absolutos en la correlación, sólo posibilidades. El propósito directo de las personas es encontrar relaciones causales.

El deseo directo de las personas es comprender las relaciones causales. Nos hemos acostumbrado a la falta de información, por lo que también estamos acostumbrados a razonar y pensar en base a una pequeña cantidad de datos. . En el pasado, utilizábamos experimentos para probar relaciones causales basándonos en si había incentivos para observar si los resultados eran consistentes con la situación real. Sin embargo, si todo tiene una causa y un efecto, entonces no tenemos libertad para decidir nada. Si cada decisión o pensamiento que tomamos es el resultado de algo más, y este resultado es causado por otras razones, y el ciclo continúa, entonces no existe el libre albedrío humano; toda la trayectoria de la vida solo está controlada por la causalidad. esto es obviamente incorrecto. La correlación y la causalidad no son contradictorias

El análisis de correlación en sí es de gran importancia. Al mismo tiempo, también sienta las bases para el estudio de la causalidad. Al identificar cosas que pueden estar relacionadas, podemos realizar más investigaciones. Sobre esta base, el análisis de la relación causal, si existe una relación causal, descubriremos más a fondo las razones. En la mayoría de los casos, una vez que hayamos completado el análisis de correlación de big data y ya no estemos satisfechos con solo saber "qué", continuaremos estudiando la relación causal a un nivel más profundo y descubriremos el "por qué" detrás de ella. En la era de los pequeños datos, simularemos cómo funciona el mundo y luego verificaremos esta ilusión recopilando y analizando datos. En la era de los grandes datos, exploraremos el mundo bajo la guía de los datos, sin que ya estén limitados por diversas suposiciones; ; Nuestra investigación comienza con datos, y gracias a ellos descubrimos conexiones que no habíamos visto antes.

R. Una gran cantidad de datos significa el "fin de la teoría": el paradigma de investigación tradicional de utilizar una serie de relaciones causales para verificar varias conjeturas ya no es práctico y ahora ha sido reemplazado por correlaciones. que no requieren orientación teórica. Reemplazado por la investigación;

B. Ahora es una era con datos masivos que han reemplazado todas las demás herramientas disciplinarias y, siempre que los datos sean suficientes, pueden explicar. Si tiene datos de petabytes, siempre que domine la correlación entre estos datos, todo se resolverá fácilmente;

C. "El fin de la teoría": todas las reglas universales ya no son importantes. lo importante es el análisis de datos, que puede revelar todos los problemas, pero los grandes datos no significan que la teoría esté muerta, porque los grandes datos se forman sobre la base de la teoría;

●●●

Cambios empresariales en la era del big data

En un mundo donde dominan las posibilidades y la relevancia, el profesionalismo se vuelve menos importante; de distancia, pero tienen que jugar con la información expresada en los datos. Dataficación: todo se puede cuantificar

El poder de desarrollo central del big data proviene del deseo de los seres humanos de medir, registrar y analizar el mundo. Para obtener información cuantificable, necesitamos saber medir; para digitalizar información cuantificada, necesitamos saber registrar los resultados de la medición. Hoy en día, a menudo confundimos los dos conceptos de "digitalización" y "datificación", pero la distinción entre estos dos conceptos es realmente muy importante:

A. forma cuantitativa que se puede tabular y analizar;

B. Digitalización: convertir datos analógicos en códigos binarios representados por 0 y 1;

La digitalización trae dataización, pero la digitalización no puede reemplazar la digitalización; La digitalización consiste en convertir datos analógicos en datos para clases de informática, lo cual es fundamentalmente diferente de la digitalización. Cuando el posicionamiento se convierte en datos

1978 fue testigo de una gran transformación, cuando se lanzaron con éxito por primera vez los 24 satélites que componían el Sistema de Posicionamiento Global (GPS), mediante la integración de medios técnicos, el Sistema de Posicionamiento Global. La geolocalización se puede realizar de forma rápida, relativamente económica y sin necesidad de conocimientos especializados. La recopilación de información de ubicación geográfica puede revelar la tendencia de desarrollo de las cosas; una vez que la información de ubicación se digitalice, surgirán nuevos usos como hongos después de una lluvia y seguirán surgiendo nuevos valores. Cuando la comunicación se convierte en datos

Las plataformas de redes sociales no solo nos brindan un lugar para encontrar y mantener relaciones con amigos y colegas, sino que también extraen los elementos intangibles de nuestra vida diaria y los transforman en datos que pueden usarse. para nuevos propósitos. La datificación no sólo transforma actitudes y emociones en una forma analizable, sino que también puede transformar el comportamiento humano, lo cual es difícil de rastrear, especialmente en el contexto de grandes comunidades y subpoblaciones dentro de ellas.

A. Facebook digitaliza las relaciones: las relaciones sociales siempre se han considerado información en el pasado, pero nunca se definieron oficialmente como datos hasta la aparición del "gráfico social" de Facebook;

B A través de la innovación, Twitter permite a las personas registrar y compartir fácilmente sus pensamientos dispersos, permitiendo así la digitalización de las emociones. Innovación de datos "ineagotable"

Aunque los datos han sido valiosos durante mucho tiempo, a menudo se los considera parte del negocio principal de las compañías subsidiarias o se los relega al conocimiento. Una categoría relativamente estrecha de derechos de propiedad o información personal, pero En la era del big data, todos los datos son valiosos. Estamos en una era en la que ya no existen limitaciones inherentes a la recopilación de datos y, gracias a las drásticas reducciones en los costos de almacenamiento, es más fácil guardar datos que tirarlos, lo que hace que la posibilidad de obtener más datos a un costo menor sea mayor que nunca antes. A diferencia de las cosas materiales, el valor de los datos no disminuye con su uso, sino que puede procesarse continuamente y la información no se perderá con el uso como ocurre con otros productos materiales. El valor de los datos no se limita a un uso específico; pueden usarse varias veces para el mismo fin o para otros fines. Autor _Glen_ Este artículo es una reproducción de Jianshu y se requiere permiso para reimprimir