La definición, el modelo de pensamiento y el modelo arquitectónico de big data

1. ¿Por qué el big data es grande?

Datos es una palabra candente en este momento y hay mucha discusión sobre cómo usarla para liberar el valor del big data. El autor siente que esto parece confundir un poco causa y efecto, al igual que la relación. Cuando hay A, B está asociado con él; cuando hay B, A no está necesariamente asociado con él. El autor todavía utiliza las habituales cuatro V para describir mis puntos de vista sobre el pensamiento de big data.

1. Gran cantidad de datos. La cantidad de datos es lo suficientemente grande como para lograr significancia estadística y es valiosa. Un caso típico que he visto es, por ejemplo, el impacto de las relaciones consanguíneas en las enfermedades genéticas. Es difícil de detectar cuando se recopilan miles de datos. Una vez que llegue a más de 20.000, será muy obvio. Por tanto, es discutible si recopilamos datos para descubrir conocimientos ocultos o si tienen valor. De hecho, al recopilar datos, aún se pueden dividir algunos estándares, establecer un nivel y recopilarlos de acuerdo con las necesidades y objetivos. Por supuesto, algunas personas dirán que esto dará lugar a enormes sesgos, como la pérdida de la integridad de los datos y un cierto grado de sesgo subjetivo, pero creo que al menos el valor de los datos recopilados puede ser relativamente alto.

2. También se puede decir que la categoría de big data es la dimensión de los datos. Para un objeto, márquelo con etiquetas y amplíe la categoría según las necesidades. Al igual que la cantidad de datos, el autor cree que también se recomienda establecer en función de las necesidades. Sin embargo, para las etiquetas, existe una estrategia comúnmente utilizada, que es la cuestión de las etiquetas recomendadas y las etiquetas personalizadas. La clasificación es en realidad una importante innovación de la civilización humana, utilizando el método de etiquetas recomendadas. Podemos reducir en gran medida el número total de etiquetas, reducir el trabajo posterior al estándar y ampliar el número y las dimensiones de la recopilación de datos. Sin embargo, cuando los datos entran en el estado de aplicación, esperamos tratar con datos pequeños y pocas dimensiones. A través de este enfoque recomendado y opcional, podemos personalizar de forma estandarizada en lugar de una expansión irregular o incluso restringir las etiquetas definidas por el usuario, lo que puede hacer que el valor de las dimensiones sea más obvio.

3. En cuanto a la puntualidad, hemos entrado en la era de la cuenta atrás, por lo que en un corto período de tiempo, la cantidad de datos y los tipos de datos necesarios suelen ser mayores que antes. En otras palabras, debido a los altos requisitos de puntualidad, la forma de procesar los datos ha cambiado. En el pasado, varias personas podían hacerlo varias veces, pero ahora debe hacerlo una sola persona. Por tanto, es necesario cambiar los correspondientes sistemas de información, modelos de trabajo e incluso la organización empresarial y el desempeño de la gestión. Por ejemplo, la empresa para la que trabajaba estaba desarrollando un sistema ERP y los diseñadores tenían excelentes opiniones. Hablemos de un caso típico. En el pasado, una vez que se emitía una orden de cambio, el trabajo se completaba. Después de iniciar sesión en el sistema ERP, debe configurar el código de material para esta orden de cambio y configurar el almacenamiento de los materiales que deben consultarse. Anteriormente estos eran ignorados por los diseñadores, a quienes no se les pagaba por el trabajo adicional. Incluso por falta de materiales, no se pudieron emitir órdenes de cambio, dejando a los diseñadores trabajando. Pero desde la perspectiva de completar el trabajo de inmediato y mejorar la eficiencia de la empresa, tales cambios de diseño y métodos de integración de materiales son obviamente necesarios. Por lo tanto, como miembro del personal, es necesario saber cómo hacer su trabajo más integral y completo, evitar problemas, hacer que el trabajo de toda la empresa sea más competitivo en términos de tiempo y mejorar la cantidad, el tipo y las capacidades de procesamiento de datos.

4. Respecto al valor de big data, un dicho es que big data tiene un gran valor y el otro es que, en comparación con los datos estructurados anteriores y las pequeñas cantidades de datos, es big data, muy grande. datos El valor unitario de los datos ha disminuido. El autor cree que ambas afirmaciones son correctas y ambas son un problema desde la perspectiva del valor general y el valor de los datos unitarios. El autor presenta una nueva visión sobre el valor de los big data, que es otra forma de realizar realmente el valor de los big data. Esta idea está dirigida a cuestiones corporativas. Primero, ¿cuál es el problema? El problema del que hablo no es un problema en el sentido general, porque cuando hablo del problema, todo el mundo piensa que es malo, incorrecto, etc. , Y la definición del problema del autor se refiere a la diferencia entre un estado y su estado esperado, incluidos tres modos.

1) Los problemas comunes, como el incendio, deben apagarse inmediatamente. De hecho, este es el menor de los tres modos.

2) Si desea mantener el estado; ,

3) El estado deseado es un nivel superior al estado original.

Proponemos una serie de soluciones a los problemas, y estas soluciones suelen ser diversas, como formación de empleados, mejora de equipos, cambios organizativos, etc. Por supuesto, las soluciones incluyen tecnología de la información y big data. También debemos sopesar si el enfoque de big data es relativamente superior. De ser así, sería valioso resolverlo de esta manera. Por ejemplo, en un caso que conozco, un componente de producto de la empresa ocasionalmente tuvo problemas. Después de varios intentos, la empresa decidió construir un sistema de control industrial para el dispositivo que registraría la temperatura del material. Cuando el problema vuelva a ocurrir, analice que si los trabajadores están trabajando normalmente, no debería haber dichos registros de datos. Tras interrogar al trabajador de turno, este admitió que durmió durante el turno de noche y no atendió el asunto a tiempo. Después de eso, el mismo problema nunca volvió a ocurrir.

En resumen, el autor cree que el núcleo del pensamiento de big data debe implementarse en valor, orientado a problemas, recopilar suficientes datos y suficientes datos multidimensionales para lograr significación estadística y satisfacer las necesidades de las empresas. producción y las necesidades del cliente e incluso los requisitos de puntualidad de la competencia, en lugar de centrarse en big data solo por el bien de big data. Ésta es una forma de pensar pragmática, eficaz y correcta, y una forma eficaz de promover proyectos de big data de primera línea. Con base en esta mentalidad, utilice un enfoque de bola de nieve.

2. Forma de pensar en Big Data

El experto en investigación de Big Data, Schoenberg, señaló que en la era del Big Data, se producirán los siguientes tres cambios en la forma en que las personas ven los datos:

1) Los datos procesados ​​por humanos han cambiado de datos de muestra a todos los datos;

2) Dado que se trata de datos de muestra completos, las personas deben aceptar datos mixtos y abandonar la búsqueda. de precisión;

3) A través del procesamiento de big data, los humanos han abandonado su deseo de relaciones causales y, en cambio, se han centrado en las correlaciones.

De hecho, la era del big data ha traído cambios profundos en la forma de pensar de las personas, mucho más allá de los tres aspectos anteriores. El autor cree que el cambio más crítico en el pensamiento de big data es la transformación del pensamiento natural al pensamiento inteligente, lo que hace que big data gane inteligencia e incluso sabiduría similar al "cerebro humano" debido a su vitalidad.

1. Idea general

La investigación en ciencias sociales estudia las características generales de los fenómenos sociales. En el pasado, el muestreo siempre ha sido el principal medio para obtener datos, y era una elección inútil para los humanos cuando no podían obtener información general sobre los datos. En la era de los grandes datos, las personas pueden obtener y analizar más datos, incluso todos los datos relacionados con ellos, en lugar de depender del muestreo, lo que puede brindar una comprensión más completa y descubrir con mayor claridad detalles que las muestras no pueden revelar.

Como resumió Schoenberg: "Siempre estamos acostumbrados a considerar el muestreo estadístico como una base sólida para el establecimiento de la civilización, al igual que los teoremas geométricos y la ley de la gravitación universal. Sin embargo, el muestreo estadístico en realidad sólo se utiliza cuando la tecnología es limitada, se creó en un período específico para resolver algunos problemas específicos en ese momento y su historia se remonta a hace menos de cien años. El análisis de muestreo en la era del big data ha mejorado enormemente. p> En algunos casos específicos, todavía podemos utilizar el análisis de muestras, pero esta ya no es la forma principal en que analizamos los datos. Es decir, en la era del big data, con los avances en la tecnología de recopilación, almacenamiento y análisis de datos. Con el desarrollo sexual, podemos obtener todos los datos relacionados con el objeto de investigación de manera más conveniente, rápida y dinámica, en lugar de tener que utilizar métodos de investigación de muestra debido a muchas limitaciones. En consecuencia, la forma de pensar también debe pasar del pensamiento de muestra al pensamiento general. Comprender la situación general de manera más completa, tridimensional y sistemática

2. Pensamiento tolerante a fallas

En la era de los datos pequeños, debido a la pequeña cantidad de información de muestra recopilada, es necesario. Es necesario garantizar que los datos registrados sean lo más estructurados y precisos posible; de ​​lo contrario, la conclusión del análisis generalmente será "opuesta", por lo que debemos prestar gran atención al pensamiento preciso. Gracias al avance de la tecnología de big data, se puede analizar una gran cantidad de datos no estructurados y heterogéneos. El almacenamiento y el análisis, por un lado, mejoran nuestra capacidad de obtener conocimiento e información a partir de los datos y, por otro lado, también plantean desafíos. pensamiento de precisión tradicional.

Schoenberg señaló: “La obsesión por la precisión es producto de la era de la escasez de información y la era de la simulación. Sólo el 5% de los datos están estructurados y pueden aplicarse a bases de datos tradicionales. Si no aceptamos el caos, el 95% restante de los datos no estructurados quedarán inutilizables. Sólo aceptando la inexactitud podremos abrir una ventana a un mundo en el que nunca nos hemos aventurado. "Es decir, en la era del big data, la forma de pensar debe cambiar del pensamiento preciso al pensamiento tolerante a fallas. Cuando hay una gran cantidad de datos en tiempo real, la precisión absoluta ya no es el objetivo principal. Si ignoramos apropiadamente la precisión a nivel micro, está permitido. Con un cierto grado de error y confusión, podemos tener mejores conocimientos e ideas a nivel macro

Pensamiento relevante

En el mundo de los datos pequeños, la gente a menudo está obsesionada con la relación causal detrás del fenómeno y trata de analizar el mecanismo interno a través de datos de muestra limitados. Otro inconveniente de los datos pequeños es que los datos de muestra limitados no pueden reflejar la correlación universal entre las cosas. En la era del big data, las personas pueden usar big data para analizar el mecanismo subyacente. La tecnología de datos extrae conexiones ocultas entre las cosas y obtiene más conocimientos e ideas. El uso de estos conocimientos e ideas puede ayudarnos a capturar el presente y predecir el futuro, y realizar predicciones basadas en ellos. El análisis de correlación es el tema central de Big Data.

Al prestar atención a las correlaciones lineales y a las correlaciones no lineales complejas, puede ayudar a las personas a ver muchas conexiones a las que no se les ha prestado atención antes y también a comprenderlas. Tendencias tecnológicas y sociales complejas que antes eran incomprensibles. La correlación puede incluso trascender la causalidad y convertirse en una mejor perspectiva para que entendamos el mundo. Schoenberg señaló que el surgimiento de los grandes datos permite a las personas abandonar el deseo de causalidad y, en cambio, centrarse. sobre la correlación. Es de gran importancia conocer las razones complejas y profundas detrás de las cosas o fenómenos, pero saber qué son a través del análisis de big data nos proporcionará ideas, información y conocimientos muy novedosos y valiosos. En la era del big data, la forma de pensar debe pasar del pensamiento causal al pensamiento correlacional y esforzarse por subvertir los patrones de pensamiento tradicionales y los sesgos inherentes formados por los seres humanos durante miles de años, para poder compartir mejor los profundos conocimientos aportados por big data.

4. Pensamiento inteligente.

La mejora continua del nivel de automatización e inteligencia de las máquinas siempre ha sido la dirección de los incansables esfuerzos a largo plazo de la sociedad humana. Promovió en gran medida el desarrollo de nuevas tecnologías como el control automático, la inteligencia artificial y el aprendizaje automático. "La investigación y el desarrollo de" también ha avanzado mucho y ha comenzado a aplicarse desde que se introdujo la información. En la sociedad, el nivel de automatización e inteligencia de la sociedad humana ha mejorado significativamente, pero siempre ha enfrentado cuellos de botella y no ha logrado avances revolucionarios.

La forma de pensar de la máquina sigue siendo lineal, simple, física y natural, y el nivel de inteligencia sigue siendo insatisfactorio.

Sin embargo, la llegada de la era del big data puede brindar oportunidades para mejorar la inteligencia de las máquinas, porque los big data promoverán efectivamente la transformación del pensamiento de las máquinas del pensamiento natural al pensamiento inteligente, que es la clave y el núcleo del transformación del pensamiento de big data. Como todos sabemos, la razón por la que el cerebro humano es inteligente es que puede recopilar, juzgar y resumir lógicamente los datos e información circundantes de manera integral, y obtener conocimientos y opiniones sobre cosas o fenómenos. De manera similar, en la era del big data, con el gran desarrollo del Internet de las cosas, la computación en la nube, la computación social, la tecnología de visualización, etc. , el sistema de big data puede buscar automáticamente toda la información de datos relevante y luego analizar los datos de forma activa, tridimensional y lógica como un "cerebro humano", emitir juicios y proporcionar información. Entonces, sin duda tendrá capacidades de pensamiento inteligente y la capacidad de predecir el futuro similar a los humanos.

“Inteligencia y sabiduría” son las características distintivas de la era del big data. La forma de pensar en la era del big data también requiere una transformación del pensamiento natural al pensamiento inteligente, mejorando constantemente el poder de computación social y el nivel de inteligencia de las máquinas o sistemas, para obtener conocimientos y nuevos valores, e incluso cosas similares a las humanas. "sabiduría".

Schoenberg señaló: “Los macrodatos han marcado el comienzo de una importante transformación de la era, así como los telescopios nos permiten experimentar el universo y los microscopios nos permiten observar microorganismos, los grandes datos están cambiando nuestras vidas y nuestra comprensión del mismo. Los métodos se han convertido en la fuente de nuevos inventos y nuevos servicios, y nos esperan más cambios”.

La era del big data traerá cambios profundos en el pensamiento. Big data no solo cambiará la vida diaria y el estilo de trabajo de todos, sino que también cambiará el modelo operativo de las instituciones comerciales y organizaciones sociales. También sentará fundamentalmente los datos básicos para la gobernanza nacional y social, cambiará por completo la situación "ingobernable" de larga data en muchas áreas del país y la sociedad, y hará que la gobernanza nacional y social sea más transparente, efectiva e inteligente.