Mi experiencia leyendo "Big Data Era"
Después de leer "La Era del Big Data", siento que se avecina una era de grandes cambios. Si bien no está del todo claro qué formas de pensar y operar deberían cambiarse radicalmente, está claro que el autor quiere hacerlo. ¿Finalizar? O subvertir algunas teorías, métodos y enfoques que tradicionalmente se consideran la base de nuestro pensamiento y existencia. Ante tal idea, mi alma quedó profundamente conmocionada y no pude evitar temblar.
? En la era de los datos pequeños, hacemos suposiciones sobre cómo funciona el mundo y luego las probamos recopilando y analizando datos. ? A medida que la era de la imaginación pasa a la era de los datos, también podemos pensar que ya no necesitamos la teoría. ? Es casi seguro que el libro subvertirá las teorías y métodos estadísticos, y también intenta citar al editor en jefe de la revista Wired, Anderson. ¿La teoría de la física cuántica ya no está en contacto con la realidad? ¿Venir? ¿Finalizar? Mecánica cuántica. Estoy feliz por esto porque la estadística y la mecánica cuántica fueron materias que reprobé en la universidad. Pero estas dos teorías son demasiado amplias, demasiado autorizadas y demasiado básicas. No creo que pueda deshacerme de estos dos dolores de cabeza de toda la vida con un solo libro. De hecho, el autor no se atreve a proponer un argumento claro que los subvierta. Después de todo, él fue quien lo añadió al frente. ¿Tal vez? Qué paraguas.
En las últimas décadas, hemos estado expuestos a una variedad de nuevas ideas. Frente al nuevo pensamiento, lo primero que tenemos que hacer es romper las reglas, cambiar la tradición y seguir el ritmo de los tiempos. Incluso si tu cerebro no puede seguir el ritmo, tu boca debe seguir el ritmo; de lo contrario, puedes ser etiquetado como estereotipado e incluso obstaculizar el desarrollo del mundo. ¿Desde el big data? ¿Los cambios inevitables que se avecinan? ¿Entonces debo? ¿Libre de las limitaciones de los patrones de pensamiento tradicionales y de los prejuicios inherentes implícitos en un campo determinado? Unámonos a los autores en el rechazo de la estadística y la mecánica cuántica. De todos modos, no me gustan y no puedo aprender de ellos.
Cuando nuestras capacidades de procesamiento y recopilación de datos humanos alcanzan Pb o incluso más, podemos convertir la muestra en todo. Una vez que tengamos la capacidad de enfrentar la heterocigosidad e ignorar la precisión, parece ser cierto. Se pueden abandonar las encuestas por muestreo. ¿Pero a través de la estadística, la mecánica cuántica y muchos otros métodos? Cosas que podemos pensar que ya no necesitamos. ¿En teoría casi todos se basan en el mismo fundamento? lógica. ¿Qué pasa si accidentalmente combinas la lógica o el pensamiento lógico o el razonamiento lógico? ¿Ya no es necesario? ¡Si es así, estaría preocupado!
En la era del big data, ¿16 páginas? ¿Es la predicción el núcleo del big data? . ¿Cuál es la lógica de esto? ¿Describir información espaciotemporal? ¿clase? ¿Qué usar? ¿clase? Reglas de relación de cambio de secuencia inmutables y a largo plazo. Parecen estar haciendo lo mismo. ¿Pero quiere big data? ¿No causalidad, sino correlación? ,?Basta con saber qué es, no es necesario saber por qué. ¿Y la ley de razón suficiente entre las cuatro leyes básicas de la lógica (ley de identidad, ley de contradicción, ley del tercero excluido, ley de razón suficiente)? ¿Bien definido? Todo tiene una razón de existir. ¿Y las tres partes del razonamiento lógico? La lógica inductiva, la lógica retroactiva y la lógica deductiva se basan en relaciones causales. Los dos parecen ser opuestos. De dos métodos opuestos sobre un mismo asunto sólo debe haber un resultado, que es negar uno de ellos. Eso es lo que me preocupa.
Pero no puedo esperar y ver, esperando ¿quién es como un espectador? ¿destacar? Porque estoy en esto. Si el problema no se resuelve, no podré pensar ni trabajar y, naturalmente, ¡no podré vivir! Es más, hay dos cosas más aterradoras.
En primer lugar, la mecánica cuántica se practica desde hace más de cien años. Para afrontar el problema de la hibridación, se han combinado masa y velocidad con energía. Para reconciliar la contradicción entre la mecánica cuántica y la relatividad, se desarrolló la teoría cuántica de campos y luego se crearon los agujeros de gusano y los puentes de Rosen. Finalmente, el espacio-tiempo de cuatro dimensiones se ha doblado de una manera que permite viajar en el tiempo. No puedo esperar para construir esa terrible máquina de viajar en el tiempo de inmediato. ¿Cuál es la única manera de detenerlos? ¿Einstein? ¿niño? ¿perder el tiempo? Esto es causa y efecto porque el padre es el padre y el hijo es el hijo. Entonces, ¿los big data crearán una máquina del tiempo al enfrentar de frente la hibridación, abandonando la ley de causalidad, de modo que los padres ya no sean padres y los hijos ya no sean hijos? En segundo lugar, la diferencia fundamental entre humanos y máquinas es que los humanos tienen pensamiento lógico, pero las máquinas no. ¿Es también preocupante la "era del big data"? ¿Serán las máquinas, no las personas, las que tomarán la decisión final? . Si ese día realmente se trataba de renunciar al pensamiento lógico y a las máquinas descritas en las películas de ciencia ficción que gobiernan el mundo y destruyen a la humanidad, entonces bien podría saltar del edificio ahora.
Afortunadamente, sé que soy un outsider en estadística, mecánica cuántica, lógica y big data. Quizás los artículos anteriores sean una tontería y las llamadas preocupaciones no existan en absoluto.
Pero cuando surge un problema, es mejor solucionarlo, de lo contrario no podrás dormir. Si no puede resolverlo usted mismo, sólo puede confiar en la ayuda de expertos.
Así que me gustaría darle al autor de "Big Data Era" una sugerencia razonable: ¿continuar escribiendo este libro, al menos agregar una cuarta parte? Pensamiento lógico en la era del big data.
Experiencias de lectura “Big Data Era” (2)
Con la llegada de la era de la información sentimos que la tecnología está cambiando cada día que pasa, y lo que sigue es un cambio en el estilo de vida? La era de la información en la que comentamos así es cosa del pasado. Hoy en día, la era del big data se ha convertido en un tema candente. El autor explica aquí la información y los datos. Solo quiero explicar primero la conexión y la diferencia entre información y datos, y también quiero explicar por qué la era de la información se ha convertido en la era de los grandes datos. ¿Qué nos ha aportado la era del big data?
Definición de información y datos. Wikipedia explica que la información, también conocida como información, es un concepto abstracto altamente generalizado, una categoría dinámica de desarrollo y el contenido y los nombres que se intercambian entre sí. No existe una definición unificada de información, pero todo el mundo sabe que la información tiene características como objetividad, dinámica, transmisibilidad, disfrute y economía. Datos: o datos se refiere a registros simbólicos que describen cosas, que pueden definirse como entidades significativas que se relacionan con la forma de existencia de las cosas. Es una descripción discreta y objetiva de un conjunto de acontecimientos y de la materia prima que constituye la información y el conocimiento. Los datos se pueden dividir en datos analógicos y datos digitales. ¿Los datos se refieren al procesamiento informático? ¿Materias primas? , como gráficos, sonidos, texto, números, caracteres y símbolos. Como sugiere el nombre, los datos son territorio virgen que debe recuperarse. La información es información que ha sido procesada y puede difundirse. La era de la información se basa en la explosión de datos, pero cuando los datos explotan a un estado incontrolable, surge la era del big data. ¿Este material de antecedentes no se explica en el libro "Big Data Era"?
En el libro "Big Data Era", las diferencias entre la era de Big Data y la era de Small Data son: 1. Convención de pensamiento. La diferencia y el cambio en la era del big data es abandonar el deseo de causalidad y centrarse en cambio en la correlación. Entonces, ¿mientras lo sepas? ¿Qué es esto? ¿Sin saberlo? ¿Por qué? . El lenguaje del autor es absoluto, pero reflexiona sobre sus diferencias esenciales. ¿Hay cada vez más datos diversos, lo que hace que la idea de la aplicación solo observe tanto como sea posible en lugar de utilizar todos sus recursos para razonar? Esta también es una medida inteligente. 2. Uso. Los datos pequeños se quedan en explicar el pasado, mientras que los datos grandes utilizan el pasado para predecir el futuro. El autor cree que el propósito de los datos no tiene nada que ver con los datos en sí, sino con el intérprete de los datos. La correlación es más propicia para predecir el futuro. 3. Estructura. Los big data se reflejan más en la integración y el procesamiento de datos masivos no estructurados. Big data es más como teoría y realidad que van de la mano. La teoría crea métodos para procesar datos no estructurados y los resultados se verifican en el futuro. 4. Conceptos básicos del análisis. Big data es un proceso del cambio cuantitativo al cambio cualitativo en el contexto de Internet. El autor cree que la era de los pequeños datos, es decir, la era de la información, es el requisito previo para la era de los grandes datos. La era del big data se trata de sublimación y evolución, y sus esencias son complementarias y no mutuamente excluyentes.
La historia del futuro de los datos. ¿Qué expectativas y revelaciones nos trae el desarrollo de los datos? Naturalmente, el sector bancario tiene el potencial del big data. Los datos masivos, como los datos de clientes, los datos de transacciones y los datos de gestión, continúan creciendo, y a ello siguen enormes oportunidades y desafíos. Adáptese a los cambios y sobreviva el más apto. ¿Podemos tener un espacio de desarrollo empresarial más amplio, capacidades de toma de decisiones más precisas y mejores capacidades de gestión? Sí, todo esto se basa en la capacidad de recopilar, organizar, controlar y analizar datos, así como en capacidades de pensamiento y ejecución innovadoras que destacan. Entonces, ¿arquitectura? ¿Almacén de datos? ,¿nutrir? ¿Pensamiento de datos? ,¿desarrollar? ¿Gobernanza de datos? ,¿crear? ¿Fusión de datos? ,¿lograr? ¿Aplicaciones de datos? ¿Abrazo? ¿Grandes datos? En esta era, capture valor de los datos, responda a los cambios con una sonrisa y gane el futuro de forma segura.
Experiencias de lectura "Big Data Era" (3)
Este libro presenta principalmente la aplicación de big data en las operaciones comerciales modernas y su impacto en las operaciones comerciales modernas.
El marco estructural del libro "Big Data Era" sigue el enfoque general de los libros académicos. Es decir, partir del fenómeno y luego explicar el fenómeno a través de fenómenos anatómicos. Luego predigo el futuro a través de explicaciones y expongo mis propias opiniones y contramedidas sobre posibles problemas que puedan surgir en el futuro.
Ahora nos centraremos en el contenido principal del libro "Big Data Era".
Al comienzo de la era del big data, Google predijo con éxito el brote y la dirección de propagación del H1N1 en Estados Unidos en el año 20XX, así como posibles pacientes potenciales, a través de los datos dejados por personas que buscaban palabras clave en motores de búsqueda. Los pronósticos de Google están casi un mes por delante de los del gobierno, que obtiene datos sólo una o dos semanas después de un brote de gripe. Al mismo tiempo, la correlación entre las predicciones de Google y los datos gubernamentales llega al 97%, lo que significa que el intervalo de confianza de los datos de predicción de Google es del 3%, que es mucho menor que el intervalo de confianza convencional del 5% en las estadísticas tradicionales. ¡Y este número es la mejor prueba de la relativa precisión de los resultados de las predicciones y la previsibilidad de los eventos en la era del big data! A través de casos como este y aquel, preguntó Víctor, ¿en la era del big data? ¿Muestra = población? idea. Todos sabemos que cuando la muestra se aproxima infinitamente a la población, los datos descriptivos calculados se aproximarán infinitamente a la naturaleza del evento en sí. ¿Qué estabas filmando antes? Muestra
A continuación, Víctor pasó por alto el fracaso del plan de IBM de lograr una traducción por computadora de alta precisión y el hecho de que Google solo escaneó y almacenó todas las oraciones de texto correspondientes que aparecían en el diccionario de sinónimos, por lo que no importa lo que sea necesario. traducirse, solo necesita traducirse con palabras de Google. Si la biblioteca está conectada, habrá traducción. Aunque a veces la traducción no tiene sentido, la mayoría de las veces es correcta. Por lo tanto, el éxito del proyecto de traducción por computadora de Google muestra que la búsqueda de la precisión en la era del big data no es particularmente obvia. Se basa en big data, por lo que la era del big data persigue la medición digital con cobertura total, sin importar cuán precisa sea, porque una gran cantidad de datos enterrará el impacto de una pequeña cantidad de datos problemáticos. Al mismo tiempo, una gran cantidad de datos se aproximará infinitamente a la verdadera naturaleza de las cosas.
Más tarde, ¿Víctor predijo una importante profesión nacida en la era del big data? Un científico de datos es una combinación de matemático, estadístico y programador y podrá obtener los resultados que desee a partir de los datos que obtenga. En otras palabras, mientras haya suficientes datos, todas las cosas externas e internas que no queremos que otros sepan se revelarán frente a este grupo de chicos. Por lo tanto, para evitar que este grupo de personas explote la privacidad personal en la era del big data, Víctor sugirió dividir este grupo de personas en dos partes, una parte es utilizar los datos para servir al sector empresarial y la otra parte. es responsable de revisar si estas personas obtienen y aplican datos de forma legal.
En cualquier caso, la era del big data eventualmente llegará, ¡lo aceptemos o no!
Creo que el libro "Big Data Era" está bien escrito y vale la pena leerlo. ¿Porque nos dará mucha inspiración, como probablemente lo serán sus comentarios o fotos en sitios de redes sociales relevantes? ¿Científico de datos? Los usuarios lo utilizan y luego venden datos relevantes a las principales tiendas online. Sin embargo, la verdad es que podemos ser tentados por las profecías. Así que tenga cuidado con lo que deja en línea.
Me gusta este libro porque me muestra un mundo nuevo.
Mi experiencia leyendo "Big Data Era" (4)
Pasé el fin de semana leyendo la obra maestra de Tu Zipei "Big Data" de una sola vez. Este libro es hermoso, bien escrito y atractivo. En el libro, lo que lees no trata sobre la tecnología de big data, sino más bien sobre la evolución de la política, la economía, la sociedad y la cultura estadounidenses relacionadas con el big data. Como profesional de la información, después de leer el libro completo, sentí profundamente las características respectivas de China y Estados Unidos en tecnología de la información, y también vi la brecha entre nosotros y Estados Unidos. Hay varios aspectos que experimentar, pero un vistazo básicamente cuenta la historia completa.
En primer lugar, la amplitud y profundidad de la divulgación de bases de datos empresariales gubernamentales. En los últimos años, con el avance de la divulgación de información en nuestro país, los gobiernos de todos los niveles están promoviendo activamente la divulgación de información gubernamental en línea a través de la construcción de portales gubernamentales. Nuestra divulgación de información actual incluye principalmente la divulgación de políticas gubernamentales, leyes, regulaciones, normas, documentos oficiales, responsabilidades laborales, lineamientos de servicio, dinámicas de trabajo, nombramientos y destituciones de personal y otros asuntos administrativos. Por supuesto, la divulgación en tiempo real de bases de datos de empresas gubernamentales también ha logrado grandes avances. En el portal del gobierno chino, puede consultar algunas bases de datos de bienestar público, como estadísticas económicas de la Oficina Nacional de Estadísticas, datos hidrológicos y atmosféricos nacionales proporcionados por el Centro de datos del Ministerio de Protección Ambiental, datos meteorológicos nacionales proporcionados por la Administración General de Meteorología. , e información de vuelos nacionales proporcionada por la Administración de Aviación Civil. También puede encontrar una gran cantidad de datos comerciales iniciando sesión en los sitios web de varios ministerios y comisiones, como la base de datos de aprobación de proyectos de la Comisión Nacional de Reforma y Desarrollo, la base de datos de crédito corporativo de la Oficina de Industria y Comercio, la base de datos de certificados de tierras. del Ministerio de Tierras y Recursos, la base de datos de información de alerta temprana sobre seguridad en las minas de carbón de la Administración Estatal de Seguridad en el Trabajo y la base de datos de información sobre licitaciones de diversos proyectos.
¡Este es un gran progreso y también es el resultado y el valor de tantos años de construcción del gobierno electrónico! Sin embargo, muchos datos de la base de datos de empresas del gobierno aún no se han hecho públicos. Muchos datos se deben a intereses departamentales. ¿secreto? y otros factores también se limitan al uso interno y no se divulgan al público; los datos publicados se limitan a cierta información básica e información estadística, y no se han publicado más datos. A juzgar por la práctica de divulgación de datos en los Estados Unidos registrada en "Big Data", la amplitud y profundidad de la divulgación de datos en los Estados Unidos es relativamente grande. ¿Piensan los americanos? ¿Deberían los datos recopilados con dinero de los contribuyentes ponerse a disposición de los contribuyentes de forma gratuita? Aunque el gobierno de Estados Unidos en realidad se opone a la divulgación de datos, no se puede violar la voluntad del pueblo. Los datos empresariales del gobierno de Estados Unidos se están volviendo cada vez más públicos, especialmente después de que la administración Obama firmara el documento “Gobierno transparente y abierto”. DATA.GOV es un nuevo portal abierto de datos unificado creado por el gobierno federal de EE. UU. El sitio web organiza varios tipos de datos abiertos según datos originales, datos geográficos y herramientas de aplicación de datos, y ha acumulado 378.529 conjuntos de datos originales y geográficos. No existe ningún sitio web de divulgación de datos de este tipo en China. Además, debido a los diferentes sistemas, la divulgación de información comercial en los Estados Unidos también es muy profunda. Por ejemplo, ¿el presidente de los Estados Unidos la divulga en línea? ¿Registros de visitantes de la Casa Blanca? Ha publicado información sobre varias personas e incluso visitando la Casa Blanca el sitio web US FedSpending puede rastrear, registrar y analizar cada gasto financiero del gobierno federal uno por uno. Esto no debería ser posible en China en la actualidad.
El segundo es el análisis de datos empresariales gubernamentales. En la actualidad, los datos comerciales proporcionados por los sitios web gubernamentales de todos los niveles en mi país son básicamente tablas de datos. Algunos sitios web pueden proporcionar algunos cuadros estadísticos, pero pocos pueden realizar análisis en línea entre departamentos y análisis de correlación de datos. Esto se debe principalmente al hecho de que la construcción de información del gobierno de mi país aún se encuentra en la etapa de construcción del departamento. Estados Unidos está avanzando más rápido en este sentido. El sitio web U.S. DATA.GOV no solo proporciona datos sin procesar y datos geográficos, sino que también proporciona muchas herramientas de datos, muchas de las cuales son proporcionadas por el público, organizaciones sin fines de lucro y algunas instituciones comerciales. Estas aplicaciones proporcionan procesamiento de datos, análisis en línea, análisis de correlación basado en redes sociales, etc. Por ejemplo, la herramienta de búsqueda de visitantes de la Casa Blanca proporcionada en DATA.GOV puede buscar información de los visitantes y asociar a los visitantes de la Casa Blanca con otros Weibo y sitios de redes sociales para aumentar la transparencia de los visitantes.
La tercera trata sobre la privacidad de los datos personales. En Estados Unidos, la privacidad y los derechos de propiedad de los ciudadanos son inviolables. Estados Unidos no tiene documentos de identidad personales y es imposible establecer asociaciones de información personal basadas en números de documentos de identidad personales. ¿Base de datos central? La propuesta también fue rechazada varias veces. Esto no es un problema en China. Cada ciudadano tiene información de identidad única y la información básica de un ciudadano se puede obtener a través de la información de la tarjeta de identificación. En el futuro, con la construcción de bases de datos de recursos básicos, como la base de datos nacional de población, también se podrá obtener fácilmente información médica y de seguridad social de los ciudadanos y otra información relacionada. Por supuesto, la información todavía se limita a los departamentos gubernamentales, pero es difícil garantizar completamente que esta información personal integrada no será filtrada ni explotada.
Los datos son la base de la construcción de la información. Aprender unos de otros y aprender unos de otros en el campo de los big data empujará al mundo a la era de la información. ¿Me alegra ver que el gobierno de EE. UU. comience en 20XX? ¿Plan de I+D de big data? , invirtiendo 200 millones de dólares para promover la investigación en los campos de extracción, almacenamiento, análisis, intercambio, visualización, etc. de big data, a la par con la supercomputación y la inversión en Internet. ¿Ese mismo año, el gobierno municipal chino también aprobó en 20XX? ¿Plan del Proyecto de Construcción de Informatización del Gobierno Nacional del "Duodécimo Plan Quinquenal"? La inversión total se estima en decenas de miles de millones, con cinco grandes proyectos de construcción que incluyen población, personas jurídicas, espacio, macroeconomía y cultura. ¡Ha llegado la era del big data abierto, accesible e inteligente!
Lo recomiendo ampliamente.