La era del big data ha traído consigo una toma de decisiones más racional y fiable.
¿Cuál es la magia que hace que el concepto de "big data" atraiga una atención generalizada en todo el mundo? ¿Qué son exactamente los “grandes datos”? ¿Hasta qué punto puede cambiar nuestras vidas? Mientras buscamos respuestas a estas importantes preguntas, llama nuestra atención Victor Meyer-Schonberg, profesor del Instituto de Internet de la Network School de la Universidad de Oxford, esperamos que nuestra entrevista con él ayude a los lectores a encontrar las respuestas a estas preguntas;
Recientemente, la moda del "big data" ha arrasado el mundo. Como señaló la revista Forbes, es casi imposible ver u oír el término "grandes datos" mientras se navega por sitios de noticias o se asiste a conferencias de la industria. El año pasado, seis departamentos del gobierno federal de Estados Unidos anunciaron que lanzarían una "Iniciativa de I+D de Big Data" e invertirían más de 200 millones de dólares para mejorar la capacidad de obtener conocimientos a partir de cantidades masivas de datos complejos. Al mismo tiempo, el Ministerio de Ciencia y Tecnología de mi país publicó las "Directrices para la recopilación de proyectos alternativos de 2013 en el campo de la tecnología de la información del Plan Nacional de Ciencia y Tecnología" Duodécimo Plan Quinquenal ", que también ocuparon un lugar destacado investigación de datos primero. En las actuales “Dos Sesiones” nacionales, algunos representantes de la APN sugirieron que el desarrollo de “grandes datos” se eleve a la categoría de estrategia nacional.
¿Cuál es la magia que hace que el concepto de "big data" atraiga una atención generalizada en todo el mundo? ¿Qué son exactamente los “grandes datos”? ¿Hasta qué punto puede cambiar nuestras vidas? ¿Es demasiado alto el énfasis en los “grandes datos”? Mientras buscamos respuestas a estas importantes preguntas, Viktor Mayer-schoenberg, profesor del Instituto de Internet de la Network School de la Universidad de Oxford en el Reino Unido, aparece en nuestro campo de visión para discutir "big data". Es al menos uno de los candidatos adecuados, si no el más adecuado.
Durante más de 20 años, Víctor ha estado comprometido con la investigación de la economía de redes, la información y la innovación, la supervisión de la información, la estandarización de redes y la gestión estratégica. Incluso cuando el concepto de "big data" era muy controvertido, Víctor ya había llevado a cabo una investigación sistemática y profunda. En 2010, se publicó en The Economist un artículo especial de 14 páginas sobre big data. No es exagerado llamarlo uno de los primeros científicos de datos en ver la tendencia de desarrollo de la era del big data.
"The Economist" dijo que en el campo de big data, Víctor es uno de los portavoces más respetados; la revista estadounidense "Science" dijo que no hay mejor iniciador para lanzar la campaña. discusión en profundidad sobre este tema.
Además de la investigación teórica, Víctor también está muy cerca del mundo real. Ya cuando estaba en la universidad, fundó dos empresas de software antivirus y de seguridad de datos. En su libro "Big Data Era", esos casos de aplicaciones de big data nuevos y de vanguardia se benefician de que haya seguido el ritmo de las aplicaciones empresariales y comerciales durante muchos años. Entre sus clientes de consultoría se encuentran muchos pioneros del big data como Microsoft, HP, IBM, Amazon, Facebook, Twitter y VISA.
Actualmente, Víctor también es un importante formulador y participante detrás de la política oficial de Internet de la UE. Más importante aún, también ha trabajado en el Ministerio de Comercio de Singapur, el Ministerio de Defensa Nacional de Brunei, el Ministerio de Comercio de Kuwait y otros departamentos, y está particularmente familiarizado con el desarrollo y el diseño estratégico de la industria de la información asiática.
Espero que nuestra entrevista por correo electrónico con Víctor ayude a los lectores a encontrar respuestas a estas preguntas.
Perder precisión microscópica para ganar visión macroscópica.
Wen Wei Po: Hoy en día, “grandes datos” se ha convertido en una palabra candente en el mundo. ¿Cuándo empezaste a prestar atención?
Meier-Schoenberg: Durante muchos años he estado estudiando el importante papel de los datos en el desarrollo de la economía de la información. Kenneth Cukier (mi coautor) y yo hemos publicado una serie de estudios relacionados. Hace unos tres años, en una conferencia que organicé, ambos nos dimos cuenta de que los “grandes datos” no eran sólo una exageración o una gran declaración, sino que en realidad cambiarían la forma en que trabajamos, la vida y la sociedad en general, por lo que decidimos escribir un libro sobre este tema.
Wen Wei Po: Entonces, en su opinión, ¿qué es la era del big data? ¿En qué se diferencia de la era tradicional de los datos? Sabemos que empresas como Walmart llevan muchos años aplicando big data a sus prácticas comerciales.
Mayer-Schonberg: De hecho, durante los últimos siglos, los datos han desempeñado un papel en los procesos de toma de decisiones de los científicos y, en las últimas décadas, esta práctica se extendió a la toma de decisiones. proceso de algunas empresas. Pero antes de la era del big data, los datos eran muy escasos y teníamos muy pocos datos. Por lo tanto, nuestras decisiones y el sistema que establecimos se basan todos en esa falta de datos. Hoy todo es muy diferente, y eso se refleja en tres aspectos diferentes, que llamamos "más", "más caóticos" y "relevantes".
Wen Wei Po: Estas tres características también se destacan en su libro "Big Data Era". Incluso pueden subvertir toda nuestra forma de pensar en el pasado. ¿Puedes describir el proceso en detalle?
Meier-Schonberg: Está bien. Cuando digo "más", quiero decir que tenemos más datos disponibles que nunca sobre cualquier pregunta específica que queramos investigar o que debamos responder. En la era del big data, podemos utilizar cantidades masivas de datos para obtener información muy detallada que no se puede lograr con los métodos tradicionales.
Se puede decir que la diferencia entre la era del big data y la era de los datos tradicionales es como una vieja fotografía digital con una resolución de 2 millones de píxeles aumentada repentinamente a 24 millones de píxeles. Este último es un archivo muy, muy grande y puede proporcionar más detalles. Nos permite ver claramente detalles de grano pequeño después de hacer zoom, donde las imágenes de menor resolución serían muy borrosas.
La información genética es un buen ejemplo. Una nueva empresa estadounidense llamada 23andMe ofrece pruebas y análisis de ADN personales para detectar síntomas de algunas enfermedades. Sólo cuesta entre doscientos y trescientos dólares y recuerda a los clientes que los pasatiempos personales pueden convertirse en enfermedades graves. Sin embargo, la empresa no secuencia el genoma completo de cada cliente, sino que compara estos sitios con firmas conocidas (segmentos de ADN que pueden resultar problemáticos debido a la presencia de una enfermedad). Esto significa que cuando se descubre una nueva firma, 23andMe debe volver a secuenciar el ADN del cliente y crear un perfil más completo.
Steve Jobs de Apple intentó un enfoque muy diferente. Después de contraer cáncer, tenía todo su código genético y se secuenciaron miles de millones de pares de bases. Le costó más de 654,38 millones de dólares, pero les dio a los médicos una visión completa de su código genético. Siempre que un fármaco pierde eficacia debido a las lesiones cancerosas de Jobs, se pueden encontrar reemplazos eficaces basándose en la información genética específica de Jobs. Desafortunadamente, esto no salvó la vida de Jobs, pero los datos obtenidos en el proceso prolongaron su vida.
Gracias a la innovación tecnológica, cada vez es más barato recopilar grandes cantidades de información. Lo que hizo Steve Jobs hace unos años costó seis cifras. Hoy en día, puedes obtener el mismo servicio por menos de $65,438 + £0,000.
Y "más caótica" se refiere a la era de los datos pequeños, debido a que los datos son tan escasos que podemos asegurarnos de que cada punto de datos que recopilamos sea muy preciso. En comparación, los big data suelen ser confusos y de calidad variable. Sin embargo, en comparación con garantizar la precisión de medir y recopilar pequeñas cantidades de datos a un alto costo, en la era del big data aceptaremos este desorden, porque lo que generalmente necesitamos es solo una dirección general, en lugar de tratar de comprender una detalle. No queremos renunciar por completo a la precisión, simplemente renunciamos a nuestra pasión por la precisión. Para obtener conocimientos macro, perdemos precisión en el nivel micro.
La traducción informática es un ejemplo. En la década de 1990, los investigadores de IBM entrenaron computadoras utilizando un conjunto muy preciso de documentos: versiones en francés e inglés de actas parlamentarias canadienses. Aunque el ordenador seguía las reglas a la perfección, las traducciones basadas en él eran de baja calidad. Luego, en 2006, Google empezó a involucrarse en este campo. En lugar de utilizar los millones de traducciones estándar proporcionadas por el gobierno canadiense, utilizan cualquier idioma que esté disponible. En Internet, utilizan miles de millones de páginas de traducciones de diferente calidad que no son del todo estándar, pero eso es un pequeño compromiso: los datos con los que pueden trabajar aumentan considerablemente y, como resultado, la calidad de las traducciones mejora. Los datos más desorganizados prevalecen sobre los datos cada vez menos estándar.
La combinación de "más" y "más caos" produce la tercera característica, "relevancia", que es también el cambio más fundamental provocado por los big data. Nuestro pensamiento pasa de la causalidad a la correlación. Hasta el día de hoy, y a lo largo de la historia de la humanidad, personas de todo el mundo buscan las causas de los acontecimientos, explorando el "por qué". Pero nuestra búsqueda persistente de causas a menudo nos lleva en la dirección equivocada. Por eso sugerimos que en la era del big data, en muchos casos, podemos simplemente buscar "qué" sin entender completamente el "por qué". Por ejemplo, en el análisis de big data, podemos encontrar algunos cambios muy pequeños en la vibración de la máquina, que indican que la máquina está a punto de dañarse. Esto nos permite reemplazar algunas piezas de la máquina antes de que queden obsoletas. Esto se llama “mantenimiento predictivo” y puede ahorrar mucho dinero. Pero además de mejorar la eficiencia del consumo, la "conexión" también puede hacer más.
Por ejemplo, los bebés prematuros, incluso si crecen, siguen siendo muy vulnerables incluso a una pequeña infección. La Dra. Caroline McGregor estudia cómo darles a estos bebés las mejores posibilidades de supervivencia. Utilizando análisis de big data, se pueden recopilar más de 1.000 puntos de datos sobre estos bebés cada minuto. McGregor descubrió un hecho impactante: cada vez que estos bebés prematuros mostraban signos de estar muy estables, sus cuerpos en realidad no estaban estables y se preparaban para enfermarse. Con este conocimiento, puede determinar en una etapa muy temprana si un bebé necesita tratamiento médico, salvando más vidas de niños.
Esta es una aplicación clásica de big data: el Dr. McGregor puede recopilar más datos que antes a través de sensores más completos. También aceptó que en este caso no todos los datos serían precisos, lo que llevaría a la posibilidad de que su análisis fuera inexacto. Ella deja de lado las preguntas del “por qué” y adopta un enfoque más pragmático para ayudar. Busca "qué", que es una mejor manera de predecir la infección.
Recordemos que el big data también puede salvar vidas.
El uso adecuado del big data puede mejorar los niveles médicos y educativos y promover el desarrollo humano.
Wen Wei Po: ¿La llegada de la era del big data conducirá a una nueva ronda de revolución industrial? ¿Cómo se debe considerar objetivamente su valor?
Meier-Schoenberg: Los macrodatos cambiarán enormemente todos los aspectos de la vida social, pero es difícil decir si su valor es equivalente al de la revolución industrial. Mi conjetura personal es que tal vez no, porque al comienzo de la Revolución Industrial en el siglo XIX, el desarrollo económico todavía estaba en un nivel muy bajo, por lo que, en términos relativos, la mejora del nivel de vida de las personas durante el proceso de industrialización en ese momento fue muy enorme, pero hoy ya no es significativo.
Lo que realmente queremos enfatizar es que la era del big data nos impulsará a cambiar fundamentalmente la forma en que operan las empresas y la forma en que vivimos en la sociedad. Los macrodatos pueden mejorar la capacidad de toma de decisiones de las personas y esta mejora será sustancial. Con big data, no sólo mejoraremos la eficiencia económica, sino que salvaremos vidas humanas y prolongaremos nuestras propias vidas. También mejoraremos la educación y promoveremos el desarrollo. Igualmente, ten cuidado. Como analizamos en el libro, los big data también tienen un "lado oscuro". Si se utiliza incorrectamente, los macrodatos también pueden convertirse en un arma poderosa. Por tanto, debemos velar por el correcto uso del big data.
Wen Wei Po: Mencionaste el “lado oscuro” de la era del big data. ¿Su llegada profundizará la brecha digital?
Meier-Schoenberg: Big data es una herramienta poderosa. Por lo tanto, si utilizamos el enfoque equivocado, podríamos profundizar la brecha digital. Sin embargo, si lo aprovechamos, creo que los macrodatos tienen el potencial de mejorar nuestras vidas, especialmente para aquellos que son menos afortunados. En este punto, puedes pensar en ello como fuego, electricidad o antibióticos, etc.
Wen Wei Po: En otras palabras, su comprensión del valor de los big data se basa en un período de desarrollo histórico más largo.
Meier-Schoenberg: Si miramos la historia de la humanidad desde una perspectiva muy amplia, creo que los humanos siempre han querido entender el mundo. Inicialmente, el "conocimiento" de muchas personas se basaba en supersticiones y corazonadas. El desarrollo del conocimiento es muy lento y requiere que las personas piensen profundamente y luego lo prueben mediante la práctica para garantizar que el conocimiento sea utilizable.
Pero aun así, nuestros conocimientos aún no son 100% fiables. Por ejemplo, en el siglo XIX, Louis Pasteur estaba trabajando en una vacuna contra la rabia. En ese momento, un niño fue mordido gravemente por un perro y contrajo rabia. Sus padres, temiendo que su hijo muriera, le rogaron a Pasteur que probara su vacuna experimental. Pasteur así lo hizo y el niño sobrevivió. En las celebraciones que siguieron, Pasteur emergió como el héroe que salvó la vida de niños pequeños. ¿Pero es este realmente el caso? Hoy en día, gracias a investigaciones más profundas, sabemos que sólo el 25% de los niños mordidos por perros enfermos similares se infectarán con rabia. Así que incluso con vacunas ineficaces, el 75% de los niños siguen sobreviviendo. La moraleja de la historia es que creemos que vivimos en un mundo muy científico, pero en realidad tenemos muy pocos datos. Un nuevo método de tratamiento necesita ser probado en docenas o incluso cientos de experimentos médicos antes de que se pueda demostrar que es seguro. Pero eso sigue siendo muy poco, y la gente sigue resultando perjudicada porque dependemos de muy pocos datos. En la era del big data, podemos decir adiós a la falta de datos y las decisiones que tomemos serán más racionales, más basadas en hechos y, por supuesto, más confiables. Ésta es la esperanza que nos trae la era del big data: que mejores decisiones reemplacen las dudosas supersticiones y las corazonadas humanas poco confiables de nuestro pasado.
Wen Wei Po: Vimos un informe publicado por McKinsey & Company en 2011, que especulaba que si el big data se utiliza para la atención médica en los Estados Unidos, generará un valor potencial de 300 mil millones de dólares estadounidenses. por año, y si se utiliza para la gestión empresarial en Europa, generará un valor potencial de 250 mil millones de euros. Los proveedores de servicios pueden generar un excedente anual de 600 mil millones de dólares para los consumidores potenciales utilizando datos de ubicación personal; análisis, los minoristas pueden aumentar las ganancias operativas en un 60% y los costos de ensamblaje de los equipos de fabricación se reducirán en un 50%. La predicción de que “los datos crean valor” siempre ha sido emocionante. En su opinión, ¿el big data es sólo un negocio valioso?
Meier-Schonberg: No, el big data puede hacer más. En cuanto al tratamiento médico, como comentábamos antes, sólo analizamos algunos signos físicos importantes. Los médicos pueden predecir el estado de los bebés prematuros horas antes de que desarrollen síntomas evidentes de infección.
Del mismo modo, a través del análisis de big data, también podemos descubrir qué parte de los libros de texto escolares es mejor para los estudiantes y qué parte es ineficaz. Hasta ahora, solo podemos juzgar si los estudiantes tendrán dudas al comprender un curso específico basándonos en la intuición humana, es decir, el propio profesor, pero en la era del big data, tenemos datos reales a los que referirnos, como la visualización de datos; Algunas páginas del libro electrónico se han leído muchas veces porque a los estudiantes les resulta difícil entenderlas, por lo que podemos ajustar los materiales didácticos en consecuencia. Esto cambiará fundamentalmente la educación.
O tomemos como ejemplo las políticas públicas: Inrix, una empresa que ofrece software de navegación para teléfonos inteligentes, también proporciona datos de tráfico en tiempo real. Esto es posible porque cada usuario se convierte en un sensor de flujo de tráfico y envía información de ubicación y velocidad a Inrix. De esta manera, podemos brindar un buen servicio a nuestros clientes que viajan durante los atascos de tráfico. Inrix tiene una gran cantidad de datos sobre los movimientos de las personas, que también ayudarán a los planificadores urbanos a comprender los patrones de desplazamiento de las personas, dónde comienzan a trabajar y dónde regresan, y a construir infraestructura como carreteras y ferrocarriles. Esta es la aplicación más efectiva.
Si bien se ahorra dinero, también es beneficioso para la gestión de toda la sociedad.
Wen Wei Po: El papel de los macrodatos en la toma de decisiones empresariales, la investigación académica e incluso la gobernanza nacional es obvio, pero ¿se beneficiará definitivamente la gente corriente en la vida diaria? ¿Por qué, en la era del big data, muchas personas todavía abogan por mantenerse alejados de la información y los datos sobrecargados y regresar a la vida comunitaria tradicional? ¿Tiene sentido que el espacio vital personal cambie de un "plano simple" a una "existencia multidimensional"?
Meier-Schoenberg: Durante miles de años, los humanos hemos experimentado un mundo en el que se generaban muchas ideas a partir de una pequeña cantidad de datos. Sólo cuando los marineros regresaron de sus viajes se volvieron a dibujar los mapas basándose en esta experiencia. Evidentemente esto no es muy exacto. La humanidad se desarrolla muy lentamente a través de prueba y error. Sin embargo, esta es una consecuencia natural cuando tenemos muy pocos datos. Hoy en día tenemos tantos datos que no es de extrañar que los humanos estén abrumados. Pero ahora los big data pueden ayudar. Si los humanos no son buenos para digerir esta gran cantidad de información, el análisis de big data puede ayudarnos a examinar la información y visualizarla aún más para que podamos usarla fácilmente.
La gente generalmente no tiene el pensamiento ni las habilidades para estar a la altura de la era del big data.
Wen Wei Po: Algunos expertos creen que el futuro del big data son las aplicaciones de datos (procesamiento paralelo acelerado) en lugar de la infraestructura; en otras palabras, las plataformas de datos y la infraestructura por sí solas no pueden crear valor a largo plazo; ¿Qué opinas sobre esto?
Meier-Schoenberg: Creemos que la era del big data requerirá el ingenio de al menos tanta gente como en el pasado. Al mismo tiempo, los enormes recursos son minas de oro en la era futura, y las recompensas que recibirán quienes posean estos recursos de datos son inimaginables.
Wen Wei Po: En la era del big data, los datos son transparentes. ¿Cómo lograr un equilibrio entre la protección de la privacidad personal, los secretos comerciales y la seguridad nacional? ¿Será lo que usted llama un "movimiento del olvido cibernético" el mejor remedio?
Meier-Schonberg: El desafío en la era del big data es que descubramos el valor detrás de los datos, por lo que retenerlos y reutilizarlos repetidamente es a menudo una buena elección. Al mismo tiempo, las leyes actuales que protegen la privacidad personal, especialmente en Occidente, están orientadas al mundo de los datos tradicionales, no al mundo de los big data. Esto requiere que hagamos ajustes a las reglas para proteger la privacidad. Sugerimos que este propósito se pueda lograr ajustando las normas de protección pertinentes. Como mencionaste, podemos optar por olvidar estos datos después de un período de tiempo.
Wen Wei Po: La era del big data es una era en la que es necesario procesar cantidades masivas de datos y eliminar una gran cantidad de información inútil. ¿Es por eso que en su libro Deletion enfatiza que tenemos que tomar decisiones?
Meier-Schonberg: Sí. Hasta cierto punto, los propios macrodatos también pueden mejorar la protección de la privacidad. Porque si hay 1 millón de puntos de datos, un solo punto de datos ya no es tan importante, lo cual es muy diferente de la era de los datos tradicionales. Con el tiempo, olvidar una parte de los datos no destruirá la operación y el uso de todo el big data.
Wen Wei Po: ¿En qué etapa se han desarrollado ahora los big data del mundo? ¿Se ha generalizado la tecnología de procesamiento de big data en todo el mundo?
Meier-Schoenberg: Las tecnologías para gestionar y procesar big data ya existen y no son muy caras. Sin embargo, hay una cosa que todavía falta mucho, y es nuestra forma de pensar: comprender el enorme valor oculto detrás de los datos y la experiencia para extraer este valor. Hoy en día, la gente de todo el mundo generalmente no tiene este tipo de pensamiento y habilidades, pero creo que esto cambiará en el futuro. Esperamos que muchas universidades de todo el mundo ofrezcan cursos de análisis de big data para desarrollar las habilidades necesarias en la era de big data.
Wen Wei Po: En todas las revoluciones industriales y tecnológicas anteriores, China parece haber sido un aprendiz e imitador; a diferencia de rondas anteriores de revoluciones tecnológicas industriales, en la era del big data, China se ha desarrollado casi al mismo nivel; Al mismo tiempo que los países desarrollados de Europa y Estados Unidos inician la investigación y el desarrollo tecnológico, China, el país más poblado del mundo, se convertirá en el país que genera más datos. ¿Es usted optimista sobre las perspectivas de desarrollo de China en la nueva era? ¿Es posible que China innove y lidere la era del big data?
Meier-Schonberg: Sí, somos muy optimistas al respecto. China tiene el potencial de convertirse en pionera en el campo de los macrodatos. En la era del big data, China tiene muchas ventajas: los chinos tienen un alto nivel educativo, especialmente en matemáticas y estadística (lo cual es muy importante). China es una sociedad enormemente diversificada, lo que creará muchas oportunidades para crear recursos de big data y establecer aplicaciones de big data. De la misma manera, para el vigoroso desarrollo de big data, también necesitamos una forma de pensar adecuada, el deseo de probar cosas nuevas e innovar constantemente, y utilizar hechos empíricos como base para nuestras decisiones. Así que, al igual que muchas otras sociedades, la era del big data ciertamente traerá grandes cambios a China.
Lo anterior es el contenido compartido por el editor sobre cómo lograr una toma de decisiones más racional y confiable en la era del big data. Para obtener más información, puede seguir a Global Ivy para compartir más información detallada.