En el nuevo entorno de big data, ¿qué oportunidades y desafíos enfrentan las empresas de TI?

Las fuentes de datos ricas son el requisito previo para el desarrollo de la industria del big data. La cantidad total de recursos de datos digitales en mi país es mucho menor que la de Estados Unidos y Europa. La cantidad de datos nuevos es solo el 7% de la de Estados Unidos y el 12% de la de Europa. La cantidad de recursos de datos en el gobierno y la industria manufacturera está muy por detrás de la de los países extranjeros. En lo que respecta a los recursos de datos limitados, todavía existe una baja estandarización, baja precisión, baja integridad y bajo valor de utilización, lo que reduce en gran medida el valor de los datos.

En la era del big data, necesitamos datos más completos para mejorar la precisión del análisis y la predicción, por lo que necesitamos herramientas de producción de datos más convenientes, económicas y automatizadas. Además de los navegadores que utilizamos en Internet que intencionalmente o no registran información y datos personales, varios dispositivos portátiles, como teléfonos móviles, relojes inteligentes y pulseras inteligentes, también generan datos todo el tiempo, incluso nuestros enrutadores, televisores y aires acondicionados domésticos; refrigeradores, dispensadores de agua, purificadores, etc. Ser más inteligente y estar más conectado. Si bien estos electrodomésticos nos sirven mejor, también generan grandes cantidades de datos. Incluso cuando vamos de compras, el WIFI del comerciante, la red 3G del operador, las omnipresentes cámaras y ojos electrónicos, las pantallas de autoservicio en los grandes almacenes, los cajeros automáticos de los bancos, las gasolineras y los lectores de tarjetas en todas las tiendas de conveniencia están generando datos.

Desafío 2: Establecer un modelo de análisis de minería de datos

En la era del big data, la gente habla de big data, que parece haberse convertido en una nueva tendencia. Los datos están más integrados que nunca en todos los rincones de nuestras vidas. Buscamos utilizar datos para resolver problemas, mejorar el bienestar y promover una nueva prosperidad económica. La gente ha expresado grandes expectativas sobre los big data y es particularmente optimista sobre la tecnología de análisis de big data. Sin embargo, en lo que respecta al análisis de big data, la gente clama por su valor mágico, pero existen pocos modelos y métodos para su aplicación práctica. Hay dos razones principales para este dilema: en primer lugar, todavía falta una comprensión profunda de la lógica del valor del análisis de big data; en segundo lugar, algunos elementos o tecnologías importantes en el análisis de big data aún no están maduros. El crecimiento masivo de los datos en la era del big data, la falta de una lógica de análisis de big data y el desarrollo de la tecnología de big data son los desafíos que enfrentamos en la era del big data.

Generalmente se considera que el tamaño del big data se refiere a su escala masiva de datos. Con la revolución tecnológica de los seres humanos en el registro, adquisición y transmisión de datos, la conveniencia y el bajo costo de la adquisición de datos han hecho que los datos pequeños con datos limitados originalmente obtenidos de una manera costosa para describir las actitudes o comportamientos humanos se conviertan en un enorme y masivo. paquetes de datos. En realidad, se trata de una comprensión unilateral. De hecho, antes de la era del big data, ya existían enormes conjuntos de datos. Sin embargo, debido a su dimensión única y su separación del estado de actividad orgánica de las personas o la sociedad, su valor para analizar y comprender la verdad es extremadamente limitado. El valor real de los big data no reside en su tamaño, sino en su amplitud: la superposición y reproducción de información multiángulo y multinivel en la dimensión espacial la presentación continua de información relacionada con las actividades de las personas u organismos sociales; en la dimensión del tiempo.

Desafío 3: La compensación entre divulgación de datos y privacidad

La premisa de la aplicación de datos es que los datos estén abiertos, lo cual ya es * * conocimiento. Algunos profesionales señalaron que China tiene la población más grande del mundo, pero en 2010, los datos recientemente almacenados en China eran 250 PB, sólo el 60% de los de Japón y el 7% de los de América del Norte. En la actualidad, algunos departamentos e instituciones de nuestro país tienen una gran cantidad de datos, pero prefieren no usarlos ellos mismos antes que proporcionárselos a los departamentos pertinentes, lo que resulta en información incompleta o duplicación de inversiones. En 2012, la capacidad de almacenamiento de datos de China alcanzó los 64 EB, de los cuales el 55% requería cierta protección, pero actualmente menos de la mitad de los datos están protegidos.

Cómo equilibrar la apertura y la privacidad también es un gran tema. Cualquier tecnología es un arma de doble filo y el big data no es una excepción. Cómo proteger eficazmente la privacidad de los ciudadanos y las empresas, promoviendo al mismo tiempo la total apertura, aplicación y disfrute de los datos, y fortaleciendo gradualmente la legislación sobre privacidad, será un desafío importante en la era del big data.

Desafío 4: Gestión de big data y toma de decisiones

Los desafíos técnicos del big data son obvios, pero los desafíos de toma de decisiones que trae consigo son aún más difíciles. La clave del big data es que afectará directamente cómo las organizaciones toman decisiones y por quién. En una era donde la información es limitada, los costos de adquisición son altos y no está digitalizada, las personas que toman las grandes decisiones en la organización suelen ser personas con alta autoridad, o think tanks externos con habilidades profesionales y excelentes currículums contratados a un alto precio. . Sin embargo, en el mundo empresarial actual, los ejecutivos todavía dependen más de la experiencia personal y la intuición que de los datos.

El propósito fundamental del desarrollo del big data es ayudar a las personas a tomar decisiones más informadas y optimizar el funcionamiento de las empresas y la sociedad a partir del análisis de datos. "Harvard Business Review" afirmó que big data es esencialmente "una revolución de gestión". La toma de decisiones en la era del big data no puede depender únicamente de la experiencia, sino que realmente debe "dejar que los datos hablen por sí mismos". Por tanto, los macrodatos realmente pueden desempeñar un papel. A un nivel más profundo, necesitamos mejorar nuestro modelo de gestión y adaptarnos a los métodos de gestión y la arquitectura de las herramientas tecnológicas de big data. Este es quizás nuestro obstáculo más difícil de superar.

Desafío 5: Brecha de talento en big data

Si el big data representado por Hadoop es un bebé elefante, entonces las empresas deben tener domadores que puedan domesticarlo. Cuando muchas empresas adoptan con entusiasmo esta tecnología de big data, también existe una gran brecha en talentos relevantes que dominen la tecnología de big data.

Cada aspecto de la construcción de big data requiere que los completen profesionales. Por tanto, es necesario cultivar y crear un equipo profesional para la construcción de big data que comprenda el mando, la tecnología y la gestión.