Los casos de fallos de big data te recuerdan ocho errores que no debes cometer.

En los últimos años, el torbellino de big data ha arrasado el mundo a la velocidad del rayo, no solo en el campo de la información, sino también en muchos campos como la economía. , la política y la sociedad. Prepárense para tener un lugar en él. Sin embargo, muchas empresas se han encontrado con "Waterloo" después de ingresar al campo del big data. Aquí, este artículo hace un balance de una serie de proyectos fallidos de big data y explora las razones, lo que tiene importancia como advertencia.

Creer demasiado en los datos. En 2008, Google empezó a predecir la gripe por primera vez y obtuvo buenos resultados. Predijo brotes de gripe dos semanas antes que los Centros para el Control y la Prevención de Enfermedades de EE. UU. Sin embargo, unos años más tarde, la predicción de Google era un 50% superior a la situación real (calculada por el Centro de Prevención y Control a partir de datos médicos nacionales). Los medios exageraron el éxito de Google y cada vez más personas buscaron palabras clave relacionadas por curiosidad, lo que provocó una distorsión de los datos. Subestimar la complejidad del big data. Existen varias empresas financieras de Internet en los Estados Unidos que se especializan en préstamos a pequeñas y medianas empresas. Los datos involucrados en los préstamos a pequeñas y medianas empresas son relativamente complejos. Las pequeñas y medianas empresas involucran algunos datos muy especiales de toda la industria, como estados financieros y contratos no estándar en diferentes industrias y diferentes paradigmas. No tienen conocimientos muy profesionales, es difícil de entender o tienen tiempo para desentrañarlos con precisión. En ese momento, el equipo de big data quería usar un modelo perfecto para resolver todos los problemas, como usar un modelo para resolver todas las soluciones crediticias y de mercado. Sin embargo, debido a la complejidad de los datos, este método finalmente resultó fallido y. El 90% del tiempo se dedicó a limpiar los datos. Esto demuestra que es difícil resolver todos los problemas a la vez mediante la tecnología de big data y que se requiere un enfoque paso a paso. Gestión de la inercia El sistema de una empresa de viajes extrae datos de registros web para mejorar la información sobre los clientes. Los resultados mostraron que después de que los usuarios navegaban por el sitio web, sus patrones de comportamiento de consumo posteriores no eran coherentes con lo que pensaba la dirección. Cuando el equipo informó sobre este asunto, la dirección consideró que no había nada que mencionar. Pero el equipo no se rindió, pasó rigurosas pruebas A/B y luchó contra el desprecio de la gerencia. El resultado final de este caso no fue algo que todos los CIO hubieran podido predecir. Sin embargo, una cosa es segura: prepárese para tratar con la gerencia y déjeles entender completamente qué es big data y su correspondiente valor. Una compañía de seguros quiere saber la correlación entre los hábitos diarios y la disposición a comprar un seguro de vida. Más tarde, debido a que el hábito era demasiado amplio, la empresa limitó el alcance de la investigación a si la gente fumaba. Sin embargo, todavía no hay avances sustanciales en este trabajo. Al cabo de medio año, dieron por terminado todo el proyecto porque nunca encontraron ninguna información valiosa. El proyecto fracasó debido a la complejidad del problema. Entre fumar y no fumar, las empresas no se dan cuenta de que hay una gran zona gris: muchas personas fuman primero y luego lo dejan. Impulsado por la motivación de simplificar el problema, esta parte fue ignorada. La pregunta no es lo suficientemente completa. El equipo de big data de una empresa global descubrió muchos conocimientos y planeó ponerlos a disposición de toda la empresa a través de la nube. Como resultado, el equipo subestimó la pérdida de eficiencia y no pudo satisfacer las necesidades de todas las sucursales en todo el mundo para enviar datos sin problemas para el análisis operativo debido a problemas de congestión de la red. Las empresas deben considerar cuidadosamente cómo respaldar proyectos de big data, recopilar las habilidades necesarias y coordinar los esfuerzos de varios departamentos de TI para respaldarlos. Demasiados proyectos de big data fracasan debido a problemas de red, seguridad o infraestructura. Falta de habilidades de análisis de big data El director ejecutivo de una empresa minorista no estaba de acuerdo con el modelo de servicio plano y a gran escala de Amazon, por lo que le pidió al CIO que creara un motor de recomendación de clientes. El proyecto se planeó originalmente para medio año, pero el equipo rápidamente se dio cuenta de que conceptos como el filtrado colaborativo no se podían realizar. Por esta razón, algunos miembros del equipo propusieron construir un “motor de recomendaciones falso” y utilizar sábanas como único producto recomendado. La lógica de funcionamiento de este motor falso es que las personas que compran licuadoras comprarán sábanas, las personas que compran libros sobre camping comprarán sábanas y las personas que compran libros comprarán sábanas. Así es, las sábanas son la única recomendación predeterminada. Aunque parezca ridícula, esta idea en realidad no es mala y las recomendaciones predeterminadas también pueden aportar mejoras en las ventas a las empresas. Sin embargo, debido a la falta de habilidades relacionadas con big data, no se implementó un motor real. Pregunta equivocada. Un fabricante de automóviles líder a nivel mundial decidió lanzar un proyecto de análisis de sentimiento que duró 6 meses y costó más de 65.438 millones de dólares. Una vez completado el proyecto, el fabricante compartirá los resultados con los distribuidores en un intento de cambiar el modelo de ventas. Entonces resultó que estaba mal. El equipo del proyecto no dedicó suficiente tiempo a comprender los problemas o la propuesta comercial del distribuidor, lo que hizo que el análisis fuera inútil. Se aplicó un modelo incorrecto. Para determinar la pérdida de clientes en la industria de las telecomunicaciones, un banco contrató a un experto en la industria de las telecomunicaciones quien rápidamente construyó un modelo para evaluar si los clientes estaban a punto de abandonar. Para entonces, ha entrado en la etapa de evaluación y verificación final, el modelo está a punto de estar en línea y el banco también se está preparando para enviar cartas a los clientes que se consideran a punto de perderse. Sin embargo, por motivos de seguridad, se contrató a un experto interno para que evaluara el modelo. El experto bancario pronto descubrió algo sorprendente: sí, esos clientes se marchaban, pero no porque no estuvieran satisfechos con el servicio del banco. Transfieren activos (a veces en silencio) debido a problemas en las relaciones: se están preparando para el divorcio. Como puede verse, es muy difícil comprender la aplicabilidad del modelo, el grado de abstracción de datos y los matices ocultos en el modelo.

Manejo de la resistencia Si bien los datos contienen una gran cantidad de información importante, Fortune Knowledge encontró que el 62% de los líderes empresariales todavía tienden a confiar en sus instintos, y 665,438+0% de los encuestados creen que en el proceso de toma de decisiones, los líderes Los conocimientos reales tienen un valor de referencia de mayor prioridad que las conclusiones del análisis de datos. Al elegir el método de uso incorrecto, las empresas a menudo cometen dos errores: establecer un conjunto de proyectos de big data que son demasiado radicales y están fuera de su control, o intentar utilizar tecnologías de datos tradicionales para abordar los problemas de big data. En cualquier caso, es probable que el proyecto tenga problemas. Hacer las preguntas equivocadas La ciencia de datos es compleja e incluye categorías de experiencia (que requieren un conocimiento profundo de las operaciones reales en banca, comercio minorista u otras industrias, experiencia en matemáticas, estadística y habilidades de programación); Muchos científicos de datos contratados por empresas solo saben matemáticas y programación y carecen del componente de habilidades más importante: el conocimiento de industrias relacionadas. Por lo tanto, es mejor encontrar científicos de datos dentro de la empresa. La razón de la falta de las habilidades necesarias está estrechamente relacionada con "hacer las preguntas equivocadas". Muchos proyectos de big data tienen problemas o incluso fracasan porque no cuentan con las habilidades pertinentes necesarias. Los técnicos de TI suelen ser responsables de dichos proyectos y, a menudo, no formulan las preguntas correctas sobre los datos para guiar las decisiones. Conflicto con la estrategia corporativa Para que un proyecto de big data tenga éxito, debe deshacerse de la idea de tratarlo como un "proyecto" único y considerarlo verdaderamente como la forma central en que la empresa utiliza los datos. El problema es que otros departamentos pueden tener valores de prioridad u objetivos estratégicos más altos que el big data, y este conflicto a menudo nos deja impotentes. Islas de Big Data Los proveedores de Big Data siempre hablan de "lagos de datos" o "centros de datos", pero de hecho, muchas empresas solo pueden considerarse como "charcos de datos" y existen límites claros entre los charcos, como los charcos de datos de marketing y Crear datos. charcos. Lo que hay que destacar es que sólo aliviando al máximo las barreras entre los diferentes departamentos y agregando los flujos de datos de todas las partes los big data realmente podrán desempeñar su papel. Otras situaciones inesperadas ocurren fuera de la tecnología de big data. El análisis de datos es sólo un componente de un proyecto de big data; la capacidad de obtener y procesar datos es igualmente importante. Además, los factores que a menudo se pasan por alto son las limitaciones en las capacidades de transmisión de la red y la capacitación del personal. Evitación de problemas A veces podemos estar seguros o sospechar que los datos nos obligarán a tomar algunas medidas operativas que originalmente esperamos evitar en la medida de lo posible. Por ejemplo, la industria farmacéutica se resiste mucho a los mecanismos de análisis de sentimientos porque no quiere informar sobre efectos secundarios adversos a la Administración de Alimentos y Medicamentos de Estados Unidos y asumir la responsabilidad legal que ello conlleva. En esta lista de motivos, es posible que haya detectado un tema común: no importa cuánto nos centremos en los datos en sí, siempre hay un elemento humano involucrado. Incluso si nos esforzamos por obtener un control total sobre los datos, el proceso de procesamiento de big data será en última instancia administrado por personas, incluidas muchas de las decisiones iniciales, como qué datos seleccionar para la recopilación y el análisis, qué preguntas formular para las conclusiones del análisis, etcétera. Para evitar el fracaso del proyecto de big data, es necesario introducir un mecanismo iterativo. Utilice una infraestructura de datos abierta y flexible para garantizar que permita a los empleados ajustar continuamente las soluciones reales hasta que sus esfuerzos reciban la retroalimentación ideal y, en última instancia, utilizar la iteración como arma para avanzar con éxito hacia el uso eficaz de big data.