Análisis de registros de seguridad de la información basado en auditoría de big data
Método de análisis de auditoría de registros de seguridad de información de big data
1.
La principal característica y desafío del proceso de recopilación de big data es la alta concurrencia. Por lo tanto, cuando la cantidad de datos recopilados es grande, el rendimiento de recepción de la plataforma de análisis también enfrentará mayores desafíos. La plataforma de auditoría de big data puede utilizar tecnología de recopilación de big data para recopilar todo tipo de datos de manera unificada y utilizar ciertos algoritmos de compresión y cifrado para controlar el ancho de banda y al mismo tiempo garantizar la privacidad e integridad de los datos del usuario.
2. Preprocesamiento de datos.
Para analizar eficazmente los datos masivos recopilados en un entorno de big data, es necesario clasificar varios tipos de datos, estandarizarlos de acuerdo con ciertos estándares y realizar una limpieza y preprocesamiento simples de los datos. Para el preprocesamiento de datos masivos, la plataforma de auditoría de big data adopta una nueva arquitectura técnica, utilizando un marco informático distribuido basado en clústeres de big data, combinado con un complejo proceso de procesamiento de eventos basado en clústeres de big data como motor de análisis de reglas en tiempo real. para que pueda ejecutar múltiples procesos de manera eficiente en paralelo y pueda detectar eventos anormales en tiempo real.
3. Estadísticas y análisis.
Según la naturaleza en tiempo real del análisis de datos, se puede dividir en análisis de datos en tiempo real y análisis de datos fuera de línea. Storm es un marco informático distribuido que se utiliza para el preprocesamiento de datos en plataformas de big data. Es muy adecuado para el cálculo estadístico en tiempo real de datos masivos y puede retroalimentar rápidamente los resultados estadísticos. Storm Framework utiliza un proceso de procesamiento de eventos estricto y eficiente para garantizar la precisión de los datos durante la operación y proporciona una variedad de interfaces estadísticas en tiempo real para su uso.
4. Minería de datos.
La minería de datos consiste en extraer información y descubrir conocimientos sin supuestos claros, por lo que la información que se obtiene tiene tres características: incógnita, validez y practicidad. A diferencia del proceso tradicional de análisis y estadísticas, la minería de datos en el entorno de big data generalmente no tiene un tema preestablecido. Se basa principalmente en varios algoritmos para calcular los datos existentes para lograr efectos de predicción y realizar aún más algunas necesidades de análisis de datos de alto nivel. .
Solución de registro de seguridad de la información en análisis de big data
La plataforma unificada de auditoría de registros y análisis de big data de seguridad puede analizar en tiempo real el equipo de seguridad, el equipo de red, los registros y las alarmas de los hosts. los sistemas operativos, los sistemas de bases de datos y los sistemas comerciales de los usuarios se recopilan continuamente en el centro de gestión para lograr una auditoría de seguridad integral de toda la red; al mismo tiempo, con la ayuda de análisis de big data y tecnología de minería, se detectan diversos comportamientos y anomalías de la red; descubierto a través de varios escenarios modelo Acceso del usuario y comportamiento de operación.
1. Arquitectura de la plataforma del sistema.
Tomemos como ejemplo un sistema nacional de análisis de seguridad de big data. Su arquitectura incluye una plataforma de recopilación de big data, un sistema de percepción de amenazas desconocido, un sistema informático distribuido en tiempo real (Storm) y un motor de procesamiento de eventos complejo. (Sper) y Plataforma Hadoop, sistema de archivos distribuido (HDFS), base de datos de columnas distribuidas (Hbase), marco de computación paralela distribuida (Map/Reduce, Spark), almacén de datos (Hive), texto completo distribuido. Estas tecnologías pueden satisfacer las necesidades de los usuarios en materia de recopilación, procesamiento, análisis, extracción y almacenamiento de eventos masivos.
Como se muestra en la Figura 1, el sistema puede realizar análisis estandarizados sobre diferentes tipos de información recopilada en tiempo real y presentarla visualmente en tiempo real a través de una interfaz de consola unificada, lo que ayuda a los administradores de seguridad a identificar eventos de seguridad de manera rápida y precisa. y mejorar su eficiencia.
2. Implementar funciones.
Las funciones que el sistema puede implementar incluyen: el alcance de la auditoría cubre todos los equipos de red, equipos de seguridad, servidores, bases de datos, middleware y sistemas de aplicaciones en el entorno de red, cubriendo decenas de miles de elementos en más de 200 Registro de dispositivos y aplicaciones, admite rápidamente la auditoría de registros del sistema empresarial del usuario; el sistema recopila todos los registros de seguridad e información de alarmas dentro de las empresas y organizaciones, y ayuda a los usuarios a identificar con precisión y rapidez los incidentes de seguridad a través de motores de análisis de correlación de registros inteligentes y estandarizados. Proporcionar a los usuarios un entorno de red seguro a través de eventos de seguridad del sistema y acciones de respuesta de seguridad oportunas para reconstruir la secuencia de eventos sospechosos durante un período de tiempo y ayudar a los analistas de seguridad a encontrar rápidamente la fuente a través de varias rutas de análisis de registros de objetos de auditoría distribuidas; el almacenamiento se admite principalmente a través del sistema de archivos distribuido (HDFS).
3. Escenarios de aplicación.
El sistema anterior puede resolver el análisis de correlación de registros y las funciones de posicionamiento inteligente que no se pueden lograr mediante la auditoría de registros tradicional. Por ejemplo, en el sistema de red de una empresa, los dispositivos de red, dispositivos de seguridad, servidores, etc. ampliamente distribuidos generarán una gran cantidad de registros en tiempo real. , por lo que es muy difícil extraer la información deseada de él, y también será una gran dificultad juzgar las fallas del dispositivo a partir de la correlación entre dispositivos. Por ejemplo, una empresa localiza un dispositivo y lo correlaciona con mensajes de registro de los dispositivos circundantes conectados directamente para determinar si el dispositivo es anormal o defectuoso.
Por ejemplo, para uno de los conmutadores principales SW1, si todos los dispositivos conectados directamente a él informan registros de interfaz inactivos uno tras otro, el SW1 del dispositivo puede ubicarse como un dispositivo defectuoso y se debe dar una respuesta oportuna. Sin embargo, es difícil localizar fallos mediante alarmas asociadas de dispositivos periféricos utilizando datos tradicionales. La plataforma de auditoría de big data es la mejor solución.
Los métodos de análisis de big data pueden utilizar tecnologías como el análisis de asociación de entidades, el análisis geoespacial y el análisis estadístico de datos para analizar la relación entre entidades y utilizar información estructurada y no estructurada relevante para detectar actividades ilegales. Para cantidades masivas de información almacenadas centralmente, los auditores pueden utilizar herramientas de análisis histórico para la extracción, investigación y recopilación de evidencia en profundidad, y la preservación de evidencia.