¿Cuáles son las direcciones de desarrollo profesional del aprendizaje profundo?
1. Estado actual de la tecnología de aprendizaje profundo
El aprendizaje profundo es la tecnología clave para esta ronda de explosión de la inteligencia artificial. Los avances en la tecnología de inteligencia artificial en la visión por computadora y el procesamiento del lenguaje natural han marcado el comienzo de una nueva ronda de desarrollo explosivo de la inteligencia artificial. El aprendizaje profundo es la tecnología clave para lograr estos avances. Entre ellos, la tecnología de clasificación de imágenes basada en redes convolucionales profundas ha superado la precisión del ojo humano, la tecnología de reconocimiento de voz basada en redes neuronales profundas ha alcanzado una precisión del 95% y la tecnología de traducción automática basada en redes neuronales profundas se ha acercado al humano promedio. nivel de traducción. La mejora sustancial en la precisión ha llevado la visión por computadora y el procesamiento del lenguaje natural a la etapa de industrialización, provocando el surgimiento de industrias emergentes.
El aprendizaje profundo es un arma algorítmica en la era del big data y se ha convertido en un foco de investigación en los últimos años. En comparación con los algoritmos tradicionales de aprendizaje automático, la tecnología de aprendizaje profundo tiene dos ventajas. En primer lugar, la tecnología de aprendizaje profundo puede mejorar continuamente el rendimiento a medida que aumenta el tamaño de los datos, mientras que los algoritmos tradicionales de aprendizaje automático tienen dificultades para utilizar datos masivos para mejorar continuamente el rendimiento. En segundo lugar, la tecnología de aprendizaje profundo puede extraer características directamente de los datos, lo que reduce el trabajo de diseñar extractores de características para cada problema, mientras que los algoritmos tradicionales de aprendizaje automático requieren la extracción manual de características. Por lo tanto, el aprendizaje profundo se ha convertido en una tecnología popular en la era del big data, y tanto el mundo académico como la industria han realizado una gran cantidad de investigaciones y trabajos prácticos sobre el aprendizaje profundo.
Varios modelos de aprendizaje profundo potencian plenamente las aplicaciones básicas. La red neuronal convolucional y la red neuronal recurrente son dos modelos de redes neuronales profundas ampliamente utilizados. La visión por computadora y el procesamiento del lenguaje natural son dos aplicaciones fundamentales de la inteligencia artificial. Las redes neuronales convolucionales se utilizan ampliamente en el campo de la visión por computadora y su rendimiento en tareas como clasificación de imágenes, detección de objetivos y segmentación semántica supera con creces los métodos tradicionales. Las redes neuronales recurrentes son adecuadas para resolver problemas relacionados con información de secuencia y han sido ampliamente utilizadas en el campo del procesamiento del lenguaje natural, como el reconocimiento de voz, la traducción automática, los sistemas de diálogo, etc.
La tecnología de aprendizaje profundo aún no es perfecta y necesita mejoras adicionales. En primer lugar, el modelo de red neuronal profunda es muy complejo y tiene una gran cantidad de parámetros, lo que da como resultado un tamaño de modelo grande y dificultad para implementarlo en dispositivos terminales móviles. En segundo lugar, el entrenamiento de modelos requiere una gran cantidad de datos. El costo de obtener y etiquetar muestras de datos de entrenamiento es alto y es difícil obtener muestras para algunos escenarios. En tercer lugar, el umbral de aplicación es alto, el proceso de modelado de algoritmos y ajuste de parámetros es complejo, el ciclo de diseño del algoritmo es largo y la implementación y el mantenimiento del sistema son difíciles. Cuarto, falta de capacidad de razonamiento causal. El ganador del Premio Turing, Judea Pearl, padre de las redes bayesianas, señaló que el aprendizaje profundo actual simplemente "se ajusta a las curvas". En quinto lugar, está la cuestión de la interpretabilidad. Debido a los parámetros internos y la compleja extracción y combinación de características, es difícil explicar lo que ha aprendido el modelo, pero por razones de seguridad y necesidades éticas y legales, la interpretabilidad del algoritmo es muy necesaria. Por lo tanto, el aprendizaje profundo aún necesita resolver los problemas anteriores.
2. La tendencia de desarrollo del aprendizaje profundo
Las redes neuronales profundas muestran una tendencia de desarrollo cada vez más profunda y con estructuras cada vez más complejas. Para mejorar continuamente el rendimiento de las redes neuronales profundas, la industria continúa explorando desde dos aspectos: la profundidad de la red y la estructura de la red. El número de capas de redes neuronales se ha expandido a cientos o incluso miles de capas. A medida que aumenta el número de capas de red, su efecto de aprendizaje se vuelve cada vez mejor. En 2015, ResNet propuesto por Microsoft superó por primera vez la precisión de las tareas de clasificación de imágenes con una profundidad de red de 152 capas. Constantemente se proponen nuevas estructuras de diseño de redes, lo que hace que la estructura de las redes neuronales sea cada vez más compleja. Por ejemplo, en 2014, Google propuso la estructura de red inicial, en 2015, Microsoft propuso la estructura de red residual y en 2016, Huang Gao y otros propusieron la estructura de red densamente conectada. Estos diseños de estructuras de red mejoran continuamente el rendimiento de las redes neuronales profundas.
Las funciones de los nodos de las redes neuronales profundas se enriquecen constantemente. Para superar las limitaciones de las redes neuronales actuales, la industria ha explorado y propuesto un nuevo tipo de nodo de red neuronal, haciendo que las funciones de las redes neuronales sean cada vez más abundantes.
En 2017, Jeffrey Hinton propuso el concepto de red de cápsulas, utilizando cápsulas como nodos de red, que teóricamente está más cerca del comportamiento del cerebro humano para superar limitaciones como la falta de capas espaciales y capacidades de razonamiento de las redes neuronales convolucionales. En 2018, académicos de DeepMind, Google Brain y el MIT propusieron conjuntamente el concepto de redes de gráficos y definieron una nueva clase de módulos con funciones de sesgo de inducción relacional, con el objetivo de potenciar el aprendizaje profundo con razonamiento causal.
La tecnología de aplicaciones de ingeniería de redes neuronales profundas se está profundizando. La mayoría de los modelos de redes neuronales profundas tienen cientos de millones de parámetros y ocupan cientos de megabytes de espacio. Son difíciles de implementar en dispositivos terminales con rendimiento y recursos limitados, como teléfonos inteligentes, cámaras y dispositivos portátiles. Para resolver este problema, la industria utiliza tecnología de compresión de modelos para reducir los parámetros y el tamaño del modelo y reducir la cantidad de cálculo. Los métodos de compresión de modelos utilizados actualmente incluyen la poda del modelo entrenado (como poda, reparto de peso y cuantificación, etc.) y el diseño de modelos más sofisticados (como MobileNet, etc.). El proceso de modelado de algoritmos de aprendizaje profundo y ajuste de parámetros es complejo. el umbral de aplicación es alto. Para reducir el umbral de aplicación del aprendizaje profundo, la industria ha propuesto la tecnología de aprendizaje automático (AutoML), que puede realizar el diseño automatizado de redes neuronales profundas y simplificar el proceso de uso.
El aprendizaje profundo y diversas tecnologías de aprendizaje automático continúan integrándose y desarrollándose. La tecnología de aprendizaje por refuerzo profundo, nacida de la fusión del aprendizaje profundo y el aprendizaje por refuerzo, combina la capacidad de percepción del aprendizaje profundo con la capacidad de toma de decisiones del aprendizaje por refuerzo. Supera el defecto de que el aprendizaje por refuerzo solo es adecuado para estados discretos y de baja dimensión. Puede aprender directamente de primitivas de alta dimensión. Aprender estrategias de control a partir de datos. Para reducir la cantidad de datos necesarios para el entrenamiento del modelo de red neuronal profunda, la industria introdujo la idea del aprendizaje por transferencia, dando origen así a la tecnología de aprendizaje por transferencia profunda. El aprendizaje por transferencia se refiere al proceso de aprendizaje que utiliza las similitudes entre datos, tareas o modelos para aplicar modelos aprendidos en campos antiguos a campos nuevos. Al transferir el modelo entrenado a escenarios similares, solo se necesita una pequeña cantidad de datos de entrenamiento para lograr buenos resultados.
En tercer lugar, sugerencias para el desarrollo futuro
Fortalecer la investigación sobre tecnologías de vanguardia como redes de gráficos, aprendizaje por refuerzo profundo y redes de juegos generativos. Debido a la falta de resultados de investigación originales importantes en el campo del aprendizaje profundo nacional, las contribuciones de investigación teórica básica son insuficientes. Por ejemplo, expertos estadounidenses propusieron conceptos innovadores y originales como Capsule Network y Picture Network, y la contribución de China a la investigación es insuficiente. En términos de aprendizaje por refuerzo profundo, los últimos resultados de investigación son propuestos principalmente por investigadores de empresas extranjeras como DeepMind y OpenAI. No hay resultados de investigación innovadores en China. El punto de acceso de investigación de los últimos años, Generative Network (GAN), fue propuesto por el investigador estadounidense Goodfellow. Google, Facebook, Twitter, Apple y otras empresas han propuesto varias mejoras y modelos de aplicación, que han promovido eficazmente el desarrollo de la tecnología GAN. Sin embargo, China tiene muy pocos resultados de investigación en esta área. Por lo tanto, se debe alentar a los institutos y empresas de investigación científica a fortalecer la investigación sobre tecnologías de vanguardia, como la combinación de redes neuronales profundas y modelos de inferencia causal, redes generativas adversarias y aprendizaje por refuerzo profundo, y proponer resultados de investigación más originales para mejorar la influencia. de la investigación académica mundial.
Acelerar la investigación sobre tecnologías de aplicaciones de aprendizaje profundo, como el aprendizaje automático automatizado y la compresión de modelos. Basándonos en las ventajas del mercado interno y las ventajas de crecimiento corporativo, aceleraremos la investigación sobre tecnología de aplicaciones de aprendizaje profundo de acuerdo con las necesidades de aplicaciones personalizadas con características chinas. Fortalecer la investigación sobre aprendizaje automático de máquinas, compresión de modelos y otras tecnologías para acelerar la aplicación de ingeniería del aprendizaje profundo. Fortalecer la investigación de aplicaciones del aprendizaje profundo en el campo de la visión por computadora y mejorar aún más la precisión de las tareas visuales, como el reconocimiento de objetivos y el rendimiento en escenarios de aplicaciones prácticas. Fortalecer la investigación de aplicaciones del aprendizaje profundo en el campo del procesamiento del lenguaje natural, proponer modelos algorítmicos con mejor rendimiento y mejorar el rendimiento de aplicaciones como la traducción automática y los sistemas de diálogo.
Fuente: Oficial de Inteligencia Industrial
Fin
Para obtener más contenido interesante, visite el sitio web oficial.
Selecciones anteriores▼
1.2018-2019 ¡Se publica la lista de las 100 principales innovaciones de la industria de inteligencia artificial de China!
2. ¡Se publica la lista de las 20 principales instituciones de inversión en la industria de inteligencia artificial de China en 2018-2019!
3.2018-2019 ¡Se publica la lista de las 100 principales innovaciones de la industria de Big Data de China!
4. ¡Se publica la lista de las 20 principales instituciones de inversión en la industria de big data de China en 2018-2019!
5.2018-2019 ¡Se publica la lista de las 100 principales innovaciones de la industria de Internet de las cosas de China!
6. ¡Se publica la lista de las 20 principales instituciones de inversión en la industria 5G e IoT de China en 2018-2019!
7.2018-2019 ¡Se publica la lista de las 100 industrias de circuitos integrados más innovadoras de China!
8. ¡Se publica la lista de las 20 principales instituciones de inversión en la industria de circuitos integrados de China en 2018-2019!
9. ¡Se publica la lista de las 100 empresas más innovadoras en la industria de servicios de China en 2018-2019!
10. ¡La lista de las 20 principales instituciones de inversión en la industria de servicios empresariales de China se publicó en Yinlu.com 2018-2019!