¿Cuál es la tendencia de desarrollo de las redes neuronales?
1 Antecedentes de las redes neuronales artificiales
Desde la antigüedad, el misterio sobre el origen de la inteligencia humana ha atraído el entusiasmo investigador de innumerables filósofos y científicos naturales. Después de incansables esfuerzos a largo plazo, los biólogos y neurocientíficos creen que las actividades inteligentes del cerebro humano son inseparables de la base material del cerebro, incluida su estructura física y diversos efectos biológicos, químicos y eléctricos, y así establecieron la teoría de las redes neuronales y teoría de la estructura del sistema nervioso, mientras que la teoría de las neuronas es la base de la teoría de la conducción nerviosa y la teoría de la función cerebral. Sobre la base de estas teorías, los científicos creen que podemos estudiar las actividades intelectuales y los fenómenos cognitivos humanos imitando la estructura y función del sistema nervioso del cerebro humano. Por otro lado, antes del siglo XIX, ya fueran las matemáticas clásicas representadas por la geometría y el cálculo euclidianos, o la física clásica representada por la mecánica newtoniana, generalmente eran ciencias lineales. Sin embargo, el mundo objetivo es tan complejo que se pueden ver situaciones no lineales en todas partes, especialmente en el sistema nervioso del cerebro humano. La complejidad y la no linealidad están conectadas, por lo que el estudio de la ciencia no lineal es también la clave para nuestra comprensión de los sistemas complejos. Para comprender mejor el mundo objetivo, debemos aprender ciencia no lineal. Como modelo de red no lineal similar a la inteligencia cerebral, las redes neuronales artificiales surgieron en un momento histórico. Por tanto, el establecimiento de redes neuronales artificiales no es casual, sino producto del pleno desarrollo de la ciencia y la tecnología a principios del siglo XX.
2. Desarrollo de redes neuronales artificiales
La investigación sobre redes neuronales artificiales se inició a principios de los años 40. Durante el último medio siglo, ha experimentado un largo y tortuoso camino de ascensos, altibajos, altibajos y desarrollo constante.
En 1943, el psicólogo W.S. McCulloch y el lógico matemático W. Pitts propusieron el modelo M-P, que fue el primer modelo en utilizar lenguaje matemático para describir el proceso de procesamiento de información del cerebro. Aunque la función de las neuronas es débil, proporciona una base para futuros trabajos de investigación. En 1949, el psicólogo D.O. Hebb propuso la hipótesis de que las conexiones sinápticas son variables. Las reglas de aprendizaje propuestas en base a esta hipótesis sentaron las bases para el algoritmo de aprendizaje de las redes neuronales. En 1957, el científico informático Rosenblatt propuso el famoso modelo de perceptrón, que incluía algunos principios de las computadoras modernas y fue la primera red neuronal artificial completa. Fue la primera vez que la investigación de redes neuronales se llevó a cabo en ingeniería. Debido a que puede usarse en reconocimiento de patrones, memoria asociativa, etc., en ese momento se invirtieron cientos de laboratorios en esta investigación. El ejército estadounidense incluso cree que el proyecto de red neuronal debería ser más importante que el "proyecto de bomba atómica", ha otorgado enormes fondos y ha logrado ciertos resultados en campos como el reconocimiento de señales de sonar. En 1960, B. Windrow y E. Hoff propusieron elementos lineales adaptativos, que pueden utilizarse para filtrado, predicción y reconocimiento de patrones adaptativos. En este punto, el trabajo de investigación sobre redes neuronales artificiales ha alcanzado su primer clímax.
En 1969, los famosos estudiosos estadounidenses de inteligencia artificial M.Minsky y S.Papert escribieron el libro "Perceptron", que fue muy influyente y demostró teóricamente que el perceptrón de una sola capa tiene capacidades limitadas, como por ejemplo. Al no poder resolver el problema XOR, especulan que las redes multicapa solo tienen una capacidad de perceptrón limitada. Su análisis fue como un recipiente con agua fría. Muchos estudiosos sintieron que su futuro era sombrío y cambiaron de carrera, y los laboratorios que habían participado en la investigación también se retiraron uno tras otro. Casi 65.438 después.
Durante este período, el erudito finlandés T. Kohonen propuso la teoría del mapeo autoorganizado, que reflejaba las características autoorganizadas de las células nerviosas del cerebro, los métodos de memoria y las reglas de excitación y estimulación de las células nerviosas desarrolladas; el académico estadounidense S.A. Grossberg; el académico japonés K. Fukushima propuso un modelo de máquina cognitiva; Shun Ichimari se dedicó a la investigación de la teoría matemática de las redes neuronales, que tuvo una importante influencia en el desarrollo futuro de las redes neuronales.
El biofísico estadounidense J.J. Hopfield publicó dos artículos en las Actas de la Academia Nacional de Ciencias en 1982 y 1984, que promovieron efectivamente la investigación de redes neuronales y provocaron otro auge en la investigación de redes neuronales. En 1982, propuso un nuevo modelo de red neuronal: el modelo de red Hopfield. En el estudio de este modelo de red, introdujo por primera vez el concepto de función de energía de la red y proporcionó la base para juzgar la estabilidad de la red. En 1984, propuso un circuito electrónico implementado utilizando un modelo de red, que marcó el camino para la implementación de ingeniería de redes neuronales. Los resultados de su investigación han abierto nuevas formas para que las redes neuronales optimicen el cálculo de la memoria asociativa y sentaron las bases para la investigación de las computadoras neuronales. Hinton et al. introdujeron el algoritmo de recocido simulado en redes neuronales en 1984 y propusieron el modelo de red de máquinas de Boltzmann. El algoritmo de red BM proporciona un método eficaz para los cálculos de optimización de redes neuronales. En 1986, D.E. Rumelhart y J.LMcclelland propusieron la retropropagación de errores, que se ha convertido en un método de aprendizaje en red muy influyente. En 1987, el experto estadounidense en informática neuronal R. Hecht-Nielsen propuso la red neuronal de retropropagación, que tiene las ventajas de una clasificación flexible y un algoritmo simple, y puede usarse en campos como la clasificación de patrones, la aproximación de funciones, el análisis estadístico y los datos. compresión. L.Ochua et al. propusieron el modelo de red neuronal celular en 1988, que ha sido ampliamente utilizado en el procesamiento visual primario.
Para adaptarse al desarrollo de las redes neuronales artificiales, la Sociedad Internacional de Redes Neuronales se estableció en 1987 y decidió celebrar conferencias académicas internacionales sobre redes neuronales con regularidad. 1988 65438 Octubre Se establece la red neuronal. Neural Networks 1990 IEEE Transactions se publica en marzo. China celebró su primera conferencia académica sobre redes neuronales en Beijing en febrero de 1990 y decidió celebrarla todos los años. En 1991, se estableció en Nanjing la Sociedad China de Redes Neuronales. IJCNN92, organizado conjuntamente por IEEE e INNS, se celebró en Beijing. Estos han promovido la investigación y el desarrollo de redes neuronales, y las redes neuronales artificiales han entrado en un período de desarrollo estable.
A principios de la década de 1990, el premio Nobel Edelman propuso el modelo darwinista y estableció la teoría del sistema de redes neuronales. Ese mismo año, basándose en derivaciones y experimentos anteriores, Aihara y otros propusieron el modelo de neurona caótica, que se ha convertido en un modelo clásico de red neuronal caótica y puede usarse para la memoria asociativa. Wunsch propuso AnnualMeeting en la reunión anual de 90OSA, que utiliza fotoelectricidad para realizar ART El proceso de aprendizaje tiene funciones de razonamiento y filtrado adaptativo, y tiene las características de un aprendizaje rápido y estable. En 1991, Hertz discutió la teoría de la computación neuronal, que fue de gran importancia para el análisis de la complejidad computacional de las redes neuronales. Inoue et al. propusieron utilizar osciladores caóticos acoplados como neuronas para construir un modelo de red neuronal caótica, señalando la dirección de sus amplias perspectivas de aplicación. En 1992, Holland propuso un algoritmo genético para resolver problemas complejos de optimización simulando la evolución biológica. En 1993, Fang Jianan y otros utilizaron algoritmos genéticos para estudiar los controladores de redes neuronales y lograron algunos resultados. En 1994, Angeline et al. propusieron un algoritmo evolutivo para establecer una red neuronal de retroalimentación basada en la teoría de la estrategia evolutiva anterior y lo aplicaron con éxito al reconocimiento de patrones, control automático, etc. Liao estableció nuevas teorías y métodos matemáticos para redes neuronales celulares y logró una serie de resultados. HayashlY propuso una red neuronal oscilatoria basada en el fenómeno de oscilación en el cerebro de los animales.
1995 Mitra combinó redes neuronales artificiales con la teoría de la lógica difusa, la teoría de las células biológicas y la teoría de la probabilidad para proponer redes neuronales difusas, logrando un gran avance en la investigación de las redes neuronales. Jenkins et al. estudiaron redes neuronales ópticas y establecieron una interconexión paralela bidimensional y una red neuronal óptica electrónica, que puede evitar que la red caiga en mínimos locales y, en última instancia, alcanzar o acercarse a la solución ideal. SoleRV y otros propusieron una red neuronal fluida para estudiar la sociedad de los insectos y el sistema inmunológico colectivo de los robots, inspirando a la gente a utilizar la teoría del caos para analizar grandes sistemas sociales. En 1996, ShuaiJW’ et al. simularon el comportamiento de autodesarrollo del cerebro humano y propusieron una red neuronal de autodesarrollo basada en la discusión de redes neuronales caóticas. En 1997 y 1998, Dong Cong creó y mejoró el algoritmo genético generalizado, que resolvió el problema de construcción topológica más simple y el problema de aproximación óptima global de redes directas multicapa.
Con el desarrollo del trabajo teórico, la investigación de aplicaciones de redes neuronales también ha logrado grandes avances, involucrando una amplia gama de campos técnicos, incluida la visión por computadora, el reconocimiento, la comprensión y la síntesis del lenguaje, el cálculo de optimización y el control inteligente. y análisis de sistemas complejos, reconocimiento de patrones, desarrollo de computadoras neuronales, sistemas expertos de razonamiento del conocimiento e inteligencia artificial, etc. Las disciplinas involucradas incluyen neurofisiología, ciencias cognitivas, ciencias matemáticas, psicología, ciencias de la información, informática, microelectrónica, óptica, dinámica, bioelectrónica, etc. Estados Unidos, Japón y otros países también han logrado logros notables en el desarrollo de hardware y software para computadoras de redes neuronales y han ido formando productos gradualmente. En Estados Unidos, la industria de las computadoras neuronales ha recibido un fuerte apoyo del ejército. La Agencia de Proyectos de Investigación Avanzada de Defensa cree que "las redes neuronales son la única esperanza para resolver la inteligencia artificial" y ha invertido 400 millones de dólares sólo en un proyecto de computadora neuronal de ocho años de duración. Entre los proyectos europeos de ESPRIT se encuentra un proyecto especial: "Aplicación de redes neuronales en la industria europea". Sólo la producción de chips específicos para redes neuronales costó 22 millones de dólares. Los datos estadounidenses muestran que la inversión de Japón en investigación de redes neuronales es aproximadamente cuatro veces mayor que la de Estados Unidos. China no se queda atrás. Desde la aprobación de tres proyectos, incluido el ordenador neuronal óptico de la Universidad de Nankai en 1990, la Fundación Nacional de Ciencias Naturales y el Fondo de Preinvestigación de la Defensa Nacional también han proporcionado apoyo financiero para la investigación de redes neuronales. Además, muchas empresas de renombre internacional también participan en la investigación de redes neuronales, como Intel, IBM, Siemens y HNC. Los productos informáticos neuronales han comenzado a entrar en la etapa comercial y son seleccionados por los departamentos de defensa nacional, empresas e investigación científica. En la mundialmente famosa Guerra del Golfo, la Fuerza Aérea de los EE. UU. utilizó redes neuronales para la toma de decisiones y el control. Bajo este estímulo y demanda, las redes neuronales artificiales seguramente lograrán nuevos avances y marcarán el comienzo de otro clímax. Desde el nacimiento de la primera red neuronal en 1958, sus logros teóricos y de aplicación son numerosos. Las redes neuronales artificiales son una nueva disciplina en rápido desarrollo, con nuevos modelos, nuevas teorías y nuevos resultados de aplicaciones surgiendo uno tras otro.
3 Perspectivas de desarrollo de las redes neuronales artificiales
En vista de los problemas existentes y las necesidades sociales de las redes neuronales, las principales direcciones de desarrollo futuro se pueden dividir en dos aspectos: investigación teórica y aplicada. investigación.
(1) Utilice la neurofisiología y la ciencia cognitiva para estudiar el mecanismo y la teoría del cálculo del pensamiento y la inteligencia del cerebro, y utilice problemas para estudiar teorías.
Las redes neuronales artificiales proporcionan una forma razonable de revelar la inteligencia y comprender el modo de funcionamiento del cerebro humano. Sin embargo, debido a la comprensión limitada del sistema nervioso al principio, la comprensión de la estructura del cerebro humano y su mecanismo de actividad es todavía superficial y tiene una cierta "prioridad". Por ejemplo, la máquina de Boltzmann introduce perturbaciones aleatorias para evitar mínimos locales, lo que tiene sus ventajas. Sin embargo, carece de la base fisiológica cerebral necesaria. No hay duda de que la mejora y el desarrollo de las redes neuronales artificiales deben combinarse con la investigación en neurociencia. Además, algunas cuestiones importantes planteadas por la neurociencia, la psicología y las ciencias cognitivas son nuevos desafíos para la investigación de la teoría de las redes neuronales. La solución de estas cuestiones ayudará a la mejora y el desarrollo de la teoría de las redes neuronales. Por lo tanto, si se producen nuevos avances, el uso de la neurofisiología y las ciencias cognitivas para estudiar los mecanismos del pensamiento cerebral y la inteligencia cambiará la comprensión de la relación entre la inteligencia y las máquinas.
Con la profundización de la investigación teórica, los problemas se resuelven gradualmente, especialmente después de la implementación de la ingeniería, como el éxito del reconocimiento de sonar, que marcó el comienzo del primer clímax del desarrollo de las redes neuronales. Sin embargo, Minisky cree que los perceptrones no pueden resolver el problema XOR, y los perceptrones multicapa también pueden hacerlo. La investigación sobre redes neuronales ha entrado en un punto muerto, principalmente porque el problema no lineal no se ha resuelto. Con el continuo enriquecimiento de la teoría y la profundización de la práctica, se ha demostrado que la visión pesimista de Miniski es errónea. Hoy en día, con la ciencia y la tecnología altamente desarrolladas, los problemas no lineales se revelan gradualmente como la esencia del mundo objetivo. La interacción de problemas, teoría y práctica marcó el comienzo del segundo clímax de las redes neuronales artificiales. El problema actual de las redes neuronales artificiales es que el nivel de inteligencia no es alto y existen otros problemas teóricos y de implementación, lo que obliga a las personas a continuar con la investigación teórica y la práctica, y promueve el desarrollo continuo de las redes neuronales. En resumen, las causas anteriores encuentran nuevos fenómenos con diferentes explicaciones, lo que lleva a las personas a proponer causas más generales y precisas para explicar. La teoría es la base y la práctica es la fuerza impulsora. Sin embargo, la teoría y la práctica por sí solas no pueden promover el desarrollo de redes neuronales artificiales. Es necesario plantear preguntas para atraer a los científicos a ámbitos de investigación específicos y guiarlos para que participen en investigaciones relevantes para acercarse a los descubrimientos científicos. Luego, la práctica plantea nuevas preguntas, y las nuevas preguntas desencadenan nuevas ideas, lo que lleva a los científicos a pensar y mejorar constantemente sus teorías. El desarrollo de redes neuronales artificiales encarna la unidad dialéctica de problemas, teoría y práctica.
(3) Otra fuerza impulsora para el desarrollo de redes neuronales artificiales proviene de las contribuciones de disciplinas relacionadas y la competencia y colaboración de expertos de diferentes disciplinas.
Las redes neuronales artificiales en sí mismas son un tema marginal. Su desarrollo tiene una base científica más amplia y es el producto integral de muchos resultados de investigaciones científicas. Wiener, el fundador de la cibernética, estudió las neuronas del cerebro humano en su obra maestra "Cibernética". El informático Turing propuso la idea de B-net. Prigogine propuso la teoría de la autoorganización de los sistemas desequilibrados y ganó el Premio Nobel. Haken estudia los efectos macroscópicos producidos por la acción conjunta de una gran cantidad de elementos. La propuesta e investigación sobre el estado "caótico" de los sistemas no lineales gira en torno a cómo construir sistemas complejos a través de la interacción entre elementos, similares a los autoorganizados. comportamiento de los sistemas biológicos. Los avances en las ciencias del cerebro y la neurociencia se reflejaron rápidamente en la investigación de las redes neuronales artificiales, como la teoría de las redes neuronales biológicas, el principio de inhibición lateral que se encuentra en la visión y el concepto de campos receptivos, que desempeñaron un papel importante en la promoción del desarrollo de redes neuronales. Se han propuesto cientos de modelos de redes neuronales artificiales, que involucran muchas disciplinas y una variedad vertiginosa de aplicaciones. Expertos de diferentes disciplinas compiten en distintos grados para alcanzar el nivel líder en el campo, lo que ha impulsado fuertemente el desarrollo de redes neuronales artificiales. El cerebro humano es un sistema de información con funciones muy poderosas y una estructura extremadamente compleja. Con el desarrollo de la teoría de la información, la cibernética, las ciencias biológicas y la informática, la gente se sorprende cada vez más por la magia del cerebro. Al menos hasta ahora, el mecanismo de procesamiento de señales del cerebro humano sigue siendo una caja negra para los humanos. Descubrir los misterios del cerebro humano requerirá los esfuerzos combinados de neurocientíficos, psicólogos, informáticos, microelectrónicos, matemáticos y otros expertos. Además, los filósofos también deben participar. A través de la profunda integración de la filosofía y las ciencias naturales, se pueden desarrollar gradualmente nuevos métodos de exploración de la naturaleza y las leyes del pensamiento humano, de modo que la ciencia del pensamiento pueda pasar de la oscuridad a la racionalidad. Además, la competencia y la coordinación entre expertos en diferentes campos conducen a aclarar los problemas y encontrar las mejores soluciones. A lo largo de la historia del desarrollo de las redes neuronales, sin las contribuciones de disciplinas relacionadas y sin la competencia y cooperación de expertos de diferentes disciplinas, las redes neuronales no serían lo que son hoy. Por supuesto, la investigación de la aplicación de redes neuronales artificiales en diversas disciplinas a su vez ha promovido el desarrollo de otras disciplinas y ha promovido su propia mejora y desarrollo.