Profundidad de las patentes|Análisis de patentes del procesamiento del lenguaje natural
En los últimos años, los gigantes tecnológicos y las startups han invertido sucesivamente recursos y costes en la exploración de la comercialización. Sin embargo, a excepción del habla y la traducción automática, el procesamiento del lenguaje natural no ha logrado grandes avances en muchos aspectos. Por ejemplo, el reconocimiento de oraciones incluye principalmente identificar verbos, sustantivos y adjetivos en una oración. Estas son tareas muy simples y básicas. Pero de 2009 a 2017, su precisión aumentó en menos del 1% y su precisión actual es solo del 57%. Si bien el procesamiento del lenguaje natural se ha convertido en una subindustria popular de la inteligencia artificial, la tecnología en sí tiene mucho espacio para crecer y aún se encuentra en sus primeras etapas.
Con base en esto, el Grupo de Investigación de Tecnología Clave de Inteligencia Artificial del Proyecto de Promoción y Popularización del Análisis de Patentes de la Oficina Estatal de Propiedad Intelectual llevó a cabo un análisis en profundidad de la industria del procesamiento del lenguaje natural basado en tecnologías especiales y generales. Tecnologías, centrándose en la ruta de desarrollo de tecnología de patentes y solicitantes importantes, como referencia de la industria.
El aprendizaje profundo impulsa el rápido crecimiento de las solicitudes de patentes de procesamiento del lenguaje natural.
Tendencias de solicitudes de patentes de procesamiento del lenguaje natural y caminos de evolución de la tecnología
La tecnología de procesamiento del lenguaje natural comenzó alrededor de 1970 y continuó hasta 1985, con un máximo de no más de 30 solicitudes por año.
Después de 1985, con el desarrollo de la tecnología de redes y la tecnología informática, los corpus ricos se hicieron realidad, el hardware se actualizó y mejoró constantemente, la tendencia del procesamiento del lenguaje natural pasó del racionalismo al empirismo y los métodos basados en estadísticas reemplazó gradualmente el enfoque basado en reglas. El número de solicitudes comenzó a crecer rápidamente y, en el año 2000, el número de solicitudes por año llegó a 780. Jarinik y sus IBM Watson Labs son clave para impulsar este cambio. Utilizaron métodos basados en estadísticas para aumentar la tasa de reconocimiento de voz del 70% al 90%. En esta etapa, los métodos de procesamiento del lenguaje natural basados en modelos matemáticos y estadísticos han logrado avances sustanciales, pasando del laboratorio a las aplicaciones prácticas.
Desde 2008 hasta el presente, inspirados por los logros en el reconocimiento de imágenes, el reconocimiento de voz y otros campos, la gente ha comenzado gradualmente a introducir el aprendizaje profundo en la investigación del procesamiento del lenguaje natural. Desde los vectores de palabras iniciales hasta word2vec en 2013, la combinación de aprendizaje profundo y procesamiento del lenguaje natural ha alcanzado un clímax, logrando ciertos éxitos en campos como la traducción automática, los sistemas de preguntas y respuestas y la comprensión lectora. El número anual de solicitudes aumentó de 1.258 en 2008. El aprendizaje profundo es una red neuronal multicapa que comienza desde la capa de entrada y obtiene la salida a través de cambios no lineales capa por capa. Realiza un entrenamiento de un extremo a otro desde la entrada hasta la salida. Prepare datos para pares de entrada y salida, diseñe y entrene una red neuronal y luego realice la tarea deseada. RNN siempre ha sido uno de los métodos más utilizados para la enfermería en lenguaje natural, y modelos como GRU y LSTM han provocado oleadas de locura. Debido a esto, desde 2009, las solicitudes de patentes relacionadas con el procesamiento del lenguaje natural han marcado el comienzo de una nueva ronda de crecimiento.
China y Estados Unidos son los países más competitivos en este campo
Desde la perspectiva de los países emisores, China y Estados Unidos son los países con mayor número de patentes en este campo. campo y son las principales reservas tecnológicas del país y del país de origen.
Tendencias de solicitudes de patentes en China y Estados Unidos
En este campo, a juzgar por las tendencias de solicitudes en China y Estados Unidos, el número de solicitudes de patentes en ambos países ha mostrado un Tendencia de crecimiento constante, lo que indica que los dos países otorgan una importancia relativamente grande a la investigación y el desarrollo y las reservas de patentes de la tecnología de procesamiento del lenguaje natural. En términos generales, aunque existía una cierta brecha entre China y Estados Unidos en los primeros días, luego de una acumulación de largo plazo, China superó a Estados Unidos en 2012 y se convirtió en el país con mayor número de solicitudes de patentes en el mundo, alcanzando 526. solicitudes/año; y luego la brecha se amplió aún más. En 201668, China alcanzó 1668, el doble que Estados Unidos (856). China ha superado a Estados Unidos para convertirse en el país con el mayor número de solicitudes anuales del mundo y es probable que se convierta en el país con las mayores reservas de patentes del mundo en los próximos años.
Baidu se sitúa entre los diez primeros del mundo.
Es necesario fortalecer las reservas de patentes de mi país para entidades innovadoras.
Ranking global de solicitudes de patentes por parte de los principales solicitantes
En el ranking de los principales solicitantes globales, IBM tiene una gran ventaja en el número de solicitudes y pertenece al primer grupo en comparación con IBM; , Microsoft El número de aplicaciones es inferior a 400, que es 4/5 de IBM, y pertenece al segundo campo, NTT Communications, que ocupa el tercer lugar, está a menos de 300 piezas de Foxconn, que ocupa el décimo lugar, y pertenece a. el tercer campamento. En China, Baidu ocupa el octavo lugar con 457 aplicaciones; Foxconn en la provincia china de Taiwán también se encuentra entre las diez mejores del mundo. Es necesario fortalecer las reservas de patentes de las entidades innovadoras de mi país.
La aceleración de la iteración tecnológica ha promovido el rápido desarrollo de la tecnología de procesamiento del lenguaje natural.
(1) El aprendizaje profundo promueve el rápido desarrollo de la tecnología de etiquetado de partes del discurso.
El etiquetado de parte de la oración consiste en agregar una etiqueta de parte de la oración a cada palabra en lenguaje natural. El etiquetado correcto de una parte del discurso es un paso básico en el procesamiento del lenguaje natural. Un juicio incorrecto sobre una parte del discurso puede llevar a una mala comprensión de la oración completa.
La ruta de desarrollo de la tecnología de etiquetado de partes de la oración
Desde la perspectiva de la ruta del desarrollo tecnológico, hubo muy pocas solicitudes de patente para el etiquetado de partes de la oración antes de 1980. Durante el período de 1980 a 1990, apareció el método de etiquetado de partes del discurso basado en reglas, que fue un método anterior propuesto por la gente.
La idea básica de la anotación basada en reglas es establecer un conjunto de reglas de anotación y hacer que el conjunto de reglas de anotación sea lo más preciso posible, y luego usar el conjunto de reglas de anotación para anotar el corpus que se va a anotar para obtener resultados de anotación correctos. La desventaja del etiquetado de partes del discurso basado en reglas es que es demasiado específico, difícil de actualizar y de ajustar en función de datos reales, por lo que no es lo suficientemente bueno para el uso real.
Después de 1990, se desarrolló la tecnología de etiquetado de partes del discurso basada en estadísticas y se aplicaron modelos como Markov oculto y campos aleatorios condicionales al etiquetado de partes del discurso. Todo el conocimiento se adquiere automáticamente mediante el entrenamiento de parámetros del corpus, logrando una buena consistencia y una alta cobertura. Por lo tanto, los métodos de etiquetado de partes del discurso basados en estadísticas se utilizan ampliamente. Sin embargo, los métodos basados en estadística también tienen inconvenientes y limitaciones. Por ejemplo, al establecer los parámetros del modelo, se requiere una gran cantidad de corpus de entrenamiento y la selección del corpus de entrenamiento afectará la precisión.
Dado que tanto los métodos basados en reglas como los métodos basados en estadísticas no pueden manejar algunos problemas satisfactoriamente, algunas personas han propuesto un método de etiquetado de parte del discurso basado en una combinación de reglas y estadísticas, que combina principalmente diccionarios y modelos estadísticos. Este método combinado de etiquetado de parte del discurso compensa en gran medida el impacto de un solo método en los resultados del etiquetado, aprovechando al máximo las ventajas de los métodos basados en reglas y los métodos basados en estadísticas. De hecho, la combinación de los dos enfoques es una combinación de racionalismo y empirismo.
En los últimos años, también se han aplicado métodos basados en inteligencia artificial al etiquetado de partes del discurso. En comparación con los tres primeros métodos, este método tiene las ventajas de una gran adaptabilidad y alta precisión. Los solicitantes de China han realizado muchas investigaciones en esta área, su tecnología es explosiva y han logrado una serie de resultados de investigación.
(2) El aprendizaje no supervisado es la principal dirección de desarrollo de la semántica a nivel de palabras, y las entidades innovadoras están ingresando a un ritmo acelerado con diferentes diseños.
El objetivo del análisis semántico es lograr un análisis semántico automático de varias unidades del lenguaje (incluidas palabras, oraciones y capítulos) mediante el establecimiento de modelos y sistemas efectivos, para comprender la verdadera semántica de todo el texto. El foco del análisis semántico léxico es cómo obtener o distinguir el significado semántico de las palabras.
Ruta de desarrollo de tecnología de patentes para el análisis semántico a nivel de palabras
Existen muchos métodos de análisis semántico a nivel de palabras. Desde una perspectiva de desarrollo, la semántica de diccionarios, las estructuras gramaticales, los diccionarios bilingües y el algoritmo de Yarowsky ya no generan nuevas solicitudes de patentes relevantes e importantes en el análisis semántico basado en diccionarios. Hay muy pocas solicitudes de patentes importantes basadas en ejemplos y modelos estadísticos; debido al desarrollo de la tecnología de extracción de palabras clave, las tecnologías relacionadas basadas en diccionarios semánticos todavía produjeron patentes clave relevantes en 2017, que serán uno de los focos de desarrollo futuro. Al mismo tiempo, basado en el aprendizaje no supervisado, impulsado por big data, algoritmos y tecnología de chips, se convertirá en la principal dirección de desarrollo en el futuro porque no requiere un corpus especializado y es altamente escalable.
Análisis de importantes palabras de aplicación semántica en China
A partir de 2065438 y agosto de 2008, entre los solicitantes chinos, hay 6 solicitantes con más de 3 solicitudes de patente, incluida la Universidad Tecnológica de Qilu. primero, seguida por la Universidad de Ciencia y Tecnología de Kunming, Baidu, Tencent, Fujitsu e IBM. En cuanto a los solicitantes extranjeros en China, IBM comenzó a presentar solicitudes de patentes para la desambiguación basadas en diccionarios duales en 1999, y posteriormente presentó solicitudes de patente basadas en acrónimos contextuales y bolsas de palabras en 20114. Fujitsu presentó su primera solicitud de patente basada en tecnología de desambiguación bilingüe en 2012, seguida de solicitudes de patente basadas en probabilidad de combinación y reducción de palabras en 2012 y 2016, respectivamente. La Universidad de Ciencia y Tecnología de Kunming presentó una solicitud de patente para una tecnología de desambiguación basada en un método bayesiano de información mejorado en 2008. Las solicitudes de patente relevantes de Tencent se centran en la utilización de la popularidad de palabras, contenido basado en texto, diccionarios básicos de palabras y diccionarios de frases, etc., y también presentó una solicitud de patente relacionada con la construcción de diccionarios. Baidu presentó su primera solicitud de patente en 2012, investigando direcciones que incluyen; la construcción de diccionarios multigranularidad, el uso de la selección de usuarios, la búsqueda basada en resolución de palabras ambiguas, etc. En 2018, Baidu presentó una solicitud de patente para el análisis semántico a nivel de palabras basado en redes neuronales no supervisadas.
Al principio, institutos de investigación y empresas como la Universidad de Tsinghua, la Universidad de Pekín, el Instituto de Acústica de la Academia de Ciencias de China, el Instituto de Tecnología de Harbin, NEC (China) y Google solicitaron patentes en China. Con el desarrollo de la tecnología y el énfasis en temas innovadores, la Universidad de Correos y Telecomunicaciones de Nanjing, la Universidad Normal del Este de China, Foxconn, la Universidad Jiao Tong de Shanghai, etc., también han realizado investigaciones en campos relacionados. Después de 2014, la Universidad de Suzhou, la Universidad de Nanjing, la Universidad Sun Yat-sen y otras universidades también se unieron a la investigación y el desarrollo de la desambiguación a nivel de palabras.
Vale la pena señalar que, aunque los solicitantes chinos han participado en investigaciones de desambiguación a nivel de palabras en varios períodos, con la excepción de la Universidad de Ciencia y Tecnología de Kunming, la mayoría de los primeros solicitantes chinos fuertes no han seguido presentando Aplicar las patentes pertinentes. En el caso de la desambiguación no supervisada, que lidera el desarrollo de la tecnología de desambiguación a nivel de palabras, solo Baidu ha presentado solicitudes de patente relevantes.
(3) Las redes neuronales son el foco del desarrollo de la traducción automática. IBM ha acumulado mucho y Baidu está acelerando para ponerse al día.
En las décadas de 1940 y 1950, las tecnologías relacionadas con la traducción automática se encontraban en la etapa de investigación teórica. La invención de las computadoras y la investigación sobre la teoría de la información sentaron las bases teóricas de la traducción automática. Durante este período no se presentaron solicitudes de patentes relevantes.
El desarrollo de la industria y la tecnología de los sistemas de traducción automática
Desde la década de 1960, ha entrado la era de los sistemas de traducción automática basados en reglas.
Las patentes relacionadas comenzaron a aparecer esporádicamente. IBM, como pionera en el campo de la informática, jugó un papel muy importante durante este período y acumuló una gran cantidad de patentes básicas sobre sistemas formales de traducción automática. Además, las universidades y las instituciones gubernamentales de investigación fueron una parte importante de este período. Los productos de traducción automática como el sistema Systran nacieron en laboratorios universitarios y sobrevivieron y se desarrollaron gracias a la cooperación en proyectos gubernamentales.
De 1980 a 1990, los sistemas de traducción automática maduraron gradualmente y entraron en el mercado. Durante este período, el número de solicitudes de patentes comenzó a dispararse, principalmente de empresas. Pero desde el siglo XXI, las ventajas de las empresas de Internet en este campo se han hecho evidentes. Con la enorme acumulación de corpus y algoritmos de Internet, empresas de Internet como Google, Microsoft y Baidu han superado a empresas establecidas como IBM y Toshiba. Especialmente con la revolución tecnológica provocada por el aprendizaje profundo en los últimos años, la importancia de los recursos de datos ha aumentado. se ha reducido considerablemente. En los últimos años, las tecnologías revolucionarias provienen de innovaciones en los marcos de algoritmos del sistema.
Mirando hacia el futuro
Aunque Estados Unidos y Japón acumularon mucho en el campo del procesamiento del lenguaje natural en los primeros días, China ha acelerado su recuperación en los últimos años. China se ha convertido en el país con el mayor número de solicitudes de patentes del mundo y sus reservas de patentes ocupan el segundo lugar en el mundo. La competencia futura se llevará a cabo principalmente en China y Estados Unidos. Al mismo tiempo, la combinación de redes neuronales artificiales y procesamiento del lenguaje natural ha promovido el rápido desarrollo de tecnologías generales como el análisis léxico, el análisis sintáctico, el análisis semántico, los modelos lingüísticos y la tecnología de gráficos de conocimiento, así como la traducción automática acelerada, el resumen automático, Respuesta automática a preguntas, análisis de sentimiento, etc. Implementación de tecnología especializada. Incrementar la investigación y el desarrollo de tecnología de procesamiento del lenguaje natural basada en redes neuronales ayudará a China y a los innovadores nacionales a superar y aprovechar el terreno elevado de la inteligencia artificial.
Yin Qiliang Ye Shengluoqiang|Oficina Estatal de Propiedad Intelectual Proyecto de Popularización y Análisis de Patentes Grupo de Investigación de Tecnología Clave de Inteligencia Artificial