La inteligencia artificial de Sony derrotó a los mejores jugadores humanos y apareció en la portada de Nature.
La inteligencia artificial de Sony vence a los mejores concursantes humanos en la portada de Nature. Sony presentó una tecnología de inteligencia artificial desarrollada por su división de IA y también se convirtió en el "tema de portada" de la revista Nature de esta semana. La inteligencia artificial de Sony derrota a los mejores jugadores humanos y aparece en la portada de Nature.
La inteligencia artificial de Sony derrotó a los mejores jugadores humanos y apareció en la portada de "Nature" con 1. ¿Aún recuerdas las importantes novedades sobre IA anunciadas por Sony hace unos días? Recientemente, Sony anunció oficialmente que sus investigadores han desarrollado un programa de conducción de IA llamado "GT Sophy" que puede derrotar a los mejores conductores humanos y ganar el campeonato.
Se informa que Sony utilizó un método heterogéneo llamado aprendizaje por refuerzo para entrenar a "GT Sophy". Su esencia es continuar con la prueba y el error, lanzar la IA a un entorno sin instrucciones y obtener recompensas cuando alcance la meta.
Los investigadores de Sony dijeron que tuvieron que diseñar cuidadosamente las recompensas, como ajustar las penalizaciones por colisión y ajustar las prioridades de varios objetivos, para garantizar que el estilo de conducción de la IA fuera lo suficientemente agresivo y no solo intimidara a los oponentes en la carretera.
Con la ayuda del aprendizaje por refuerzo, la IA solo necesita unas pocas horas de entrenamiento para adaptarse a las carreras en la pista. Y en uno o dos días, los datos de entrenamiento son más rápidos que los del 95% de los conductores. Después de un total de 45.000 horas de entrenamiento, la IA ha logrado resultados sorprendentes en el juego GT Racing de Sony PS5, y derrotar a los mejores conductores humanos ya no es un problema.
Sony probó con IA a tres de los mejores pilotos de deportes electrónicos y ninguno de ellos pudo vencer a la IA en la contrarreloj. Y también aprendieron nuevas tácticas de la competencia de IA, aprendieron la ruta de la IA y dominaron mejores oportunidades de giro.
Sony actualmente dice que está trabajando para integrar GT Sophy en futuros juegos de carreras GT, pero no proporcionó ningún cronograma específico.
En combinación con varias noticias anteriores sobre la fabricación de automóviles de Sony, esta IA también podría usarse en la tecnología de conducción autónoma de automóviles del mundo real, y las perspectivas son muy optimistas.
La inteligencia artificial de Sony derrotó a los mejores jugadores humanos y apareció en la portada de Nature. 2 "Buscamos la inteligencia artificial para, en última instancia, comprender mejor a los humanos".
Al ser uno de los pocos juegos de carreras realistas de esta generación, es posible que los jugadores de "GT Motorsport" nunca hayan pensado que el juego algún día aparecerá en la portada de Nature, la revista científica más importante del mundo.
Ayer, Sony anunció una tecnología de inteligencia artificial desarrollada por su departamento de IA. También se convirtió en el "personaje de portada" de la revista "Nature" de esta semana, y este logro de inteligencia artificial se logró en GT Beat de clase mundial. Jugadores de juegos de carreras en deportes de motor.
Portada del número 7896 de Nautre
En otras palabras, la palabra "conquistar" es más apropiada. En la demostración de Sony de un enfrentamiento entre cuatro conductores de IA y cuatro jugadores de carreras profesionales, el mejor tiempo de vuelta del campeón de IA fue más de 2 segundos más rápido que el del mejor entre los humanos. Para una pista de 3,5 millas, esta ventaja es como si AlphaGo conquistara Go.
Durante los últimos cinco años de desarrollo, la IA, desarrollada conjuntamente por la división de IA de Sony, SIE y PDI Studios (los desarrolladores de Gran Turismo), ha logrado este objetivo.
Sony llamó a este AI GT Sophy. "Sophie" es un nombre común derivado del griego σ ο φ α, que significa "conocimiento y sabiduría".
¿Cuál es la diferencia entre Sophy y la IA general del juego?
No es raro que la IA derrote a los humanos en los juegos. Después de un "entrenamiento de meditación" en miles de juegos de DOTA2, OpenAI derrotó al entonces campeón de Ti8, OG. AlphaStar de Google también mostró una tendencia aplastante cuando se enfrentó a los mejores jugadores profesionales de StarCraft 2. Cada uno de nosotros, los jugadores comunes, también probamos el dolor de la "locura por la computadora".
En 2019, OpenAI una vez derrotó a OG bajo la restricción de permitir solo algunas selecciones de héroes.
Pero estas "derrotas" son diferentes. Para entender lo que significa Sophy impulsada por IA de GTS, primero debemos entender la diferencia entre Sophy y su simple "IA que no puedes ejecutar".
Para la IA en juegos de carreras anteriores, aunque la forma de presentación es un "agente" no controlado por el jugador, el controlador de IA en el sentido tradicional suele ser solo un conjunto de guiones de comportamiento preestablecidos y no tiene Inteligencia real.
El diseño de dificultad de la IA tradicional generalmente se implementa de una manera "inapropiada". Por ejemplo, en los juegos de carreras, el sistema debilitará o incluso eliminará la simulación física de los coches de IA tanto como sea posible, de modo que los parámetros ambientales que los coches de IA deben manejar sean mucho más simples que los de los jugadores.
Crea enemigos con IA que sean más difíciles de derrotar, al igual que la IA en los juegos de estrategia en tiempo real roba la violencia económica haciendo trampas en secreto, permitiendo que el coche con IA acelere silenciosamente sin que nadie se dé cuenta.
Entonces, para los jugadores con un cierto nivel, la IA tradicional en los juegos de carreras casi no tiene referencia en la lógica de comportamiento y la selección de estrategias, y mucho menos en los jugadores de juegos de carreras profesionales.
Sophy, al igual que AlphaGo, se fortalece gradualmente en el proceso de simular el comportamiento humano a través de algoritmos de aprendizaje profundo: aprender a conducir, adaptarse a las reglas y derrotar a los oponentes.
Este tipo de IA brinda a los jugadores la experiencia de ser derrotados en una competencia justa. Después de ser derrotada por Sophy, un conductor humano dio esta evaluación: "(Sophy) es ciertamente rápida, pero siento que esta IA está un poco más allá del alcance de una máquina... Parece tener una naturaleza humana y hace lo que un humano hace. los jugadores tienen un comportamiento que nunca antes se había visto”.
Esto recuerda a AlphaGo, que reescribió la comprensión humana del Go.
En comparación con un juego altamente abstracto y con información transparente como Go, los juegos electrónicos con más dimensiones de juego y mayor complejidad computacional difícilmente pueden garantizar una "competencia justa" después de agregar el concepto de IA de aprendizaje profundo.
Por ejemplo, la batalla de AlphaStar en StarCraft 2 en 2019 básicamente no produjo ninguna idea táctica nueva. Simplemente aprendió infinitamente las tácticas de los jugadores humanos y luego ganó mediante operaciones precisas de múltiples líneas, a pesar del APM de AlphaStar. está limitado artificialmente y la alta eficiencia de la IA sin operaciones no válidas no se puede comparar con la de los humanos.
Por eso, en el registro del duelo entre AlphaStar y jugadores profesionales humanos, cuando la IA derrotó al fantasma MaNa con su inmortal actuación de "caza flash de tres líneas" en Polonia, los poco convencidos MaNa fue entrevistada después del juego. Zhong dijo que "esta situación es imposible que suceda en un juego humano del mismo nivel".
AlphaStar utiliza la "relación de restricción inversa" del cazador para luchar contra el ejército de no-muertos de MaNa.
Del mismo modo, "GT Racing" es un juego de simulación de carreras con la misma complejidad que "StarCraft 2".
A los ojos de los jugadores de carreras profesionales, los elementos más básicos de la carrera, la ruta, la velocidad y la dirección, se pueden descomponer en innumerables reacciones y sensaciones diminutas, como el peso del vehículo, el deslizamiento de los neumáticos y la retroalimentación de la sensación de la carretera... Cada vez que giras en una curva, puede haber una excelente apertura del acelerador, y sólo los mejores conductores pueden sentir la sensación de "control".
En cierto sentido, estos "límites de control" pueden, por supuesto, explicarse mediante la física. El rango que la IA puede controlar es obviamente mayor que el de los humanos. Por lo tanto, la velocidad de reacción de Sophy está limitada al nivel equivalente de los humanos. Sony ha establecido tiempos de reacción de 100 milisegundos, 200 milisegundos y 250 milisegundos respectivamente, mientras que los atletas humanos pueden alcanzar 150 milisegundos para responder a estímulos específicos después de practicar.
No hay duda de que esta es una batalla más justa que AlphaStar.
¿Qué aprendió Sophie?
Como muchos de los predecesores de IA de Sophy, utiliza algoritmos de aprendizaje profundo, como redes neuronales, para entrenar las habilidades de conducción.
Los diferentes comportamientos de Sophy en el entorno de entrenamiento serán recompensados o castigados: viajar a alta velocidad es algo bueno y, en consecuencia, adelantar es mejor, golpear una pared al salirse de los límites o tomar una curva es "malo"; comportamiento", y la IA obtendrá retroalimentación negativa.
En una matriz compuesta por miles de PS4 conectadas en serie, Sophy experimentó innumerables entrenamientos de conducción simulada, durante los cuales actualizó sus conocimientos sobre las carreras GT. A Sophy le tomó unas horas pasar de ser un "bebé" que no podía conducir a conducir en la pista; uno o dos días después, comenzando por los carriles básicos "interiores y exteriores", Sophy había aprendido casi todas las habilidades comunes de carrera. superando el 95% de los jugadores humanos.
El "campo de entrenamiento" proporcionado por el departamento de inteligencia artificial de Sony para Sophie
Sin embargo, las carreras no son un juego de una sola persona.
Incluso si Sophy pudo superar a los mejores corredores humanos en una contrarreloj sin otros autos en julio pasado, en un verdadero juego multijugador Sophy todavía necesita aprender a jugar contra oponentes y comprender la lógica de las acciones de otros conductores.
Así que los investigadores del departamento de IA de Sony hicieron más “entrenamiento” para Sophy, como por ejemplo cómo saltar en la fila y adelantar, y cómo quedarse atascado cuando se enfrenta a otros autos. Con el tiempo, Sophie incluso fue "educada" para comprender y respetar la etiqueta de las carreras; por ejemplo, abandonar el automóvil como un automóvil más lento y evitar colisiones bruscas y maliciosas.
En los juegos de carreras, incluso si el coche de IA intenta evitar el contacto con el jugador, la implementación es simplemente una evasión antinatural. La "comprensión del juego" presentada por Sophy está más allá del alcance de la IA de carreras tradicional que se basa en guiones.
Para el 10 de junio, Sophie podría derrotar a los mejores jugadores humanos en competiciones oficiales.
Los cuatro conductores humanos invitados por Sony incluyen al ganador de la Triple Corona del Campeonato GT, Miyamoto Takuma.
Por ejemplo, el primer juego de Dragon Path. Como líder de una escuela de manejo en carreras GT, todos los jugadores de GTS deben estar familiarizados con esta pista (así como con el "Hamilton Challenge" en el DLC). Después de decenas de miles de horas de entrenamiento, el piloto número uno de Sophy ha podido mantener el primer puesto en la mejor ruta.
En el segundo día de competición, en la competición entre cuatro Sophys y cuatro conductores humanos, la ventaja de la IA se amplió aún más, casi aplastando a los mejores jugadores humanos.
Si fuéramos un poco mejores que los humanos en la selección y el juicio de rutas, podría no ser gran cosa acumular ventajas de velocidad de vuelta a través de curvas más estables.
Sin embargo, los investigadores creen que Sophy apenas utilizó su ventaja absoluta en los tiempos de vuelta para alejarse de sus oponentes (es decir, la IA es la parte más fuerte del "poder duro" no humano), pero Hizo un gran trabajo en la comprensión del juego. También supera a los jugadores humanos, como predecir la ruta del oponente.
En el caso citado en el artículo de Nature, dos conductores humanos intentaron interferir en la ruta preferida de dos Sophies a través de bloqueos legales. Sin embargo, Sophy encontró con éxito dos trayectorias diferentes para lograr el adelantamiento, lo que puso fin a la estrategia de bloqueo humano. Sophy incluso pudo idear una forma eficaz de interrumpir la intención de adelantamiento del vehículo que iba detrás.
Sophie también ha demostrado ser capaz de completar una maniobra clásica de alto nivel en el circuito simulado de Sault (también conocido como circuito de Le Mans): salir rápidamente por la parte trasera del coche de delante, aumentando el impacto sobre la resistencia del coche de delante y luego superar al oponente.
Lo que sorprendió aún más a los investigadores fue que Sophy también inventó una lógica de comportamiento poco convencional, que sonaba como si AlphaGo estuviera usando un nuevo estereotipo. Por lo general, a los conductores de carreras se les enseña a ir "lento y rápido" en las curvas, con la carga sólo en las dos ruedas delanteras. Pero Sophie no necesariamente haría eso. Frena selectivamente durante las curvas, poniendo la carga también en una de las ruedas traseras.
En realidad, sólo los mejores pilotos de F1, como Hamilton y Verstappen, intentan utilizar esta técnica de entrar y salir rápidamente de tres neumáticos, pero Sophie aprendió completamente en el mundo del juego.
Después de perder la batalla con la IA, el tres veces campeón de GT dijo: "Sophy tomó algunas líneas de carrera en las que un conductor humano ni siquiera pensaría... Creo que muchas habilidades de conducción son libros de texto". será reescrito."
"Para comprender mejor a los humanos"
A diferencia de los reproductores de IA avanzados que aparecieron en videojuegos anteriores (como AlphaStar), la investigación de Sophy obviamente tiene un alcance más amplio. , significado práctico más directo.
J. Christian Gerdes, profesor de la Universidad de Stanford que participó en la redacción de este artículo en la revista "Nature", señaló que el éxito de Sophy demuestra que el papel de las redes neuronales en el software de conducción autónoma puede ser mayor. que incluso más grande ahora. En el futuro, esta IA basada en GT Racing proporcionará más ayuda en el campo de la conducción autónoma.
El director ejecutivo de la división de IA de Sony, Hiroshi Kitano, también dijo en un comunicado que esta investigación de IA traerá más oportunidades nuevas para la investigación y el desarrollo de robots de alta velocidad y tecnología de conducción autónoma.
Introducción al sitio web oficial del proyecto Sophy
Sin embargo, si volvemos a centrarnos en el coche de carreras GT en sí, la aparición de Sophy también es de gran importancia para los jugadores masivos y los conductores profesionales.
Como se mencionó anteriormente en el artículo, en la mayoría de los juegos de carreras de la vida real del mercado, la "IA tradicional" ya es algo que no puede brindar ninguna diversión a los jugadores. Este tipo de confrontación hombre-máquina basada en condiciones injustas es contraria a la experiencia de conducción que los desarrolladores de juegos de carreras esperan brindar a los jugadores, y los jugadores humanos no pueden aprender ninguna lección de ello.
En el documental publicado por el departamento de IA de Sony, el "padre de GT Racing", Kazunori Yamauchi, dijo que desarrollar una IA incomparable puede ser un gran logro técnico, pero para los jugadores comunes probablemente no sea directamente divertido.
Como resultado, Yamauchi prometió que en algún momento en el futuro, Sony incorporará a Sophy a GT Racing 7, que se lanzó en marzo. Cuando Sophy pueda comprender mejor el entorno y las condiciones en el campo y juzgar el nivel de otros pilotos, una IA tan inteligente y elegante podrá brindar a los jugadores una felicidad más real al competir contra humanos.
A medida que los juegos de carreras virtuales se convierten gradualmente en "pequeños círculos", muchos fabricantes no pueden afrontar la experiencia introductoria de jugadores nuevos. Quizás la existencia de un profesor de IA tenga la oportunidad de aportar más diversión a la conducción virtual en el mundo virtual, tal como el título del vídeo promocional de GT Racing 4 dice "experimenta la vida del coche".
Esto puede ser lo más importante que una IA basada en un juego puede aportar al jugador; como comentó Kazunori Yamauchi sobre el proyecto Sophy: "No estamos creando inteligencia artificial para derrotar a los humanos; buscamos la inteligencia artificial". se trata, en última instancia, de comprender mejor a los humanos”.
La inteligencia artificial de Sony venció a los principales concursantes humanos para aparecer en la portada de “Nature 3”, según un informe de Reuters en Londres el 9 de febrero, Sony dijo el miércoles que Creó un agente de inteligencia artificial (IA) llamado GT Sophie que puede vencer a los mejores conductores del mundo en GT Racing, un juego de carreras de simulación en la plataforma PlayStation.
Para preparar a GT Sophie para el juego, las diferentes divisiones de Sony proporcionaron investigación básica en inteligencia artificial, simuladores de carreras ultrarrealistas del mundo real y la infraestructura necesaria para el entrenamiento en inteligencia artificial a gran escala.
El informe afirma que en julio del año pasado, la inteligencia artificial compitió con los cuatro mejores pilotos de carreras GT por primera vez. Aprendió de esta carrera y venció a un conductor humano en otra carrera ese año.
Pasamos unas 20 consolas PlayStation funcionando. Nos llevó de 10 a 12 días entrenar a 'GT Sophie' desde cero para alcanzar un nivel sobrehumano."
El informe señala que aunque la inteligencia artificial ha derrotado a los humanos en juegos de ajedrez, mahjong y Go, Sony dice que la dificultad para dominar la conducción de autos de carrera es que muchas decisiones deben tomarse en tiempo real.
Se informa que Microsoft, el competidor de Sony, gastó recientemente casi 69 mil millones de dólares para adquirir Activision Blizzard. Microsoft ha estado utilizando juegos para mejorar la inteligencia artificial al ofrecer constantemente nuevos desafíos para los modelos de IA.
Según se informa, "GT Racing" es un videojuego de simulación de carreras que salió en 1997 y ha vendido más de 80 millones de unidades.
Sony espera aplicar lo aprendido a otros juegos de PlayStation. "Hay muchos juegos que pueden plantear diferentes desafíos a la inteligencia artificial y esperamos comenzar a resolver estos problemas", dijo la compañía.