Aprèn - Mohammadreza Javadiha

Actualment, la realitat virtual és una tecnologia molt més barata del que ho solia ser en el passat. Això ha permès que s'estengui a moltes àrees de les nostres vides quotidianes, i en el món de l'esport els entrenadors virtuals ja no són ciència-ficció. Tot i així, moltes eines de les que existeixen actualment només busquen avaluar la tècnica de l'usuari, i ignoren completament l'estratègia del joc. L'objectiu d'aquest projecte és el desenvolupament d'una eina que valori les respostes de l'usuari des d'un punt de vista exclusivament tàctic en pàdel. Basant-me en un partit de dobles masculins professional, he implementat amb Unity i Open XR una aplicació capaç de recrear situacions de joc que motivin una decisió estratègica. L'usuari és posicionat a la pista en el lloc d'un dels jugadors, i ha de respondre a un cop de l'oponent. Posteriorment, la seva resposta és avaluada d'acord amb les posicions dels enemics i la trajectòria escollida, i també s'ofereix la possibilitat de visualitzar la resposta professional.

Currently, virtual reality is a much more affordable technology than it used to be in the past. This has allowed its expansion to many areas of our daily lives, and in the world of sports, virtual coaches are no longer science-fiction. However, many existing tools only seek to evaluate the user's technique and completely ignore game strategy. The aim of this project is to develop a tool that assesses the user's responses from an exclusively tactical point of view in padel. Based on a professional men's doubles match, I have implemented an application using Unity and Open XR capable of recreating game situations that encourage strategic decision-making. The user is positioned on the court in the place of one of the players and must respond to an opponent's shot. Subsequently, their response is evaluated according to the positions of the opponents and the chosen path, and there is also the possibility of visualizing the professional response.

Entrenamiento de agentes virtuales para el aprendizaje de políticas óptimas de los jugadores durante un partido de pádel

Treball Final de Grau

Ji Qiu, Jia Long

Tutor/a - Director/a: Andújar Gran, Carlos Antonio; Javadiha, Mohammadreza

Data de publicació: 2024

Facultat d'Informàtica de Barcelona (FIB)

Veure detall Accés al text complet

En videojuegos o simuladores, una de las tareas más laboriosas suele ser la atribución de inteligencia a personajes no jugables, especialmente cuando se trata de entornos con un grado elevado de complejidad. En este trabajo de fin de grado se exploran alternativas a la programación tradicional para simular el comportamiento humano en entidades virtuales. En particular, se estudian diversas técnicas de aprendizaje por refuerzo y por imitación para entrenar agentes que, con un conocimiento básico de un entorno de pádel, aprendan a tomar decisiones óptimas en cuanto a posición en la pista, desplazamientos, y acción técnica a realizar. A lo largo de este proyecto, se han estudiado conceptos clave de los métodos de aprendizaje por refuerzo sin modelo, desde métodos basados en el valor como Q-learning, hasta métodos basados en la política como REINFORCE, con la finalidad de entender la base teórica que hay detrás de algunos algoritmos del estado del arte. Estos algoritmos se han utilizado para entrenar agentes en un entorno de aprendizaje personalizado basado en el pádel implementado en Unity, utilizando el Unity ML-Agents Toolkit. Durante los experimentos, se obtuvieron resultados muy interesantes tras el entrenamiento de agentes mediante el algoritmo de Proximal Policy Optimization, en los que los agentes eran capaces de tomar decisiones muy naturales en diversos escenarios.

In video games or simulators, one of the most laborious tasks is usually the attribution of intelligence to non-playable characters, especially when dealing with environments with a high degree of complexity. This bachelor's degree final project explores alternatives to traditional programming to simulate human behavior in those characters. In particular, various reinforcement and imitation learning techniques are studied in order to train agents who, with a basic knowledge of the padel environment, will eventually learn to make optimal decisions regarding position on the court, movements, and technical action to be performed. Throughout this project, many key concepts of model-free reinforced learning methods have been studied, from value-based methods like Q-learning to policy-based methods such as REINFORCE, in order to understand the underlying theory behind some of the state-of-the-art algorithms. These algorithms have then been used to train agents in a customized padel-based learning environment implemented in Unity, using the Unity ML-Agents Toolkit. During the experiments, many positive results were obtained after training agents using Proximal Policy Optimization, where agents were able to make human-like decisions on different scenarios.