APRÈN. Portal de la producció docent del professorat de la UPC

When creating a story, there is a valuable world-building process to be engaged with. This project presents the development of a Procedural Content Generator to aid in this process. This is done with the use of quantized LLM model, hosted in a local computer (with limited capacity), as an inference engine of our structure, based on Knowledge-Based Systems (KBS). We also make use of an ontology to represent the various elements of a story, and act as the permanence and knowledge of our KBS. The Procedural Content Generator obtained starts from an initial ontology, which represents a story in some point of it's course. From there it starts a looping structure in which the program has the ability to choose a sub-pipeline, which are the means through which the program expands on the story. It keeps adding content onto the ontology until the program considers that it sufficiently expanded the original ontology, after which it stops the execution. To achieve results gotten, we first made a series of experiments with the LLM to see the capacities and limitations of the model. This experiments include tasks of categorization in personalized simple categories and contextual content generation in relation to one or two pre-existing elements of a story, in between others. This document presents both the experiments done with the LLM to achieve useful results and the finally designed pipeline that would be developed.

L'adopció d'algorismes basats en Intel·ligència Artificial (IA) ha augmentat ràpida\-ment durant els darrers anys. Tanmateix, alguns aspectes d'aquestes tècniques estan sota un escrutini intens. Per exemple, en molts casos, no és clar si les seves decisions estan ben fonamentades ni tampoc si hi podem confiar. Tenir una resposta a aquestes preocupacions és crucial en molts dominis, com aquells en què els humans i els agents intel·ligents han de cooperar en un entorn compartit. En aquest article us presentem una aplicació d'un mètode d'explicabilitat basat en la creació d'un Policy Graph. Aquest graf es construeix fent servir predicats discrets que representen i expliquen el comportament d'un agent entrenat en un entorn cooperatiu amb múltiples agents. També presentem un mètode per mesurar la semblança entre les explicacions obtingudes i el comportament de l'agent. Aquest mètode consisteix a construir un nou agent amb una política basada en el PG, per després poder comparar el seu comportament amb el de l'agent original.

El modelado basado en agentes es una de las formas más apropiadas para simular y analizar problemas y simulaciones complejas, como la simulación de entornos y escenarios sociales. El tipo de plataforma que más se utiliza en estas tareas es la de un sistema multiagente. Los sistemas multiagente se componen de varios actores (agentes) en un entorno de simulación concreto, y cada uno de ellos posee un conocimiento y un comportamiento individual. Estos sistemas pueden utilizarse para analizar el comportamiento emergente colectivo en contextos como la sociología, la economía, la elaboración de políticas sociales y económicas, etc. Las plataformas multiagente actuales o bien escalan bastante bien en computación pero implementan mecanismos de razonamiento muy simples, o bien emplean sistemas de razonamiento complejos a costa de escalabilidad. En un trabajo reciente realizado en la UPC, se ha propuesto, teorizado e implementado una plataforma que permite escalar y ejecutar paralelamente agentes complejos con planificación HTN. Este proyecto amplía dicha plataforma para permitir un mejor análisis de las relaciones sociales entre los agentes mediante las preferencias sobre sus objetivos, las preferencias sobre sus planes, sus acciones y valores morales, a la vez que nos aseguramos de que nuestras adiciones sean escalables, para mantener el espíritu y el propósito de la plataforma. En este trabajo, partimos del trabajo previo realizado por Dmitry Gnatyshak sobre la implementación de dicha plataforma, y lo ampliamos, tanto formalmente como a nivel de implementación. Formalizamos las ampliaciones del modelo del sistema, así como sus modificaciones, y hacemos lo mismo con la implementación. Al final, proporcionamos un complejo escenario de ejemplo para mostrar todas las ampliaciones que hemos creado y/o añadido.

Rocket League es un popular juego en el que los jugadores pueden competir entre sí o contra bots. Sin embargo, desde un punto de vista competitivo, todavía hay espacio para mejorar la calidad de las capacidades de los bots. Es posible desarrollar, utilizando el aprendizaje por refuerzo, un bot competitivo de Rocket League capaz de competir contra jugadores humanos y otros bots tradicionales. El objetivo de este proyecto es tanto hacer un estudio teórico de los fundamentos del aprendizaje por refuerzo como una solución práctica para un problema real: la necesidad de mejores bots de Rocket League. La parte teórica recorrerá problemas de toma de decisiones, para luego explicar los principales métodos de aprendizaje por refuerzo diseñados para resolverlos. En primer lugar, se mostrarán métodos sencillos, capaces de resolver pequeños problemas. Estos problemas simples apenas existen en la vida real, por lo que estos métodos sirven como base teórica y como fundamento para métodos más complejos necesarios para resolver problemas reales. Finalmente, estos métodos más complejos serán presentados y analizados. Para la parte práctica, el objetivo es desarrollar un bot para Rocket League mediante aprendizaje por refuerzo, capaz de competir contra jugadores humanos con experiencia en el juego y mejorar el rendimiento de los bots que vienen con el juego. En primer lugar, se mostrará una breve descripción de los conceptos a tener en cuenta a la hora de desarrollar una solución de aprendizaje por refuerzo. Luego, se presentará la implementación de la solución, brindando a los lectores una guía sobre cómo desarrollar sus propios proyectos de aprendizaje por refuerzo. Además, también se describe la planificación del proyecto, mostrando tanto los recursos humanos como materiales, y cómo se distribuyen en el tiempo. La planificación incluye un presupuesto basado en esos recursos. Este texto tiene como objetivo ayudar a los lectores a comprender mejor los conceptos básicos del aprendizaje por refuerzo, tanto en la teoría como en la práctica, para que se animen a comenzar sus propios proyectos.

La inteligencia artificial es una de las áreas de la computación que se encuentra actualmente en auge, este trabajo se encuentra bajo el marco del aprendizaje por refuerzo. El aprendizaje por refuerzo se centra en la resolución de problemas conocidos como escenarios mediante la creación de modelos de inteligencia artificial llamados agentes. Los objetivos de esto es maximizar el valor que nos retorna una función que una vez el agente ha realizado una acción en el escenario. Generalmente todos estos agentes han sido creados mediante el uso de redes neuronales. Al tener entrenada una red neuronal, desde fuera puede parecer como una caja negra ya que no sabemos porqué o cómo está solucionando el problema debido a su complejidad. La explicabilidad son un conjunto técnicas que se encargan de arrojar luz a esta caja intentando así dar explicaciones del porqué de su funcionamiento. En este trabajo se aplican este tipo de técnicas en el videojuego ViZDoom, en el cual se encuentran escenarios complejos de resolver.

La popularidad de los métodos explicativos está aumentando en el contexto de la Inteligencia Artificial y consiste en dar explicaciones inteligibles a modelos complejos. Recientemente, en el contexto del Aprendizaje Reforzado (RL) han aparecido muchos trabajos teóricos que intentan explicar el comportamiento de agentes entrenados, con predicados y usando representaciones del comportamiento observado en forma de grafo MDP. Nosotros aplicaremos este método a un entorno de RL y crearemos una política que intentará demostrar su correcto funcionamiento.