APRÈN. Portal de la producció docent del professorat de la UPC

The development and deployment of emerging cellular networks, like the now-established 5G and the forthcoming 6G, entails the optimization of multiple resources for their correct functioning. This optimization process poses a challenge akin to solving a multi-objective optimization problem, where some goals may conflict with one another. This master's thesis suggests employing multi-objective reinforcement learning (MORL) methods to address the challenge of simultaneously optimizing energy efficiency (EE) and spectral efficiency (SE) in such networks. To test this hypothesis, a simulation environment for an ultra-dense network (UDN) is developed, alongside a MORL agent based on deep Q networks (DQN) with a linearization of the reward vector. For validation of the proposed solution's effectiveness, the results are compared against those achieved by traditional resource allocation methods in scenarios of both zero interference and full interference

It is widely known that the number of devices simultaneously connected to the same network is growing at an unstoppable speed. In order to guarantee these users ultra-reliable and low-latency communications, efficiently managing interference is crucial. Blind Interference Alignment has emerged as an interference management approach that is able to eliminate interference by solely knowing the channel coefficient patterns, without requiring global channel state information. Furthermore, BIA improves the sum-capacity of many network topologies, attaining DoF of $MK/(M+K-1)$ with the use of reconfigurable antennas. However, many existing BIA strategies rely on the unrealistic assumption of long enough coherence time ($T$). In this work, the limiting power of $T$ is studied, and P-BIA is presented as a BIA strategy that is able to achieve the same large DoF as previous schemes while drastically reducing the required coherence time. Finally, an overlook of P-BIA's potential role and feasibility in future generations of communication is provided.

La predicció de l'energia eòlica juga un paper crucial en l'optimització del rendiment i l'eficiència dels parcs eòlics. Els models tradicionals d'aprenentatge automàtic i estadístics per a la predicció de l'energia eòlica depenen en gran mesura de les observacions històriques d'energia i meteorològiques dels parcs eòlics. No obstant això, un repte pendent en aquest camp és fer prediccions precises quan no hi ha observacions disponibles. Aquest treball de final de grau descriu la feina realitzada per a Whiffle, una empresa de predicció meteorològica reconeguda pel seu sistema de predicció d'energia eòlica d'última generació. El sistema de predicció d'energia eòlica de Whiffle destaca pel seu model meteorològic únic i d'alta resolució. L'objectiu d'aquest projecte és augmentar els serveis existents de Whiffle mitjançant la integració de tècniques de predicció sense dades, especialment en situacions en què les dades d'observació no estan disponibles. La recerca se centra en dos reptes principals: l'absència d'observacions del món real i les arxius de dades que falten i que són rellevants per a les prediccions de producció d'energia de Whiffle. Per superar el repte de la falta d'observacions del món real, s'aprofita la capacitat única de Whiffle per construir conjunts de dades d'observació virtuals. Aquest enfocament innovador permet generar observacions sintètiques que s'assemblen estretament a les dades del món real, permetent l'entrenament de models de predicció fins i tot en absència d'observacions reals. Mitjançant una experimentació i validació extenses, es demostra l'eficàcia i la fiabilitat de les tècniques de predicció sense dades. El rendiment dels models s'avalua utilitzant dos indicadors: l'Error Percentual Mitjà Absolut (MAPE, per les seves sigles en anglès) i l'Error Quadràtic Mitjà (RMSE, per les seves sigles en anglès). Els resultats mostren de manera consistent relacions proporcionals entre el MAPE i el RMSE, proporcionant confiança en l'avaluació del rendiment del model. L'ús d'observacions virtuals obté resultats favorables, amb només un augment mitjà del 3,8% en el MAPE. A més, aquest treball de fi de grau també té com a objectiu millorar el model d'aprenentatge automàtic de Whiffle utilitzat per a les prediccions de producció d'energia com a objectiu secundari, amb l'objectiu final de millorar la precisió global de les prediccions. Els resultats mostren que ometre un pas de suavitzat que es realitza abans de l'entrenament del model porta a resultats globals millors. En abordar eficaçment els reptes de l'absència d'observacions i els arxius de dades no disponibles, el sistema de predicció de Whiffle esdevé més versàtil i capaç de proporcionar prediccions precises en escenaris on les dades són limitades o no disponibles. Els resultats positius d'aquesta investigació han proporcionat a Whiffle la confiança per ampliar l'ús d'aquestes tècniques sense dades a nous clients.

The main objective of this project is to compare how different Reinforcement Learning algorithms learn to play zero-sum games. Specifically, we focus on Connect 4 (or Four in a Row). Firstly, we start by introducing the basic theoretical concepts to understand the project. Afterward, we propose a training process that combines Supervised Learning and Reinforcement Learning. Initially, the agents learn to mimic the actions of a mid-level player. On this learned knowledge, we apply different Reinforcement Learning algorithms to improve the performance of each agent. To evaluate the trained agents, they compete against each other, so we can compare them and conclude which algorithm has achieved the highest level of play. Finally, we present a simple User Interface to let the reader play Connect 4 against all the agents that have been trained in this project.

L'arribada de les noves tecnologies sense fil ens ha permès portar els requisits dels sistemes de comunicacions sense fil a nivells més estrictes en termes de taxa de dades, taxa d'error de bits, eficiència energètica o eficiència espectral. Algunes d'aquestes tecnologies són RSM o TxBF en bandes mil·limètriques (mmWave). No obstant això, requereixen una gran quantitat de consum d'energia (cadenes de radiofreqüència (RF) i convertidors de senyal analògica a digital (ADC) a cada antena) i poden patir una degradació del rendiment a causa de la manca de dispersió de canals, situacions de shadowing i majors pèrdues de propagació. L'ús d'una superfície reconfigurable intel·ligent (RIS) és una tecnologia viable que mitiga aquests problemes amb elements passius de baix cost, pràcticament sense consum d'energia addicional. Aquest estudi proposa l'ús de RIS en una comunicació SU-MIMO amb RSM i TxBF per millorar una transmissió DL a 5G mmWave. Demostra que tenir RIS assistint a la comunicació és més que una bona opció per a les comunicacions mmWave on no hi ha propagació multicamí, ja que pot millorar la taxa de transmissió a TxBF en àrees amb shadowing. Tot i això, són les transmissions amb RSM les que obtenen major benefici de l'ús de RIS en termes de taxa d'error de bit.

Symbolic Regression (SR) is a Machine Learning method that seeks for a mathematical expression to find the best model given a dataset. This remains a really hard task as, unlike classic Machine Learning, both model parameters and model structure are unknown. Typically, algorithms for Symbolic Regression have been based on classical heuristic search algorithms as Genetic Programming, Simulated Annealing or Bayesian approaches. Nevertheless, in the last years a new movement trying to tackle the problem using Neural Networks has arisen. The results obtained show a promising research pathway but the usage of these networks for SR is still under-explored. In this thesis, we propose a data-dependent Transformer Model trained in two phases (supervised phase and Reinforcement Learning phase) to improve the state-of-the-art in Symbolic Regression. The performance of our model is compared to its direct predecessor, NeSymRes and, gplearn, a widely used algorithm based on Genetic Programming. The results obtained demonstrated that we have succeeded in building a model that is able to create high accurate and low complex equations given a dataset (X, Y) as an input. Our model outperforms the compared algorithms in terms of accuracy, recoverability rate, complexity and execution time. Most importantly, we help to settle the usage of Neural Networks for SR as a promising and interesting future line of research.

El projecte consisteix en la implementació i el desplegament d'un sistema reactiu als esdeveniments en el context d'una arquitectura de programari asíncrona. Els esdeveniments que arribin des de qualsevol altra part del sistema es consumiran finalment per desencadenar una acció específica. Aquestes accions poden ser molt diverses i estan relacionades amb el seguiment de dades, el compliment de normativa o la gestió de la relació amb el client. La problemàtica que resol és que en moltes empreses, unes necessitats senzilles però recurrents, impliquen canvis continus en el codi i el seu posterior desplegament, que impliquen grans costos econòmics i de temps. Per evitar-ho, la configuració de les accions desencadenades pels esdeveniments es realitzarà a través d'un tauler (front-end), de manera que es pugui aplicar sense necessitat d'habilitats de programació o modificació de codi. Els principals actors de l'escenari són el servidor receptor d'esdeveniments (Event Handling Agency) i un tauler de control de Strapi. Ambdues entitats desplegades a Heroku com a microserveis; S'han combinat altres tecnologies: NodeJS com a entorn principal per al desenvolupament del servidor; MongoDB com a SGBD de servidor; RabbitMQ per a missatgeria i cues; I finalment, Expo i SendGrid per a l?enviament de comunicacions. La lògica de negoci que governa el sistema s'ha escrit principalment en TypeScript.

El nombre de xarxes i tecnologies com el 5G ha anat creixent durant els últims anys. A causa d'aquest creixement, cada cop és més rellevant seleccionar la millor xarxa amb l'objectiu d'oferir la millor experiència a l'usuari final. El model Multi-Armed Bandit (MAB) és una opció viable per descriure el problema de l'elecció de la millor xarxa sense fils per un dispositiu multi-Radio Access Technology (multi-RAT). Aquest treball proposa un nou model MAB que utilitza valors reals de paràmetres de xarxes que varien amb el temps. Això significa que l'entorn serà no estacionari. Algorismes clàssics del MAB estan dissenyats per treballar en entorns estacionaris, per tant aquest treball també ha dissenyat una nova sèrie d'algorismes per poder treballar en aquests entorns. Aquests nous algorismes són capaços de detectar la no estacionarietat de l'entorn i adaptar-se per tal d'obtenir els millors resultats. Això és especialment important en el problema de seleccionar la millor xarxa, on la qualitat de les xarxes és molt volàtil.

L'estimació de la velocitat en temps real és una tasca fonamental en la conducció autònoma, que es porta a terme a partir dels sensors disponibles, com la odometría de les rodes i els corrents de l'motor. Quan la dinàmica de sistema i les observacions es poden modelar conjuntament com un model lineal gaussià d'espai d'estats (SS) totalment conegut, el cèlebre filtre de Kalman (KF) és una solució òptima de baixa complexitat. No obstant això, tant la linealitat de el model SS subjacent com el coneixement precís de la mateixa no solen donar-se en la pràctica. Aquest treball proposa estimar la velocitat fent servir un sistema híbrid basat en dades (DD) i el Kalman Filter per a sistemes no lineals, anomenada KalmanNet. KalmanNet integra una xarxa neuronal recurrent compacta en el flux de l'KF clàssic, conservant una baixa complexitat computacional, alta eficiència i interpretabilitat, al mateix temps que permet operar en models de SS no lineals amb informació parcial. Apliquem KalmanNet en Pilatus driverless, un cotxe de carreres autònom que forma part de la competició Formula Student (FS) driverless. Els nostres resultats demostren la capacitat d'KalmanNet per superar una implementació d'avantguarda del KF que utilitza un model de SS postulat, alhora que és aplicable a la unitat de control de el vehicle utilitzat pel cotxe.

El objetivo de este trabajo de fin de grado es identificar conjuntos de moduladores relevantes obtenidos a partir de una serie de expresiones genéticas con la finalidad de ayudar en el análisis y el tratamiento de pacientes con cáncer de mama. La identificación de estos genes se hará analizando los resultados de un modelo de clasificación capaz de predecir los subtipos de tumores mamarios. También formarán parte de este conjunto los moduladores que participan en la predicción del tiempo de recaída del paciente. Los resultados se han obtenido a partir de dos metodologías: en primer lugar, se utilizarán las redes neuronales para diseñar un modelo de clasificación. A continuación, se aplicarán técnicas de interpretabilidad para proporcionar validez a los resultados obtenidos. De este manera, se podrán identificar los moduladores que han determinado el resultado. En segundo lugar, se ha trabajado con la idea anterior para calcular la predicción del tiempo de recaída, pero los resultados no han sido los esperados. No obstante, se han construido dos estimadores con la capacidad de modelar el tiempo de recaída de los pacientes. Posteriormente, se estudiará la contribución de cada variable para establecer qué moduladores han tenido más protagonismo en el modelado del riesgo de recaída del paciente.

La redefinició de les comunicacions sense fils és clau per habilitar la Indústria 4.0. Aconseguir comunicacions eficients i ultra fiables de baixa latència, URLLC, està subjecte als requisits extremadament desafiants de les aplicacions automatitzades en termes de disponibilitat (> 99,999% d'ubicacions i temps), rendiment (taxa de pèrdua de dades <10-6), baixa latència. Per començar s'explica en què consisteix tant les URLLC com alguns algoritmes que hem utilitzat per implementar aquest escenari. Després es demostra com influeix la utilització del feix múltiple en estacions base. També com milloren alguns recursos esmentats anteriorment amb la disponibilitat de les superfícies intel·ligents reflectants, RIS. Per acabar s'explica les conclusions a què hem arribat i alguns camps o millores que es pot implementar o investigar en un futur pròxim.

En aquest projecte fem una ullada als fonaments de les Finances, del Reinforcement Learning i del Processat de Senyal per a desenvolupar una estratègia d'inversió als mercats financers. L'estudi parteix d'un desenvolupament ja fet per una altra universitat en el que es dissenya una tècnica d'acoblament amb tres algorismes de DRL (A2C,PPO i DDPG) En el nostre cas, l'objectiu es millorar els prometedors resultats obtinguts per l'autor. Tres possibles solucions s'expliquen al projecte, la primera fer servir el Sharpe Ratio Diferencial com a funció de reward dels Agents DRL. La segona fer servir una base de dades més gran amb un univers d'accions més extens. Per últim es proposa una tècnica de combinació dels algorismes de DRL basada en processat de senyal. Després de discutir les dificultats tècniques i de fer les propostes formals es demostra en els tres casos la millora de rendiment i es comparen els resultats amb la estratègia original.

Aquest vídeo fa revisió de conceptes importants de la tecnologia 5G NR

Aquest vídeo parla de tecnologies dissenyades per al 5G