Aprèn - Josep Ramon Morros Rubió

En aquest projecte em proposo estudiar el comportament de les persones a les parades d'autobús mitjançant la utilització de models de detecció i seguiment d'objectes. Aquest estudi l'he realitzat utilitzant Yolov8 per a la detecció i Deep-Sort per al seguiment. A més he realitzat unes gravacions amb una càmera, per així una base de dades pròpia. Vaig decidir utilitzar Yolov8 per a la detecció ja que es un model bastant eficaç, el qual detecta bé els canvis de posició i precisió en funció de la mida del model, i està preentrenat per a la detecció de persones. Pel que fa al seguiment la selecció del Deep-Sort es perquè utilitza un model d'aparença, el qual ens facilitarà molt el seguiment de les persones que esperen al bus. Per altre banda l'objectiu és recollir estadístiques de quantes persones hi ha a la parada, quan temps esperen, quantes persones pugen i baixen del autobús, i estudiar els seus moviments a la parada.

En este proyecto me propongo estudiar el comportamiento de las personas en las paradas de autobús mediante el uso de modelos de detección y seguimiento de objetos. Este estudio lo he llevado a cabo utilizando Yolov8 para la detección y Deep-Sort para el seguimiento. Además, he realizado grabaciones con una cámara para crear una base de datos propia. Decidí utilizar Yolov8 para la detección ya que es un modelo bastante eficaz, capaz de detectar bien los cambios de posición y mantener la precisión en función del tamaño del modelo, y está preentrenado para la detección de personas. En cuanto al seguimiento, elegí Deep-Sort porque utiliza un modelo de apariencia, lo cual nos facilitará mucho el seguimiento de las personas que esperan al autobús. Por otro lado, el objetivo claro es recopilar estadísticas sobre cuántas personas hay en la parada, cuánto tiempo esperan, cuántas personas suben y bajan del autobús, y estudiar sus movimientos en la parada.

In this project, I aim to study the behavior of people at bus stops using object detection and tracking models. I have conducted this study utilizing Yolov8 for detection and Deep-Sort for tracking. Additionally, I have recorded footage with a camera to create my own database. I decided to use Yolov8 for detection because it is a quite effective model, capable of accurately detecting positional changes and maintaining precision depending on the model size, and it is pre-trained for person detection. For tracking, I chose Deep-Sort because it uses an appearance model, which will greatly facilitate tracking the people waiting for the bus. Furthermore, the clear objective is to collect statistics on how many people are at the stop, how long they wait, how many people get on and off the bus, and to study their movements at the stop.

Analysis of users at bus stops with computer vision

Bachelor thesis

Bedmar Martínez, Adrià

Tutor / Supervisor: Morros Rubió, Josep Ramon

Publication date: 2024

Barcelona School of Telecommunications Engineering (ETSETB)

View detail Access to the full text

This Final Degree Project has developed a computer vision system for tracking peo-ple at bus stops to extract analytics on user behaviour. The project contains an evaluation of different detection models and monitoring algorithms to check the capabili-ties for the specific case described. Next, the different tracking technologies have been applied to videos recorded at a bus stop and algorithms have been developed to extract analytics of the waiting time of users and the number of entrances and exits during each stop. It has been possible to conclude the possibility of using these technologies, the limitations and the improvements necessary for the implementation of an effective monitoring system.

Este Trabajo de Fin de Grado ha desarrollado un sistema basado en visión por computadora para el seguimiento de personas en las paradas autobús con el fin de extraer analíticas del comportamiento de los usuarios. El proyecto contiene una evaluación de diferentes modelos de detección y algoritmos de seguimiento para com-probar las capacidades para el caso concreto descrito. Seguidamente se han aplicado las diferentes tecnologías de seguimiento a vídeos grabados en una parada de autobús y se han desarrollado algoritmos para extraer analíticas del tiempo de espera de los usuarios y el número de entradas y salidas durante cada parada. Se han podido concluir la posibilidad de uso de estas tecnologías, las limitaciones y las mejoras ne-cesarias para la aplicación de un sistema de seguimiento efectivo.

Aquest Treball de Fi de Grau ha desenvolupat un sistema basat en visió per computador per el seguiment de persones a les parades autobús per tal de extreure analítiques del comportament dels usuaris. El projecte conté una avaluació de diferents models de detecció i algoritmes de seguiment per comprovar les capacitats pel cas concret descrit. Seguidament s'han aplicat les diferents tecnologies de seguiment a vídeos gravats a una parada d'autobús i s'han desenvolupat algoritmes per extreure analítiques del temps d'espera dels usuaris i el nombre d'entrades i sortides durant cada parada. S'han pogut concloure la possibilitat d'ús d'aquestes tecnologies, les limitacions i les millores necessàries per l'aplicació d'un sistema de seguiment efectiu.

Urban biogenic flux estimations in Munich: field measurements and machine learning based modelling

Bachelor thesis

Ruiz Moncada, Ariadna

Tutor / Supervisor: Morros Rubió, Josep Ramon; Chen, Jia

Publication date: 2024

Barcelona School of Telecommunications Engineering (ETSETB)

View detail Access to the full text

To achieve the goal of carbon neutrality, monitoring and managing CO2 emissions in cities is particularly critical. Although anthropogenic CO2 emissions are considered dominant in urban areas, vegetation, due to their ability to absorb atmospheric CO2, can have a significant impact on the net CO2 emissions in the entire city. Therefore, the prediction and analysis of Net Ecosystem Exchange (NEE), a feature that represents the balance of carbon flux between ecosystems and the atmosphere, is crucial for understanding the role that urban environments play in climate change and greenhouse emissions. Biogenic measurements were conducted bimonthly across different locations in the city of Munich, to monitor gas emissions providing from urban vegetation ecosystems. They were focused on soil and plant respiration, as well as vegetation indexes such as Leaf Area Index (LAI). These measurements were conducted in the context of the H2020 ICOS Cities PAUL project, a European initiative aiming to monitor greenhouse gas emissions in urban areas across Europe. Additionally, the work encompasses the use of Machine Learning (ML) techniques in order to predict and analyse biogenic flux data, specifically in the city of Munich. The main goal was to conduct a comparative analysis of different machine learning models, and evaluate their effectiveness in predicting NEE. An additional key focus was the impact of the dataset size into the model performance, as well as identifying the most important features for NEE predictions. Overall, this thesis emphasises the high potential of machine learning to understand biogenic fluxes in urban environments, as well as the importance of monitoring gas emissions in these environments. The findings underscore the importance of data preprocessing, and establish a foundation for future research at further tuning NEE prediction models in urban locations across Europe.

Per assolir l'objectiu de la neutralitat de carboni, monitorar i gestionar les emissions de diòxid de carboni (CO2) és especialment crític. Tot i que les emissions de CO2 són considerades dominants en àrees urbanes, la vegetació, a causa de la seva capacitat d'absorbir el CO2 de l'atmosfera, pot tenir un impacte molt significatiu en les emissions netes de CO2 en una ciutat. En conseqüència, la predicció i l'anàlisi de l'intercanvi net de l'ecosistema, una mesura que representa l'equilibri del flux de carboni entre els ecosistemes i l'atmosfera, és crucial per comprendre el paper que juguen els entorns urbans en el canvi climàtic i les emissions de gasos d'efecte hivernacle. Amb la finalitat de monitorar emissions de gasos provinents dels ecosistemes vegetals urbans, es van realitzar mesuraments biogènics bimensuals en diferents ubicacions de la ciutat de Munich. Aquests mesuraments es van centrar en la respiració del sòl i de la vegetació, així com en índexs de vegetació. A més, formen part del projecte H2020 ICOS Cities PAUL project, una iniciativa europea que té com a objectiu monitorar les emissions de gasos d'efecte hivernacle en àrees urbanes de tot Europa. D'altra banda, s'abasta l'ús de tècniques d'Aprenentatge Automàtic (AA) per predir i analitzar dades de fluxos biogènics, específicament a la ciutat de Munich. L'objectiu principal és fer una anàlisi comparativa de diferents models d'aprenentatge automàtic i avaluar la seva efectivitat en la predicció de l'intercanvi net de l'ecosistema. A més, també s'ha avaluat l'impacte que té la mida del conjunt de dades en el rendiment del model d'Aprenentatge Automàtic, així com la identificació dels atributs més rellevants per a les prediccions de l'intercanvi net de l'ecosistema. En resum, el treball destaca l'alt potencial de l'aprenentatge automàtic per comprendre els fluxos biogènics en entorns urbans, així com la importància de monitorar les emissions de gasos en aquests entorns. Les conclusions destaquen la importància del preprocessament de dades i estableixen una base per a futures investigacions destinades a afinar encara més els models de predicció de l'intercanvi net de l'ecosistema en ubicacions urbanes de tot Europa.

Para lograr el objetivo de la neutralidad de carbono, monitorizar y gestionar las emisiones de dióxido de carbono (CO2) es especialmente crítico. A pesar de que las emisiones de CO2 son consideradas dominantes en áreas urbanas, la vegetación, debido a su capacidad de absorber el CO2 de la atmósfera, puede tener un impacto muy significativo en las emisiones netas de CO2 en una ciudad. En consecuencia, la predicción y el análisis del intercambio neto del ecosystema , una medida que representa el equilibrio del flujo de carbono entre los ecosistemas y la atmósfera, es crucial para comprender el rol que los entornos urbanos desempeñan en el cambio climático y las emisiones de gases de efecto invernadero. Con la finalidad de monitorizar emisiones de gases provenientes de los ecosistemas vegetales urbanos, se realizaron mediciones biogénicas bimensuales en distintas ubicaciones de la ciudad de Munich. Estas mediciones se enfocaron en la respiración del suelo y de la vegetación, así como en índices de vegetación, y forman parte del proyecto H2020 ICOS Cities PAUL project, una iniciativa europea cuyo objetivo es monitorear las emisiones de gases de efecto invernadero en áreas urbanas de toda Europa. Adicionalmente, se abarca el uso de técnicas de Aprendizaje Automático (AA) para predecir y analizar datos de flujos biogénicos, específicamente en la ciudad de Múnich. El objetivo principal es realizar un análisis comparativo de diferentes modelos de aprendizaje automático y evaluar su efectividad en la predicción del intercambio neto del ecosistema. Además, también se ha evaluado el impacto que tiene el tamaño del conjunto de datos con el rendimiento del modelo de Aprendizaje Automático, así como la identificación de los atributos más relevantes para las predicciones del intercambio neto del ecosistema. En resumen, la tesis destaca el alto potencial del aprendizaje automático para comprender los flujos biogénicos en entornos urbanos, así como la importancia de monitorear las emisiones de gases en estos entornos. Las conclusiones destacan la importancia del preprocesamiento de datos y establecen una base para futuras investigaciones destinadas a afinar aún más los modelos de predicción del intercambio neto del ecosistema en ubicaciones urbanas de toda Europa.

Study and optimization of new image quality metrics applied to automotive cameras

Master thesis

Fuentes Gómez, Irene

Tutor / Supervisor: Chamadoira Hermida, Sara; Morros Rubió, Josep Ramon

Publication date: 2024

Barcelona School of Telecommunications Engineering (ETSETB)

Access to the full text

Obstacle detection and identification in the trajectory of an agricultural robot with LiDAR and camera data fusion

Master thesis

Mallén Alberdi, Ignasi

Tutor / Supervisor: Morros Rubió, Josep Ramon; Pérez Gracia, Alba

Publication date: 2024

Barcelona School of Telecommunications Engineering (ETSETB)

View detail Access to the full text

Bike lanes analysis with computer vision

Bachelor thesis

Soler Baca, Àlex

Tutor / Supervisor: Morros Rubió, Josep Ramon

Publication date: 2024

Barcelona School of Telecommunications Engineering (ETSETB)

View detail Access to the full text

Vehicle tracking and identification for mobility applications using computer vision

Master thesis

De Fuentes Prats, Javier

Tutor / Supervisor: Morros Rubió, Josep Ramon

Publication date: 2024

Barcelona School of Telecommunications Engineering (ETSETB)

View detail Access to the full text

Detection of artifacts in infrared images and video of PV solar panels

Master thesis

Blázquez Folch, Josep

Tutor / Supervisor: Morros Rubió, Josep Ramon; Forchmammer, Soren

Publication date: 2024

Barcelona School of Telecommunications Engineering (ETSETB)

View detail Access to the full text

Extending the ROCKET Machine Learning algorithm to improve Multivariate Time Series classification

Master thesis

Solana I Carulla, Adrià

Tutor / Supervisor: Morros Rubió, Josep Ramon; Uribarri, Gonzalo

Publication date: 2024

Barcelona School of Telecommunications Engineering (ETSETB)

View detail Access to the full text

While the norm in Time Series Classification (TSC) has been to improve accuracy, new models focusing on efficiency have recently been attracting attention. In particular, models known as ROCKET, which work by randomly generating a large number of kernels used as feature extractors to train a simple ridge classifier, can yield results as good as other state-of-the-art algorithms while presenting a significant increase in efficiency. Although ROCKET models were originally designed for Univariate Time Series (UTS), which are defined by a single channel or sequence, these classifiers have also shown excellent results when tested on Multivariate Time Series (MTS), where the characteristics of the time series are spread across multiple channels. Therefore, it is of scientific interest to explore these models to assess their overall performance and whether efficiency can be further improved. Recent studies present a novel algorithm named Sequential Feature Detachment (SFD) which, on top of ROCKET, can significantly reduce the model size while slightly increasing accuracy through a sequential feature selection technique. Despite these remarkable results, the experiments leading to the conclusions were limited to the use of UTS, leaving room for the exploration of this algorithm on MTS. Consequently, this thesis evaluates different strategies to implement ROCKET and SFD algorithms for MTS classification tasks, focusing not only on improving efficiency and accuracy, but also on adding interpretability to the classifier. To achieve this, experiments were conducted by testing model ensembles, grouping channels based on predictability, and examining channel relevances alongside SFD. The University of East Anglia (UEA) MTS archive was used to evaluate the resulting models, as it is common with TSC algorithms. The results demonstrate that model ensembling does not increase accuracy in the test sets and that the predictability of individual channels is not maintained across dataset splits. However, the study shows that using SFD with MiniROCKET, a variant of ROCKET that includes random channel combinations, not only can improve classification results but also provide a statistically significant channel relevance measure.

Determinació de característiques de carrils bici

Bachelor thesis

Chávez Olano, Sandra Jessica

Tutor / Supervisor: Morros Rubió, Josep Ramon

Publication date: 2024

Barcelona School of Telecommunications Engineering (ETSETB)

View detail Access to the full text

Tracking visual de formigues en un entorn controlat

Bachelor thesis

Corretgé Gilart, Marc

Tutor / Supervisor: Morros Rubió, Josep Ramon

Publication date: 2024

Barcelona School of Telecommunications Engineering (ETSETB)

View detail Access to the full text

Development of machine learning models for facial emotion recognition as an in-cabin monitoring system for automated mobility

Bachelor thesis

De Asís Molleja, Armand

Tutor / Supervisor: Morros Rubió, Josep Ramon; Parra Chuecos, Antonio Natan

Publication date: 2024

Barcelona School of Informatics (FIB)

View detail Access to the full text

Hoy en día existe una gran negativa a la hora de utilizar la conducción autónoma o los sistemas avanzados de asistencia al conductor, tanto por parte de los conductores más jóvenes como de los mayores. Por este motivo, el objetivo principal del proyecto es desarrollar una prueba de concepto de un sistema de monitorización en cabina que pueda medir las emociones de las personas. De esta forma, otros módulos del coche podrán utilizar esta información para adaptar el estilo de conducción o el ambiente de la cabina para hacer el viaje mucho más cómodo, y en un futuro, intentar conseguir una mayor aceptación. La forma de abordar el trabajo será como una tarea basada en Computer Vision. Se realizará un reconocimiento estático de emociones faciales a cada ocupante del coche haciendo inferencia fotograma a fotograma. Posteriormente, se aplicarán técnicas de postprocesado para obtener mejores resultados en vídeo. Debido a la gran variabilidad en el entorno de la cabina de un vehículo, es necesario construir un sistema robusto y adaptable a muchas condiciones. Para ello, se estudiará el rendimiento de diversos modelos de Machine Learning y se observará si técnicas como la destilación de conocimiento y módulos como self-attention pueden aumentar el rendimiento de los mismos. Además, se aplicarán y analizarán algunas técnicas de aumento de datos, preprocesamiento de datos y entrenamiento para mejorar la optimización de los modelos. Por último, se realizará un estudio para ver el impacto de estos sistemas en la situación de un coche. De esta forma, se podrá ver si los resultados mostrados en un entorno orientado a las emociones pueden extrapolarse a un entorno dentro del coche. Toda la investigación se ha realizado dentro de NTT Data y la UPC en el contexto del grupo de trabajo de la Comisión Europea CCAM (Connected Cooperative Automated Mobility) como una investigación académica con usos no comerciales. Además, todo el desarrollo se enmarcará en un enfoque ético, haciendo un desarrollo sostenible.

Nowadays exists a huge resistance towards using Autonomous Driving or Advanced Driver Assistance Systems while driving a car, for both young and elderly drivers and occupants. For this reason, the main goal of the project is to develop a Proof of Concept of an In-Cabin Monitoring System that can measure the people's emotions. This way, other car modules can use this information to adapt the driving style or cabin environment to make the travel much more comfortable and expectantly, engage people to use more these systems. The way to tackle the job will be as a Computer Vision task. A Static Facial Emotion Recognition will be performed to every occupant frame-by-frame and, later, apply post processing techniques to get better results in the video context. Due to the high variability in a vehicle cabin environment, it is needed to build a robust system adaptable to many conditions. To do it, it will be studied the performance of diverse Machine Learning models and observe if knowledge distillation and attention modules can increase the performance of them. Moreover, some data augmentation, data preprocessing and training techniques will be applied and analyzed in order to enhance the optimization of the models. Finally, a study will be performed in order to see the impact of these systems in a car situation. To see if this would be feasible and if the results shown in an emotion targeted environment can be extrapolated to an in-car setting. All the investigation has been performed in the context of the European Commission working group CCAM (Connected Cooperative Automated Mobility) in NTT Data and UPC as an academic investigation with non-commercial uses. Moreover, all the development will be framed within an ethical approach, making a sustainable development.

Ant tracking

Bachelor thesis

Serra Montes, Pol

Tutor / Supervisor: Morros Rubió, Josep Ramon

Publication date: 2024

Barcelona School of Telecommunications Engineering (ETSETB)

View detail Access to the full text

This Final Degree Thesis advances Ignasi Nogueiras initial work on developing a computer vision tool for ant detection and tracking. Two main lines of improvement were pursued: firstly, enhancing the detection model, which has achieved significant progress in addressing ant overlap scenarios, consequently improving ant tracking; secondly, proposing an offline tracking system that has enhanced results in terms of Higher Order Tracking Accuracy (HOTA). It has been concluded that improvements in ant overlap situation in the ant detection system consequently improve the tracking system, and that to improve the offline system it is necessary to improve the appearance model it uses.

Este Trabajo de Fin de Grado continúa el trabajo realizado por Ignasi Nogueiras en el desarrollo de una herramienta de visión por computador para la detección y seguimiento de hormigas. Se han seguido dos líneas de mejora: la primera, optimizar el modelo de detección, que ha logrado avances significativos en la identificación de hormigas en situaciones de solapamiento, beneficiando así su seguimiento. La segunda, implementar un sistema de seguimiento offline que ha mejorado los resultados en términos de HOTA (Higher Order Tracking Accuracy). Se ha podido concluir que mejoras en el sistema de detección de hormigas, en concreto en situaciones de solapamiento, consecuentemente mejoran el sistema de seguimiento, además de que para mejorar el sistema de seguimiento offline cabe mejorar el modelo de apariencia que usa.

Aquest Treball de Fi de Grau continua el treball realitzat per Ignasi Nogueiras en el desenvolupament d'una eina de visió per computador per a la detecció i seguiment de formigues. S'han seguit dues línies de millora: la primera, optimitzar el model de detecció, que ha aconseguit avenços significatius en la identificació de formigues en situacions de solapament, beneficiant-ne així el seguiment. La segona, implementar un sistema de seguiment offline que ha millorat els resultats en termes de HOTA (Higher Order Tracking Accuracy). S'ha pogut concloure que millores en el sistema de detecció d'hormigues, en concret en situacions de superposició, conseqüentment milloren el sistema de seguiment, a més a més, per millorar el sistema de seguiment offline per millorar el model d'apariència que usa.

Vehicle tracking for mobility applications

Bachelor thesis

Koehler Borras, Alba

Tutor / Supervisor: Morros Rubió, Josep Ramon; Ruiz Hidalgo, Javier

Publication date: 2024

Barcelona School of Informatics (FIB)

View detail Access to the full text

The goal of this project was to evaluate various object detection and tracking models to determine the best combination for real-time vehicle monitoring in urban settings, with a focus on parking spot tracking. This study examined multiple algorithms, including different sizes of YOLOv8 for detection and OC-SORT and StrongSORT for tracking. Both public and private datasets were used to provide a more complete evaluation. In the experiments, YOLOv8 emerged as an effective detection model, with varying trade-offs between speed and accuracy depending on the model size. YOLOv8n, the smaller version, provided higher frames per second (FPS) and lower computational overhead, making it suitable for real-time applications. In contrast, YOLOv8l, the larger version, exhibited greater detection accuracy with longer inference times, suggesting its potential use in applications where precision is outstanding. For tracking, the study compared OC-SORT and StrongSORT. StrongSORT consistently demonstrated better tracking accuracy but with a slightly lower FPS. OC-SORT, on the other hand, achieved higher FPS, making it more suitable for real-time scenarios. Additionally, StrongSORT proved more robust against occlusions and non-linear object motion, thanks to its advanced modules, while OC-SORT excelled in simpler tracking tasks. Based on these results, the ideal solution for a traffic monitoring application focusing on parking spot tracking would be combining YOLOv8n for fast and efficient detection with StrongSORT for robust tracking. This combination offers a balance of speed, accuracy, and computational efficiency, allowing for real-time monitoring while ensuring precise tracking. A key aspect for accurate vehicle tracking is high-resolution video, with 4K being the optimal choice for detailed detection and license plate recognition. The experiments also suggested that for applications requiring faster real-time online tracking, YOLOv8n coupled with OC-SORT might be a viable solution, as it provides a good enough trade-off between speed and accuracy, but performing at a higher FPS rate than StrongSORT. In conclusion, this project identified a suitable setup for real-time vehicle tracking applications, focusing on parking spot monitoring. The ideal solution balances speed and accuracy, which is fundamental for an effective performance of the studied application. The takeaways from this study can also be applied to other fields requiring multi-object tracking, such as improving performance with lower-resolution input videos and exploring techniques for license plate reading. This work lays the foundation for further exploration and application of these concepts in various domains.

Advancing Egocentric Action Recognition for Perceptually-enabled Task Guidance

Master thesis

Manzano Rodríguez, Ana

Tutor / Supervisor: Morros Rubió, Josep Ramon; Zolotas, Mark; Erdogmus, Deniz

Publication date: 2023

Barcelona School of Telecommunications Engineering (ETSETB)

View detail Access to the full text

This project aims to create a task guidance assistant using the HoloLens headset that will guide the user through augmented reality. The primary focus of this thesis lies in the integration of an action recognition framework for egocentric videos, crucial for task prediction within the system. Development starts in a kitchen environment, with the intention of using transfer learning for military scenarios in the future. Epic-Kitchens serves as an initial reference dataset, subsequently followed by the creation of a customized dataset. Various state-of-the-art action recognition models are considered, with Omnivore being the final choice. Initial results show 14.23% Top 5 action recognition accuracy within the created dataset. Through classifier modifications and application of diverse post-processing video techniques, this accuracy is significantly improved, culminating in an impressive 83.76%.

Este proyecto tiene como objetivo crear un asistente de guía de tareas utilizando la cámara egocéntrica que icorporan las HoloLens y que guiará al usuario a través de la realidad aumentada. El objetivo principal de esta tesis es la integración de un marco de reconocimiento de acciones, crucial para la predicción de tareas dentro del sistema. El desarrollo comienza en un entorno de cocina, con la intención de utilizar el aprendizaje por transferencia para escenarios militares en el futuro. Epic-Kitchens sirve como conjunto de datos de referencia inicial, posteriormente se crea un dataset personalizado. Se tienen en cuenta varios modelos de reconocimiento de acciones, siendo Omnivore la elección final. Los resultados iniciales muestran una precisión del 14,23% en el reconocimiento de las 5 acciones más probables dentro del conjunto de datos creado. Mediante modificaciones del clasificador y la aplicación de diferentes técnicas de postprocesado de vídeo, esta precisi ?on se mejora significativamente, culminando en un impresionante 83,76%.

Aquest projecte pretén crear un assistent d'orientació de tasques utilitzant la càmera egocèntrica que incorporen les HoloLens que guiarà l'usuari a través de la realitat augmentada. L'objectiu principal d'aquesta tesi rau en la integració d'un marc de reconeixement d'accions crucial per a la predicció de tasques dins del sistema. El desenvolupament comença en un entorn de cuina, amb la intenció d'utilitzar l'aprenentatge de transferència per a escenaris militars en el futur. Epic-Kitchens serveix com a conjunt de dades de referència inicial, posteriorment seguit de la creació d'un conjunt de dades personalitzat. Es consideren diversos models de reconeixement d'acció d'última generació, sent Omnivore l'opció final. Els resultats inicials mostren un 14,23% de precisió de reconeixement de les 5 accions més probables dins del conjunt de dades creat. Mitjançant modificacions del classificador i l'aplicació de diverses tècniques de post processament de vídeo, aquesta precisió es millora significativament, culminant amb un impressionant 83,76%.

Computer vision for ant tracking: a tool for advancing collective behavior research

Master thesis

Nogueiras Marco, Ignasi

Tutor / Supervisor: Morros Rubió, Josep Ramon

Publication date: 2023

Barcelona School of Telecommunications Engineering (ETSETB)

View detail Access to the full text

AI propensity models in fashion: understanding each client needs at any point in time

Bachelor thesis

Millet Salvador, Sandra

Tutor / Supervisor: Morros Rubió, Josep Ramon; Pérez Guallar, Carles

Publication date: 2023

Barcelona School of Informatics (FIB)

View detail Access to the full text

La intel·ligència artificial (IA) té un paper crucial en la millora de les tècniques estadístiques tradicionals, concretament, l'enfocament se centra en maximitzar el potencial dels models de propensió per millorar la comprensió del minorista sobre el comportament dels clients. La motivació d'aquesta tesi prové de traduir el repte i la inversió de la ciència de dades de Mango en valor empresarial entenent l'interès de cada client en cada moment respecte a les diferents línies de roba disponibles, predir el comportament futur i personalitzar les campanyes de màrqueting. Es proposa com a solució un sistema d'aprenentatge automàtic (ML) end-to-end i s'ha inclòs la metodologia per al seu desenvolupament corresponent. S'ha implementat un algorisme LightGBM per estimar la probabilitat de compres dels clients inclosa una línia específica. La precisió i la variabilitat de les probabilitats s'han escollit mitjançant un procés iteratiu d'optimització d'hiperparàmetres. L'anàlisi del model desenvolupat, juntament amb la seva mesura de l'impacte empresarial, destaca les implicacions pràctiques i els beneficis de la solució.

Artificial Intelligence (AI) plays a crucial role in enhancing traditional statistical techniques, specifically, the focus is set on maximizing propensity models potential to upgrade retailer's understanding of customers' behaviour. The motivation for this thesis stems from translating Mango's challenge and inversion in data science into business value by understanding each customer's interest at any point in time with respect to the different clothing lines available, predicting future behaviour and personalizing marketing campaigns. An end-to-end Machine Learning (ML) system is proposed as a solution and the methodol- ogy for its corresponding development has been included. A LightGBM algorithm has been implemented to estimate the likelihood of customers' purchases including a specific line. The accuracy and variability of the likelihoods have been chosen by an iterative hyperparameter optimization process. The analysis of the developed model, along with its business impact measurement, highlights the practical implications and benefits of the solution.