APRÈN. Portal de la producció docent del professorat de la UPC

The explosive growth of Large Language Models (LLMs) and their computational demands have made High-Performance Computing (HPC) essential components for efficient training. This thesis analyzes the scalability of training the XLM-RoBERTa-base model on the MareNostrum 5 (MN5) supercomputer, focusing on the clinical domain of cardiology within the European DataTools4Heart (DT4H) project. Using data parallelism and model sharding techniques, training time, speedup, efficiency, throughput, and overhead were evaluated on different GPU configurations (up to 32 GPUs), also exploring optimizations such as the use of different numerical precisions and optimizers. The results demonstrate almost linear scalability within a node and good multi-node performance, reaching efficiencies above 85% with 32 GPUs. The study validates the hypothesis of an inverse relationship between the number of GPUs and training time, identifying inter-node communication as the main limitation at large scales. It also presents the Rocket and Cosmos tools, developed to streamline data and experiment management in MN5. The findings establish best practices for training LLMs in HPC and have been key to the efficient creation of CardioBERTa multilingual models within the DT4H project.

El explosivo crecimiento de los grandes modelos de lenguaje (LLMs) y sus exigencias computacionales han convertido a las High-Performance computing (HPC) en componentes esenciales para un entrenamiento eficiente. Esta tesis analiza la escalabilidad del entrenamiento del modelo XLM-RoBERTa-base en el supercomputador MareNostrum 5 (MN5), enfocándose en el dominio clínico de cardiología dentro del proyecto europeo DataTools4Heart (DT4H). Mediante técnicas de paralelismo de datos y model sharding, se llevó a cabo una evaluación del tiempo de entrenamiento, speedup, eficiencia, throughput y overhead en distintas conf iguraciones de GPU (hasta 32 GPUs), explorando también optimizaciones como el uso de diferentes numerical precisions y optimizadores. Los resultados demuestran una escalabilidad casi lineal dentro de un nodo y un buen rendimiento multi-nodo, alcanzando eficiencias superiores al 85% con 32 GPUs. El estudio valida la hipótesis de relación inversa entre el número de GPUs y el tiempo de entrenamiento, identificando la comunicación entre nodos como principal limitante en grandes escalas. Además, se presentan las herramientas Rocket y Cosmos, desarrolladas para agilizar la gestión de datos y experimentos en MN5. Los hallazgos permiten establecer buenas prácticas para el entrenamiento de LLMs en HPC y han sido clave para la creación eficiente de los modelos multilingües CardioBERTa en el marco del proyecto DT4H.

Aquest Treball de Fi de Màster presenta el disseny, desenvolupament i implementació d'una plataforma completa per al support de l'avaluació de Models de Llenguatge de Gran Escala (LLMs), amb una orientació clara cap a la traçabilitat, la transparència i la sostenibilitat del procés avaluatiu. En un context de ràpida evolució de les tecnologies d'intel·ligència artificial generativa, el projecte respon a la necessitat creixent de disposar d'eines que permetin no només utilitzar aquests models, sinó també comprendre com funcionen, com prenen decisions, i com es poden avaluar des d'un punt de vista tant tècnic com ètic. La solució plantejada és una aplicació full-stack desenvolupada amb un backend en FastAPI i un frontend modular en SvelteKit, estructurada entorn d'una base de dades SQLite i una sèrie de serveis integrats per a l'avaluació manual i automàtica de respostes generades per LLMs. Aquesta arquitectura no només permet la visualització i gestió d'interaccions, sinó que també incorpora funcionalitats específiques per a l'anàlisi d'interaccions passades (via importació des de la base de dades històrica webui.db), així com l'execució d'avaluacions automàtiques mitjançant el sistema Opik, i heurístiques dissenyades per a verificar patrons, similituds o estructures semàntiques. Des del punt de vista teòric, el projecte s'assenta sobre els fonaments més avançats de l'arquitectura dels LLMs, incloent-hi la mecànica d'atenció pròpia dels Transformers, el funcionament autoregressiu, la generació seqüencial i les tècniques d'embeddings i recuperació (RAG). Aquests conceptes no només es desenvolupen en el marc conceptual del projecte, sinó que tenen una translació directa a la seva implementació pràctica. Per exemple, el sistema permet detectar desalineaments entre el context i la resposta mitjançant mètriques com context_precision i context_recall, que tenen un fonament directe en la teoria del processament contextual en NLP. Un dels eixos centrals del projecte és la incorporació de sistemes d'avaluació automàtica LLM-as-a-Judge, un paradigma emergent en què un model de llenguatge actua com a jutge d'una altra sortida generada. Mitjançant la integració del SDK d'Opik i l'ús de models com GPT-4o via LiteLLM, el sistema és capaç de calcular mètriques de qualitat com la hallucination, usefulness o g_eval de forma automàtica. Aquest procés és configurable i traçable, i s'ha implementat tenint en compte tant l'impacte econòmic (confirmació de cost abans de l'avaluació), com la interpretabilitat dels resultats (amb visualitzacions i explicacions contextuals). En definitiva, aquest TFM no només construeix una eina funcional, sinó que proposa un marc metodològic replicable per a l'avaluació responsable de LLMs, establint bases sòlides per a futures investigacions, integracions o desplegaments reals en entorns sensibles o regulats. Una fita en la meva trajectòria professional que recordaré amb molt d'afecte a partir d'ara.

This Master's Thesis addresses the problem of redundancy in Denial Constraints (DCs) automatically discovered from data. Our experimental study revealed that state-of-the-art discovery algorithms typically generate hundreds of constraints, with over 70% of them being redundant on average. This sheer volume of discovered DCs makes their interpretation and practical application infeasible. To address this relevant issue, we propose a novel approach that uses a first-order logic automated reasoner to identify and eliminate all redundant constraints generated by DC discovery algorithms, providing an effective tool for enabling experts to extract relevant knowledge from data.

Aquest Treball de Final de Màster aborda el problema de la redundància en les restriccions de denegació o denial constraints (DCs) descobertes automàticament a partir de les dades. El nostre estudi experimental revela que els algoritmes de descobriment actuals solen generar centenars de restriccions, amb més del 70% d'elles sent redundants de mitjana. Aquest volum immens de DCs descobertes fa que la seva interpretació i aplicació sigui inviable a la pràctica. Per abordar aquest problema, proposem un enfocament innovador que utilitza un raonador automàtic de lògica de primer ordre per identificar i eliminar totes les restriccions redundants generades pels algoritmes de descobriment de DCs, proporcionant una eina eficaç per permetre als experts extreure coneixement rellevant de les dades.

La falta de información contextual limita la capacidad de los exámenes clínicos para ofrecer un diagnóstico completo en pacientes con hipertensión o diabetes. Este estudio tiene como objetivos I: Desarrollar una aplicación móvil que facilite el autoreporte de ingesta alimentaria y/o de medicamentos o otros datos relevantes para la salud y II: Incluir capacidades para la evaluación de la aplicación y el sistema de notificaciones que incorpora métodos de Experience Sampling para a) analizar tendencias en la forma de reporte y b) cerciorarse de que la aplicación funciona correctamente. Este estudio comprende el diseño y desarrollo de la aplicación desde idea a prototipo final incluyendo la capacidad para realizar una futura prueba experimental. La aplicación integra una interfaz de usuario sencilla, gráficos visuales y bases de datos que permiten al usuario registrar sus hábitos alimenticios en tiempo real. Además, se implementan notificaciones personalizadas que se adaptan al comportamiento del usuario, buscando fomentar un compromiso activo en lugar de respuestas automatizadas. La simplicidad de uso y la personalización son ejes centrales del diseño que fue definido con el propósito de una adopción más efectiva en poblaciones diversas. Se han usado tecnologías de alto rendimiento; Hemos escogido como Kotlin para la base de la aplicación por su robustez y compatibilidad con el entorno de Android. MySQL para estructurar eficientemente la información relacionada con los autoreportes de los usuarios y MongoDB que integra una conexión con el sistema API existente de la universidad. En conclusión, esta investigación puede ser usada para verificar la validez y efectividad del uso de aplicaciones móviles como herramientas de apoyo en el manejo de enfermedades crónicas. La combinación de una interfaz accesible, gráficos intuitivos y métodos dinámicos de recolección de información ha sido diseñada para reforzar la utilidad del Experience Sampling para obtener información precisa y contextual. Este enfoque puede integrarse en sistemas de monitoreo médico más amplios, aunque se requiere un estudio para evaluar su impacto a largo plazo y en grupos más grandes de pacientes.

Background. The rapid growth of Language Models (LMs), particularly in code generation, requires substantial computational resources, raising concerns about energy consumption and environmental impact. Optimizing LMs inference for energy efficiency is crucial, and Small Language Models (SLMs) offer a promising solution to reduce resource demands. Aim. Our goal is to analyze the impact of deep learning runtime engines and execution providers on energy consumption, execution time, and computing-resource utilization from the point of view of software engineers conducting inference in the context of code SLMs. Method. We conducted a technology-oriented, multi-stage experimental pipeline using twelve code generation SLMs to investigate energy consumption, execution time, and computing-resource utilization across the configurations. Results. Significant differences emerged across configurations. CUDA execution provider configurations outperformed CPU execution provider configurations in both energy consumption and execution time. Among the configurations, TORCH paired with CUDA demonstrated the greatest energy efficiency, achieving energy savings from 37.99% up to 89.16% compared to other serving configurations. Similarly, optimized runtime engines like ONNX with the CPU execution provider achieved from 8.98% up to 72.04% energy savings within CPU-based configurations. Also, TORCH paired with CUDA exhibited efficient computing-resource utilization. Conclusions. Serving configuration choice significantly impacts energy efficiency. While further research is needed, we recommend the above configurations best suited to software engineers' requirements for enhancing serving efficiency in energy and performance.

Contexto. El rápido crecimiento de los modelos de lenguaje (Language Models), particularmente en la generación de código, requiere recursos computacionales sustanciales, lo que genera preocupaciones sobre el consumo de energía y el impacto ambiental. Optimizar la inferencia de los modelos de lenguaje para mejorar la eficiencia energética es crucial, y los modelos de lenguaje pequeños (Small Language Models) ofrecen una solución prometedora para reducir las demandas de recursos. Objetivo. Nuestro objetivo es analizar el impacto de los runtime engines y los execution providers de aprendizaje profundo en el consumo de energía, el tiempo de ejecución y la utilización de recursos computacionales desde el punto de vista de los ingenieros de software que realizan inferencias en el contexto de los modelos de lenguaje pequeños de código. Método. Realizamos un pipeline experimental orientado a tecnología, de varias etapas, utilizando doce modelos de lenguaje pequeños de generación de código para investigar el consumo de energía, el tiempo de ejecución y la utilización de recursos computacionales en las distintas configuraciones. Resultados. Surgieron diferencias significativas entre las configuraciones. Las configuraciones con el execution provider CUDA superaron a las configuraciones con el execution provider CPU tanto en consumo de energía como en tiempo de ejecución. Entre las configuraciones, TORCH combinado con CUDA demostró la mayor eficiencia energética, logrando ahorros de energía desde el 37.99% hasta el 89.16% en comparación con otras configuraciones. De manera similar, runtime engines optimizados como ONNX con el execution provider CPU lograron ahorros de energía desde el 8.98% hasta el 72.04% dentro de configuraciones basadas en CPU. Además, TORCH combinado con CUDA mostró una eficiente utilización de los recursos computacionales. Conclusiones. La elección de la configuración de servicio impacta significativamente en la eficiencia energética. Aunque se necesita más investigación, recomendamos las configuraciones mencionadas anteriormente como las más adecuadas a los requisitos de los ingenieros de software para mejorar la eficiencia del servicio en términos de energía y rendimiento.

The semiconductor industry faces significant challenges during crises, where demand fluctuations disrupt supply chains and amplify the bullwhip effect. This thesis evaluates the use of advanced machine learning models, including N-HiTS, XGBoost, and LightGBM, alongside traditional methods like exponential smoothing and ARIMA, to forecast these fluctuations using external macroeconomic and industry-specific data. Results show N-HiTS outperforms other models in crisis and unstable scenarios, while exponential smoothing remains effective during stable periods. However, Gradient Boosting Decision Trees like XGBoost and LightGBM, while underperforming N-HiTS, offer better interpretability. External variables exhibit strong correlations with the target variable, enabling accurate forecasts but not implying causation.

La indústria dels semiconductors afronta grans reptes durant les crisis, on les fluctuacions de la demanda desestabilitzen les cadenes de subministrament i amplifiquen l'efecte bullwhip. Aquesta tesi avalua l'ús de models avançats d'aprenentatge automàtic, com N-HiTS, XGBoost i LightGBM, juntament amb mètodes tradicionals com l'Exponential Smoothing o ARIMA, per predir aquestes fluctuacions utilitzant dades macroeconòmiques externes i específiques de la indústria. Els resultats mostren que N-HiTS supera altres models en escenaris de crisi gràcies a la seva capacitat per capturar patrons complexos. No obstant això, els models basats en Gradient Boosting Decision Trees, com XGBoost i LightGBM, tot i tenir un rendiment inferior a N-HiTS, ofereixen millor interpretabilitat. Exponential Smoothing continua sent efectiu en períodes estables. Les variables externes presenten fortes correlacions amb la variable objectiu, cosa que permet prediccions precises però no implica causalitat.