APRÈN. Portal de la producció docent del professorat de la UPC

Background. The rapid growth of Language Models (LMs), particularly in code generation, requires substantial computational resources, raising concerns about energy consumption and environmental impact. Optimizing LMs inference for energy efficiency is crucial, and Small Language Models (SLMs) offer a promising solution to reduce resource demands. Aim. Our goal is to analyze the impact of deep learning runtime engines and execution providers on energy consumption, execution time, and computing-resource utilization from the point of view of software engineers conducting inference in the context of code SLMs. Method. We conducted a technology-oriented, multi-stage experimental pipeline using twelve code generation SLMs to investigate energy consumption, execution time, and computing-resource utilization across the configurations. Results. Significant differences emerged across configurations. CUDA execution provider configurations outperformed CPU execution provider configurations in both energy consumption and execution time. Among the configurations, TORCH paired with CUDA demonstrated the greatest energy efficiency, achieving energy savings from 37.99% up to 89.16% compared to other serving configurations. Similarly, optimized runtime engines like ONNX with the CPU execution provider achieved from 8.98% up to 72.04% energy savings within CPU-based configurations. Also, TORCH paired with CUDA exhibited efficient computing-resource utilization. Conclusions. Serving configuration choice significantly impacts energy efficiency. While further research is needed, we recommend the above configurations best suited to software engineers' requirements for enhancing serving efficiency in energy and performance.

Contexto. El rápido crecimiento de los modelos de lenguaje (Language Models), particularmente en la generación de código, requiere recursos computacionales sustanciales, lo que genera preocupaciones sobre el consumo de energía y el impacto ambiental. Optimizar la inferencia de los modelos de lenguaje para mejorar la eficiencia energética es crucial, y los modelos de lenguaje pequeños (Small Language Models) ofrecen una solución prometedora para reducir las demandas de recursos. Objetivo. Nuestro objetivo es analizar el impacto de los runtime engines y los execution providers de aprendizaje profundo en el consumo de energía, el tiempo de ejecución y la utilización de recursos computacionales desde el punto de vista de los ingenieros de software que realizan inferencias en el contexto de los modelos de lenguaje pequeños de código. Método. Realizamos un pipeline experimental orientado a tecnología, de varias etapas, utilizando doce modelos de lenguaje pequeños de generación de código para investigar el consumo de energía, el tiempo de ejecución y la utilización de recursos computacionales en las distintas configuraciones. Resultados. Surgieron diferencias significativas entre las configuraciones. Las configuraciones con el execution provider CUDA superaron a las configuraciones con el execution provider CPU tanto en consumo de energía como en tiempo de ejecución. Entre las configuraciones, TORCH combinado con CUDA demostró la mayor eficiencia energética, logrando ahorros de energía desde el 37.99% hasta el 89.16% en comparación con otras configuraciones. De manera similar, runtime engines optimizados como ONNX con el execution provider CPU lograron ahorros de energía desde el 8.98% hasta el 72.04% dentro de configuraciones basadas en CPU. Además, TORCH combinado con CUDA mostró una eficiente utilización de los recursos computacionales. Conclusiones. La elección de la configuración de servicio impacta significativamente en la eficiencia energética. Aunque se necesita más investigación, recomendamos las configuraciones mencionadas anteriormente como las más adecuadas a los requisitos de los ingenieros de software para mejorar la eficiencia del servicio en términos de energía y rendimiento.

Antecedents: Donada la naturalesa accelerada de la tecnologia actual, és crucial avaluar l'impacte de la Intel·ligència Artificial (IA) en el consum d'energia. Els projectes tradicionals d'Aprenentatge Automàtic (AA) prioritzen mètriques de precisió sobre l'eficiència energètica, creant una bretxa en la recerca sobre el consum d'energia durant la inferència de models d'IA, especialment en aplicacions de visió per computador. Objectius: Aquesta tesi té com a objectius (i) comprendre les característiques clau dels conjunts de dades i models de visió per computador, (ii) millorar l'eficiència energètica de la inferència mitjançant la comparació de models optimitzats i no optimitzats, i (iii) proporcionar pautes per optimitzar el rendiment i la sostenibilitat dels models. Mètode: Realitzem un experiment controlat per avaluar sistemàticament l'impacte de diverses tècniques d'optimització de PyTorch (és a dir, quantificació dinàmica, torch.compile, poda local i poda global) en la qualitat d'inferència dels components d'AA, que inclou precisió, temps, i consum d'energia. Concretament, ens centrem en 75 models reals d'HuggingFace per a tasques de classificació d'imatges i detecció d'objectes. Això implica recopilar conjunts de dades i models de Hugging Face, realitzar experiments d'inferència repetits i analitzar les dades recollides per descobrir informació sobre les compensacions entre l'eficàcia del model i l'eficiència energètica per a ambdues tasques. Resultats: La quantificació dinàmica demostra reduccions significatives en el temps d'inferència i el consum d'energia per a la classificació d'imatges, mentre que la poda local no mostra cap impacte positiu. A més, torch.compile demostra un bon equilibri entre la correcció del model i l'eficiència energètica. Per a la detecció d'objectes, totes les tècniques d'optimització redueixen notablement el temps d'inferència, encara que ho fan a costa de la correcció del model. Conclusions: Destacant l'eficàcia de diversos mètodes d'optimització, aquest estudi proporciona als professionals una visió crucial per prendre decisions informades. Es proporcionen guies pràctiques, destacant la importància de seleccionar estratègies d'optimització adaptades als requisits específics de la tasca, impulsant avenços cap a solucions d'IA sostenibles i eficients.

El nombre de sistemes que incorporen components d'intel·ligència artificial (IA) està creixent notablement els últims anys. Aquestes tecnologies poden tenir un fort impacte mediambiental, a causa del seu consum energètic, durant el seu desenvolupament i funcionament. Aquest projecte presenta l'eina GAISSALabel. Una eina que permet avaluar el consum energètic dels components d'IA i proporcionar una etiqueta d'eficiència energètica. Aquesta etiqueta permet entendre les implicacions mediambientals i, eventualment, facilitar la disminució d'aquest impacte. Seguint una metodologia àgil en el desenvolupament, s'analitzen els requisits de GAISSALabel, s'especifica, dissenya, implementa i desplega aquesta eina. S'analitza com l'eina es pot integrar en el procés de desenvolupament de sistemes basats en IA. D'aquesta manera, es presenten exemples d'ús que inclouen la generació d'etiquetes energètiques i recomanacions per reduir el consum d'energia. Per acabar, es conclou que GAISSALabel facilita la conscienciació i reducció de l'impacte mediambiental dels sistemes basats en IA.

Aquest treball de fi de grau investiga l'ús d'arquitectures d'aprenentatge profund per a la tasca de digitalització automàtica de partides d'escacs. El treball previ és escàs i, tot i que ha mostrat resultats prometedors, les tècniques encara necessiten millores addicionals per permetre'n un ús pràctic en producció. La nostra primera contribució es va fer comparant el rendiment de ResNet50, NASNet Mobile, Mobilenet i VGG16 en la classificació de les peces d'escacs a partir d'una imatge de la peça. L'estudi va trobar que totes les arquitectures van ser capaces d'assolir una precisió satisfactòria, arribant al 98\% d'exactitud amb ResNet50. Aquestes arquitectures es van entrenar per desenvolupar un sistema capaç de recuperar les posicions en un tauler d'escacs a partir d'una imatge. En les millors condicions, el sistema pot digitalitzar una imatge d'un tauler d'escacs en 4 segons amb una exactitud del 75\%. Els resultats de les proves de producció destaquen la importància de l'ús de coneixement del domini que tinguem a la nostra disposició i una extracció cuidadosa de les dades, ja que creiem que la majoria de les imprecisions que el sistema cometeix es podrien resoldre amb la introducció d'informació del domini i una forma més òptima d'obtenir les caselles del tauler. L'estudi també proporciona informació sobre el consum d'energia durant l'entrenament de les Xarxes Neuronals Convolucionals.

Als darrers anys, l'Aprenentatge Profund ha assolit moltes fites en una àmplia varietat de camps. Aquestes fites generalment s'aconsegueixen mitjançant l'escalatge de la computació, sense tenir en compte la petjada de carboni que això podria causar. Presentem un marc de treball per reduir el consum d'energia en l'entrenament de models d'Aprenentatge Profund mentre sense deixar de valorar la precisió, basat en un sistema de 4 passos: monitorització, predicció, entrada de l'usuari, acció. Aquest sistema permet prendre decisions interactives durant l'entrenament basades en les dades recopilades fins a aquest punt. Per desenvolupar el sistema de predicció, creem un nou conjunt de dades entrenant una xarxa neuronal convolucional en 12 conjunts de dades múltiples vegades, aplicant els mètodes triats en diferents moments de l'entrenament. El sistema desenvolupat pot predir la precisió de validació amb un 8.4\% d'error, el consum d'energia amb un 14.3\% d'error i l'equilibri entre ambdós amb un 8.9\% d'error. La eina implementada es va mostrar a un grup de voluntaris que la van valorar amb una mitjana de 4.3 sobre 5 en utilitat percebuda i 3.8 sobre 5 en facilitat d'ús percebuda.

Aquesta memòria descriu el treball fet per a l'empresa tecnològica HP, que es dedica a la fabricació i venda d'una àmplia gamma de productes tecnològics, incloent-hi impressores. HP volia estudiar la influència de les característiques d'un fitxer en el temps d'impressió d'aquest, amb l'objectiu d'optimitzar els processos implicats. El projecte té l'objectiu de veure la influència de determinats factors en el temps de processat al driver d'un fitxer, abans d'enviar-lo a la impressora, a través del desenvolupament d'un model de regressió lineal i una anàlisi de clústers. Aquests dos enfocaments proporcionaran resultats que caldrà interpretar de manera diferent i que es complementaran entre ells. Aquesta tesi explica el procés de creació d'aquestes dues investigacions: l'obtenció de les dades, el tractament d'aquestes, la creació del model predictiu i de l'anàlisi, i la comparació dels resultats. De manera addicional, també s'ha desenvolupat una eina que permeti seleccionar un fitxer i obtenir-ne el temps d'impressió, integrant els codis d'obtenció de característiques i model de regressió lineal. Finalment, hi ha una validació d'aquesta eina per part de l'empresa i companys, on es comprova la seva bona funcionalitat i utilitat per als desenvolupadors de l'empresa. També es proposen aplicacions i idees de millora, per tal de fer l'eina més útil i precisa.

Aquest projecte optimitza el procés de facturació a la companyia Amphora Logistics. Millora la precisió i l'eficiència, prediu els pesos dels transportistes i optimitza els costos. Se separa en dos blocs principals: integració i anàlisi de dades. S'analitza el procés de facturació actual, se n'identifiquen les limitacions i es proposa un enfocament integrat. L'extracció de dades automatitzada de les factures dels transportistes i l'anàlisi estadística ajuden els treballadors de finances a controlar els costos d'enviament mitjançant l'ecosistema d'AWS. Una anàlisi comparativa produeix noves tarifes i transportistes òptims en funció de la regió nacional o país i el pes, fent una simulació per avaluar-ne l'impacte. Els models predictius (regressió lineal, xarxes neuronals) prediuen el pes brut i volumètric dels transportistes, utilitzant els productes i el pes brut enviat. Pel que fa a l'impacte d'aquesta tesi, la integració ha reduït un 70\% el temps de facturació, l'anàlisi òptima estalvia un 2.55\% en costos i els models predictius tenen una precisió superior al 90\% al 77.7\% dels enviaments. Aquestes solucions milloren l'eficiència, redueixen els costos i milloren la presa de decisions a Amphora Logistics.

A medida que la tecnología sigue evolucionando a una velocidad exponencial, las empresas luchan por mantenerse al día con la aparición de nuevas tecnologías, lo que inevitablemente les lleva a tener uno o más sistemas heredados. Las industrias muy restringidas, como la química, se ven especialmente afectadas por este problema, ya que cada cambio es más largo y difícil de realizar. Las empresas hacen todo lo posible por aprovechar las tecnologías y técnicas de diseño modernas durante la fase de diseño para prolongar la vida útil de sus productos. Sin embargo, estos esfuerzos resultan insignificantes si el producto no se mantiene correctamente a lo largo del tiempo. Este fue el enfoque usado cuando se construyó RAD hace veinticinco años, una aplicación web diseñada para ayudar a medir la eficiencia y la variabilidad de una planta química a partir de datos relacionados con la producción. Se construyó utilizando las tecnologías más novedosas de la época, pero no se mantuvo adecuadamente y poco a poco se transformó en un sistema heredado. Por ello, una gran variedad de problemas surgieron respecto su capacidad de mantenimiento, ampliación y compatibilidad. Se prohibió la modificación y extensión del sistema debido a las malas decisiones de diseño tomadas en la fase inicial. Esto provocó que no se pudiera satisfacer las necesidades actuales de los usuarios. Además, la aplicación web no funcionaba correctamente en el navegador de preferencia, Google Chrome. Por último, y lo más urgente, se ha anunciado recientemente que el servidor Windows donde se almacena el sistema heredado se renovará este año. Esto supone un riesgo importante para la funcionalidad de RAD, ya que el sistema heredado no funcionará correctamente en el nuevo servidor Windows. Por estos motivos, el equipo de desarrollo se sintió apresurado para revivir el sistema heredado antes de que fuera demasiado tarde, y aquí es donde entra en juego este trabajo de final de grado. El objetivo de este trabajo de final de grado es ayudar al equipo de desarrollo a resolver los problemas con el sistema heredado en el periodo deseado de este año. Para ello, se reimplementarán desde cero sus funcionalidades principales, las operaciones, utilizando los requisitos actualizados de los usuarios. Estas funcionalidades se construirán en una nueva aplicación web con tecnologías y un diseño arquitectónico más moderno. Para completar este trabajo de manera efectiva, se utilizará la metodología Agile SCRUM. Además de este objetivo principal, ya que en un futuro próximo un equipo de desarrolladores se hará cargo del desarrollo de la aplicación web, el objetivo de esta tesis también es dejar la aplicación web con un entorno de desarrollo adecuado para que un equipo de desarrolladores se haga cargo una vez que se realiza la tesis. Con estos objetivos satisfechos, el equipo de desarrollo estará un paso más cerca de revivir el sistema heredado y resolver este problema inicial este año.

Individuals with ADHD face significant challenges in their daily lives due to difficulties with attention, hyperactivity, and impulsivity. These challenges are especially pronounced in the workplace or educational settings, where the ability to sustain attention and manage time effectively is crucial for success. Virtual reality (VR) software has emerged as a promising tool for improving productivity in individuals with ADHD. However, the effectiveness of such software depends on the identification of potential distractions and timely intervention. The proposed computer screenshot classification approach addresses this need by providing a means for identifying and analyzing potential distractions within VR software. By integrating Convolutional Neural Networks (CNNs), Optical Character Recognition (OCR), and Natural Language Processing (NLP), the proposed approach can accurately classify screenshots and extract features, facilitating the identification of distractions and enabling timely intervention to minimize their impact on productivity. The implications of this research are significant, as ADHD affects a substantial portion of the population and has a significant impact on productivity and quality of life. By providing a novel approach for studying, detecting, and enhancing productivity, this research has the potential to improve outcomes for individuals with ADHD and increase the efficiency and effectiveness of workplaces and educational settings. Moreover, the proposed approach holds promise for wider applicability to other productivity studies involving computer users, where the classification of screenshots and feature extraction play a crucial role in discerning behavioral patterns.

El auge de los sistemas de machine learning (ML), la mejora de sus capacidades y el mayor tamaño de los sistemas, ha incrementado el impacto medioambiental de los modelos ML. Sin embargo, la información sobre cómo se mide, comunica y evalúa la huella de carbono de los modelos de ML es escasa. Este proyecto, basado en un análisis de 1.417 modelos de ML y conjuntos de datos asociados en Hugging Face, el repositorio más popular para modelos de ML preentrenados, tiene como objetivo proporcionar una solución integrada para comprender, informar y optimizar la eficiencia de carbono de los modelos de ML. Además, implementamos una aplicación web que genera etiquetas de eficiencia energética para modelos de ML y permite visualizar sus emisiones de carbono. Con menos del 1% de los modelos en Hugging Face proporcionando información sobre las emisiones de carbono, el proyecto subraya la necesidad de mejorar las prácticas de reporte energético y la promoción del desarrollo de modelos eficientes en carbono dentro de la comunidad Hugging Face. Para abordar esta cuestión, ofrecemos una herramienta web que produce etiquetas de eficiencia energética para modelos de ML, una contribución que fomenta la transparencia y el desarrollo de modelos sostenibles dentro de la comunidad de ML. Permite la creación de etiquetas energéticas, al tiempo que proporciona valiosas visualizaciones de los datos de emisiones de carbono. Esta solución integrada constituye un paso importante hacia prácticas de IA más sostenibles medioambientalmente.

Les aplicacions d'aprenentatge automàtic (ML) han experimentat un ràpid creixement en els darrers anys, la qual cosa ha provocat un augment del consum d'energia associat a la formació i el desplegament de models ML, fet que ha generat preocupacions sobre el seu impacte ambiental. En aquest projecte de recerca, pretenem investigar l'eficiència energètica dels models ML durant les etapes d'optimització i inferència. Investigarem específicament l'efecte de les estratègies d'optimització de ML com la quantificació i la poda sobre l'energia consumida i la correctesa del model ML. També veurem com els diferents marcs d'optimització, com PyTorch i TensorFlow, afecten aquestes mètriques tant en les fases d'optimització com d'inferència. A més, realitzarem una avaluació contextual de l'eficiència energètica per a diversos models de ML en diversos dominis, inclosos el processament del llenguatge natural, la visió per ordinador i la generació de codi. Mitjançant l'exploració de sis models de ML, abordarem qüestions de recerca relacionades amb l'energia consumida, la correctesa i l'optimització de la compensació. Tot això es farà mitjançant dos scripts de Python: l'script d'optimització, que optimitza els sis models i desa totes les versions al disc, i l'script d'inferència, que agafa els models desats per l'script d'optimització i fa inferència sobre ells. Tots dos scripts també generen un fitxer csv amb els resultats de cada fase. Els resultats del projecte mostren que els marcs, dominis, models i estratègies d'optimització de ML tenen un efecte significatiu en el consum d'energia tant en optimització com en inferència: TensorFlow consumeix menys energia que PyTorch però PyTorch aconsegueix una major correctesa en inferència, mentre que PyTorch funciona millor. en optimització, i la poda consumeix menys energia que la quantificació. Al mateix temps, els models de visió per ordinador són molt eficients energèticament, mentre que els models de codi requereixen una mica més d'energia que els models de text. Els resultats d'aquest projecte d'investigació proporcionen informació sobre l'optimització de l'energia consumida en els models de ML, contribuint a aplicacions ML més sostenibles i respectuoses amb el medi ambient.

L'aprenentatge automàtic, un tipus particular d'intel·ligència artificial, s'utilitza cada vegada més en els sistemes de software modern. A més de requerir molta energia, el seu ús augmenta les emissions de CO2, té un elevat cost financer i consumeix molts recursos. Encara que existeixen nombrosos estudis que analitzen les possibilitats del ML, molt pocs d'ells se centren en les seves característiques ecològiques, com l'ús d'energia o la seva petjada de carboni. Aquest estudi tracta d'augmentar la conscienciació dels costos associats al desplegament d'un sistema de ML en algunes de les plataformes d'allotjament en el núvol més avançades. Per a això, duem a terme un ampli estudi empíric per a avaluar i contrastar les emissions i la latencia de quatre proveïdors de núvol diferents, Amazon Web Services, Azure, Heroku i Railway