Aprèn - Fernando Marqués Acosta

Keratoconus is a disease that affects the cornea, worn down and causing it to cause Serious vision problems if not treated in time. Currently, the methods used to diagnose this disease have limitations of speed and precision. In this work, a model based on neural networks (Deep Learning) is implemented, specifically using convolutional neural networks (CNN) for the automatic classification of human eye images, distinguishing whether they are sick eyes or not, with the aim of improving the detection of keratoconus. In order to develop a solution, ocular images of different patients have been collected divided into two categories: positive and negative keratoconus. A U-Net network has been defined, which has allowed us to pre-process the images given, in order to create masks of the pupils and focus CNN's efforts on analyzing them. The architecture of the models includes convolutional layers, activation functions, pooling layers and normalization, followed by fully connected layers to make a segmentation or classification possible. Models have been evaluated using metrics such as precision, loss, or precision. These results suggest that convolutional neural networks can be a useful tool to support the diagnosis of keratoconus in an automated and efficient way. In conclusion, the use of U-Nets and CNNs in eye imaging analysis has great potential to improve diagnosis, offering a promising alternative to traditional keratocone detection methods.

El queratocono es una enfermedad la cual afecta la córnea, desgastándola y provocando graves problemas de visión si no es tratada a tiempo. Actualmente, los métodos utilizados por el diagnóstico de esta enfermedad tienen limitaciones de rapidez y precisión. En este trabajo, se implementa un modelo basado en redes neuronales (Deep Learning), concretamente utilizando las redes neuronales convolucionales (CNN) para la clasificación automática de imágenes de ojos humanos, distinguiendo si son de ojos enfermos o no, con el objetivo de mejorar la detección del queratocono. Para poder desarrollar una solución, se han recopilado imágenes oculares de diferentes pacientes divididas en dos categorías: queratocono positivo y negativo. Se ha definido una red Uno-Limpio, la cual nos ha permitido hacer un preprocessat a las imágenes dadas, para crear máscaras de las pupilas y centrar los esfuerzos de la CNN al analizarlas. La arquitectura de los modelos incluye capas convolucionales, funciones de activación, capas de pooling y normalización, seguidas de capas totalmente conectadas para hacer posible una segmentación o clasificación. Los modelos han sido evaluados utilizando métricas como la precisión, la pérdida o la precisión. Estos resultados sugieren que las redes neuronales convolucionales pueden ser una herramienta útil para apoyar al diagnóstico del queratocono de manera automatizada y eficiente. En conclusión, el uso de Uno-Limpios y CNNs en el análisis de imágenes oculares tienen un gran potencial para mejorar la diagnosis, ofreciendo una alternativa prometedora a los métodos tradicionales de detección del queratocono.

El queratocon és una malaltia la qual afecta la còrnia, tot desgastant-la i provocant greus problemes de visió si no és tractada a temps. Actualment, els mètodes utilitzats pel diagnòstic d'aquesta malaltia tenen limitacions de rapidesa i precisió. En aquest treball, s'implementa un model basat en xarxes neuronals (Deep Learning), concretament utilitzant les xarxes neuronals convolucionals (CNN) per a la classificació automàtica d'imatges d'ulls humans, tot distingint si són d'ulls malalts o no, amb l'objectiu de millorar la detecció del queratocon. Per a poder desenvolupar una solució, s'han recopilat imatges oculars de diferents pacients dividides en dues categories: queratocon positiu i negatiu. S'ha definit una xarxa U-Net, la qual ens ha permès fer un preprocessat a les imatges donades, per tal de crear màscares de les pupil·les i centrar els esforços de la CNN en analitzar-les. L'arquitectura dels models inclou capes convolucionals, funcions d'activació, capes de pooling i normalització, seguides de capes totalment connectades per fer possible una segmentació o classificació. Els models han estat avaluats utilitzant mètriques com la precisió, la pèrdua o la precisió. Aquests resultats suggereixen que les xarxes neuronals convolucionals poden ser una eina útil per a donar suport al diagnòstic del queratocon de manera automatitzada i eficient. En conclusió, l'ús de U-Nets i CNNs en l'anàlisi d'imatges oculars tenen un gran potencial per a millorar la diagnosi, oferint una alternativa prometedora als mètodes tradicionals de detecció del queratocon.

Examen Parcial Restricted access to the UPC academic community

Examen

Albors Zumel, Laia; Marqués Acosta, Fernando; Ruiz, Javier; Solé, Àlex

Data de publicació: 2024

Facultat de Matemàtiques i Estadística (FME)
Facultat d'Informàtica de Barcelona (FIB)

APRENENTATGE AUTOMÀTIC 2 - 270222

Accés al text complet

Analysis of histhopatological images for assessing cancer samples

Treball Final de Grau

Sáez I Parés, Laura

Tutor/a - Director/a: Marqués Acosta, Fernando

Data de publicació: 2024

Facultat d'Informàtica de Barcelona (FIB)

Veure detall Accés al text complet

La medicina dirigida anti-HER2 emfatitza la importància d'un diagnòstic precís i ràpid de la positivitat d'HER2 en el càncer de mama, normalment mitjançant proves d'immunohistoquímica (IHC). L'impacte en els resultats dels pacients, juntament amb la digitalització de l'assistència sanitària i el progrés recent de la visió per ordinador, impulsa el desenvolupament d'algorismes de diagnòstics assistits per la IA com a eines de suport per als patòlegs. Aquest estudi s'emmarca dins l'àmbit del projecte DigiPatICS que desenvolupa les tasques esmentades anteriorment. El projecte està entrant en una nova fase centrada en la millora del rendiment i experimenta un creixement important a causa de la posada en producció dels seus algorismes. La premissa d'aquesta tesi és la importància d'un bon tractament de les dades, així com el desenvolupament d'una metodologia sistemàtica, ambdós factors abans ignorats amb un augment de prioritats considerable. S'utilitzen dos models U-Net per a la segmentació: discriminació epitelial versus no epitelial mitjançant màscares i segmentació semàntica cel·lular. Només aquest últim està dins de l'abast d'aquesta tesi, i el seu rendiment es mesura mitjançant la puntuació F1 per classe a nivell cel·lular. La investigació se centra en la generalització interhospitalària, les estratègies de partició tant pel que fa als pacients com la distribució de classes, i l'addició o exclusió d'elements al conjunt de dades. Els experiments proposats i els seus resultats ens porten a identificar i corregir pràctiques existents que es podrien millorar. També s'han pogut augmentar les dades d'entrenament disponibles. En conjunt, la principal contribució d'aquest treball és obrir un debat sobre com adaptar-se al canvi de paradigma del projecte. Aquests resultats preliminars i millores pretenen constituir una base, envoltada d'un marc sòlid que hauria de facilitar la seva reproductibilitat i extrapolació potencial a partir d'aquest punt.

Targeted anti-HER2 medicine emphasizes the importance of accurate and fast HER2-positivity diagnosis in breast cancer, typically via immunohistochemistry (IHC) testing. The impact on patient outcomes, along with healthcare digitization and recent computer vision progress, drives the development of AI-assisted diagnostic algorithms as support tools for pathologists. This study falls within the scope of the DigiPatICS project developing the tasks mentioned above. The project is entering a new phase focused on performance enhancement and possibly undergoing a significant growth due to their algorithms' put into production. The premise of this thesis is the importance of proper data handling, as well as the development of a systematic methodology, both factors previously disregarded with a now considerable priority increase. Two U-Net models are used for the segmentation ¿ epithelial vs. non-epithelial discrimination through masks, and cell semantic segmentation. Only the latter is within the scope of this thesis, and its performance is measured through per-class F1-score at cell level. Research focuses on inter-hospital generalization, partition strategies regarding both the patients and class distribution, and the addition or exclusion of elements in the dataset. The proposed experiments and the resulting findings lead us to identify and correct existing practices that could be improved. It has also been possible to increase the available training data. Overall, the main contribution of this work is to open a discussion on how to adapt to the paradigm shift of the project. These preliminary results and improvements are intended to form a foundation, surrounded by a robust framework that should facilitate their reproducibility and potential extrapolation from this point forward.

Graph signal processing techniques for machine learning optimization

Projecte Final de Màster Oficial

Beaus Iranzo, Pablo

Tutor/a - Director/a: Marqués Acosta, Fernando

Data de publicació: 2024

Escola Tècnica Superior d'Enginyeria de Telecomunicació de Barcelona (ETSETB)

Veure detall Accés al text complet

Música politècnica

Llibre

Terraza, Ignasi; Cuscó Clarasó, Joan; Vivo Mestres, Laura; Planas Planas, Mireia; Nieto Garcia, Pilar; Prats Soler, Clara; Royo, Alberto; Bayer, Pilar; Jesús, Natalia de; Pablo, Amanda de; Ruiz de Alda, Thaïs; Marqués Acosta, Fernando; Ruiz Hidalgo, Javier; Salembier Clairon, Philippe Jean; Sora Domenjó, Carles; Cruixent, Ferran

Data de publicació: 2024

ISBN: 9788410008885 (en línia); 9788410008878 (imprès)

Veure detall Accés al text complet

Automatic audiovisual ad generator

Treball Final de Grau

Fernández Ardanuy, Javier

Tutor/a - Director/a: Marqués Acosta, Fernando; López Cerro, Joaquin Sergio

Data de publicació: 2024

Escola Tècnica Superior d'Enginyeria de Telecomunicació de Barcelona (ETSETB)

Veure detall Accés al text complet

Joint analysis of RGB images and Lidar data using NeRFs

Treball Final de Grau

Cruz Carné, Nil

Tutor/a - Director/a: Marqués Acosta, Fernando; Albors Zumel, Laia

Data de publicació: 2024

Escola Tècnica Superior d'Enginyeria de Telecomunicació de Barcelona (ETSETB)

Veure detall Accés al text complet

3D reconstruction of scenes from 2D images is one of the fundamental issues of image-based modeling and computer vision and it has been tackled in multiple ways for a few decades. In this work, an in-depth study of NeRFs is carried out, a new technology based on deep learning that is capable of rendering 3D scenes from novel viewpoints through a volumetric function. NeRFs are compared with existing 3D reconstruction techniques and the evolutions of the original NeRF model are studied, focusing on those that incorporate features that could be useful for a future NeRF model of our own. This model should be optimized to reconstruct 3D scenes from aerial images of natural environments for their future monitoring.

La reconstrucción 3D de escenas a partir de imágenes 2D es una de las tareas más importantes para la comunidad de visión por computador y ha sido encarada de múltiples maneras en las últimas décadas. En este trabajo, se hace un estudio a fondo de los NeRFs, una nueva tecnología basada en deep learning que es capaz de renderizar escenas en 3D desde cualquier punto de vista mediante una función volumétrica. Se comparan los NeRFs con técnicas ya existentes de reconstrucción 3D y se estudian las evoluciones del modelo NeRF original poniendo el foco en las que incorporan características que podrían ser útiles para un futuro modelo NeRF propio. Este modelo tendría que estar optimizado para reconstruir escenas en 3D a partir de imágenes aéreas de entornos naturales para su futura monitorización.

La reconstrucció 3D d?escenes a partir d?imatges 2D és una de les tasques més importants per la comunitat de visió per computador i ha estat encarada de múltiples maneres en les últimes dècades. En aquest treball, es fa un estudi a fons dels NeRFs, una nova tecnologia basada en deep learning que és capaç de renderitzar escenes en 3D des de qualsevol punt de vista mitjançant una funció volumètrica. Es compara els NeRFs amb tècniques ja existents de reconstrucció 3D i s?estudien les evolucions del model NeRF original posant el focus en les que incorporen característiques que podrien ser útils per un futur model NeRF propi. Aquest model hauria d?estar optimizat per reconstruir escenes en 3D a partir d?imatges aèrees d?entorns naturals per a la seva futura monitorització.

Assessing Tree-Based Phenotype Prediction on the UK Biobank

Treball Final de Grau

Meléndez Ramos, Alex

Tutor/a - Director/a: Marqués Acosta, Fernando

Data de publicació: 2023

Escola Tècnica Superior d'Enginyeria de Telecomunicació de Barcelona (ETSETB)

Veure detall Accés al text complet

Examen Final Restricted access to the UPC academic community

Examen

Albors Zumel, Laia; Hernández Pérez, Carlos; Marqués Acosta, Fernando; Ruiz Hidalgo, Javier

Data de publicació: 2023

Facultat d'Informàtica de Barcelona (FIB)
Facultat de Matemàtiques i Estadística (FME)

APRENENTATGE AUTOMÀTIC 2 - 270222

Accés al text complet

Examen Parcial Restricted access to the UPC academic community

Examen

Albors Zumel, Laia; Hernández Pérez, Carlos; Marqués Acosta, Fernando; Ruiz Hidalgo, Javier

Data de publicació: 2023

Facultat de Matemàtiques i Estadística (FME)
Facultat d'Informàtica de Barcelona (FIB)

APRENENTATGE AUTOMÀTIC 2 - 270222

Accés al text complet

Meta-learning for neural network weight prediction and compressive learning

Projecte Final de Màster Oficial

Bonet Solé, David

Tutor/a - Director/a: Marqués Acosta, Fernando; Ioannidis, Alexander; Mas Montserrat, Daniel

Data de publicació: 2023

Escola Tècnica Superior d'Enginyeria de Telecomunicació de Barcelona (ETSETB)

Veure detall Accés al text complet

The rapid expansion in the size of new datasets and available data online has led to significant scaling of the size of neural models. However, training deep learning models and performing hyperparameter tuning is computationally demanding and very time-consuming. Thus, there is a growing need for fast and efficient learning techniques. In this thesis, we explore two meta-learning approaches to provide faster and data-driven systems for multiple tasks. First, we introduce HyperFast, a meta-trained hypernetwork designed for instant classification of tabular data in a single forward pass. HyperFast generates the weights of a task-specific neural network tailored to an unseen dataset that can be directly used for classification inference, removing the need for training a model. We report extensive experiments with OpenML and genomic data, comparing HyperFast to competing tabular data neural networks, traditional ML methods, AutoML systems, and boosting machines such as XGBoost. HyperFast shows highly competitive results, while being significantly faster. Our approach introduces a promising paradigm for fast classification and rapid model deployment. Second, we propose a Compressive Meta-Learning framework as an alternative to traditional compressive learning, wherein random, non-linear features are used to project large-scale databases onto compact information-preserving representations. These database-level summaries are later used to learn parameters of interest from the underlying data distribution, without the need to access the original samples, providing an efficient and privacy-friendly learning framework. However, both the encoding and decoding techniques are typically randomized and data-independent, not benefiting from the underlying structure of the data. In our approach, we meta-learn both the encoding and decoding stages of compressive learning methods in a data-driven fashion by using neural networks. To showcase the potential of the presented Compressive Meta-Learning framework, we show results for neural network-based compressive principal component analysis (PCA) and compressive ridge regression.

Team Recognition in Sports Events

Projecte Final de Màster Oficial

Pereira Dos Santos, Victor Jerri

Tutor/a - Director/a: Marqués Acosta, Fernando; Rius Ferrer, Ignasi

Data de publicació: 2023

Escola Tècnica Superior d'Enginyeria de Telecomunicació de Barcelona (ETSETB)

Veure detall Accés al text complet

Differential architecture search for efficient MLP-based networks

Treball Final de Grau

Gadea Alcaide, Tomás

Tutor/a - Director/a: Marqués Acosta, Fernando; Chrysos, Grigorios

Data de publicació: 2023

Facultat d'Informàtica de Barcelona (FIB)

Veure detall Accés al text complet

Detection and localization of image manipulations: Image forensic techniques

Treball Final de Grau

Calsina Gamiz, Inés

Tutor/a - Director/a: Marqués Acosta, Fernando; Bestagini, Paolo; Mandelli, Sara

Data de publicació: 2023

Escola Tècnica Superior d'Enginyeria de Telecomunicació de Barcelona (ETSETB)

Veure detall Accés al text complet

The Noiseprint method is an image forensic technique that extracts the noise residual pattern which contents the camera model fingerprint. This fingerprint is represented by a set of traces left on the image by the camera device when capturing it. Based on a review of the literature the Noiseprint network is obtained by means of a Siamese network with two CNN denoisers, which are trained with pairs of image patches coming from the same or different cameras and position on the image (labels +1 and -1 respectively). This thesis focuses on the localization of local forgeries in images created by editing programs based on deep learning, as well as, exploring the robustness of the method when the images are post-processed. Experimental results show that this forensic technique works successfully when the images are uncompressed. Hence, further research is needed to make the Noiseprint method a completely trusted localization system.

El método ‘Noiseprint' es una técnica forense de imágenes que extrae el patrón residual de ruido que contiene la huella digital del modelo de cámara. Esta huella digital está representada por un conjunto de trazas dejadas en la imagen por el dispositivo al capturarla. Según la literatura consultada, la red del ‘Noiseprint' se obtiene mediante una red siamesa con dos CNN que extraen el ruido, las cuales se entrenan con pares de fragmentos de una imagen, procedentes de la misma o diferente cámara y posición en la imagen (etiquetas +1 y -1 respectivamente). Esta tesis se centra en la localización de falsificaciones locales en imágenes creadas por programas de edición basados en aprendizaje profundo, así como, en explorar la robustez del método cuando las imágenes son post-procesadas. Los resultados experimentales muestran que esta técnica forense funciona con éxito cuando las imágenes están sin comprimir. Por lo tanto, es necesario seguir investigando para convertir el método ‘Noiseprint' en un sistema de localización totalmente fiable

El mètode ‘Noiseprint' és una tècnica forense d'imatges que extreu el patró residual de soroll que conté la empremta digital del model de càmera. Aquesta empremta digital està representada per un conjunt de traces deixades a la imatge pel dispositiu al capturar-la. Segons la literatura consultada, la xarxa del ‘Noiseprint' s'obté mitjançant una xarxa siamesa amb dos CNN que extreuen el soroll, les quals s'entrenen amb parells de fragments d'una imatge, procedents de la mateixa o diferent càmera i posició a la imatge (etiquetades +1 i -1 respectivament). Aquesta tesi es centra en la localització de falsificacions locals en imatges creades per programes d'edició basats en aprenentatge profund, així com explorar la robustesa del mètode quan les imatges són post-processades. Els resultats experimentals mostren que aquesta tècnica forense funciona amb èxit quan les imatges estan sense comprimir. Per tant, cal continuar investigant per convertir el mètode ‘Noiseprint' en un sistema de localització totalment fiable.

Generation of synthetic high-resolution echocardiograms using Video Diffusion Models

Treball Final de Grau

Olivé Pellicer, Alexandre

Tutor/a - Director/a: Marqués Acosta, Fernando; Delp, Edward J.

Data de publicació: 2023

Escola Tècnica Superior d'Enginyeria de Telecomunicació de Barcelona (ETSETB)

Veure detall Accés al text complet

The echocardiogram is a video sequence of a human patient's heart captured using ultrasound imaging. Echocardiograms can show the position and movement of the membranes, blood vessels, and cavities of human patients' hearts. They enable the diagnosis of cardiovascular diseases. Deep Learning has shown success in a variety of biomedical applications such as disease diagnosis, protein structure prediction, and image reconstruction from brain activity. Deep Learning methods are usually data-driven, meaning that they typically require big datasets for training. However, in the medical field, data points are scarce due to factors such as privacy and cost. This can make it difficult to train and evaluate Deep Learning-based medical analysis methods. The lack of data can be addressed using generative models, which are Deep Learning models that can produce new samples given a set of known samples. In this thesis, we investigate the generation of echocardiogram video sequences using diffusion models. Diffusion models are a type of popular generative model, which are recently used for video generation. Existing video diffusion models focus on generating natural images. In this thesis, We improve the video diffusion model for echocardiogram generation. Our approach uses a customized 3D self-attention mechanism, which enhances the video quality and reduces GPU memory consumption. Our approach also introduces an echocardiogram-specific super-resolution module, which enables the generation of high-resolution echocardiograms. The experimental results showed that our approach can generate higher quality videos compared to the original video diffusion models. Compared to existing generative methods for echocardiograms, our approach can generate video sequences with higher resolution, more details, and improved smoothness

L'ecocardiograma és una seqüència de vídeo del cor d'un pacient humà captada mitjançant imatges d'ultrasons. Els ecocardiogramas poden mostrar la posició i el moviment de les membranes, els vasos sanguinis i les cavitats del cor de pacients humans. Permeten diagnosticar malalties cardiovasculars. El Deep Learning ha demostrat la seva eficàcia en diverses aplicacions biomèdiques, com el diagnòstic de malalties, la predicció de l'estructura de les proteïnes i la reconstrucció d'imatges a partir de l'activitat cerebral. Els mètodes d'aprenentatge profund solen basar-se en dades, cosa que significa que normalment requereixen grans conjunts de dades per a l'entrenament. No obstant això, en el camp mèdic, els punts de dades són escassos a causa de factors com la privacitat i el cost. Això pot dificultar l'entrenament i l'avaluació de mètodes d'anàlisi mèdica basades en Deep Learning. La falta de dades es pot abordar utilitzant models generatius, que són models de Deep Learning que poden produir noves mostres donat un conjunt de mostres conegudes. En aquesta tesi, investiguem la generació de seqüències de vídeo de ecocardiogramas utilitzant Diffusion Models. Els Diffusion Models són un tipus de model generatiu popular, que s'utilitzen recentment per a la generació de vídeo. Els Video Diffusion Models existents se centren en la generació d'imatges naturals. En aquesta tesi, millorem el Video Diffusion Model per a la generació d'ecocardiogramas. El nostre enfocament utilitza un mecanisme de 3D self-attention, que millora la qualitat del vídeo i redueix el consum de memòria de la GPU. El nostre enfocament també introdueix un mòdul de super-resolució específic per a ecocardiogramas, que permet la generació de ecocardiogramas d'alta resolució. Els resultats experimentals mostre que el nostre enfocament pot generar vídeos de major qualitat en comparació amb els Video Diffusion Models originals. En comparació amb els mètodes generatius existents per a ecocardiogramas, el nostre enfocament pot generar seqüències de vídeo amb major resolució, més detalls i millor suavitat.

El ecocardiograma es una secuencia de vídeo del corazón de un paciente humano captada mediante imágenes de ultrasonidos. Los ecocardiogramas pueden mostrar la posición y el movimiento de las membranas, los vasos sanguíneos y las cavidades del corazón de pacientes humanos. Permiten diagnosticar enfermedades cardiovasculares. El Deep Learning ha demostrado su eficacia en diversas aplicaciones biomédicas, como el diagnóstico de enfermedades, la predicción de la estructura de las proteínas y la reconstrucción de imágenes a partir de la actividad cerebral. Los métodos de aprendizaje profundo suelen basarse en datos, lo que significa que normalmente requieren grandes conjuntos de datos para el entrenamiento. Sin embargo, en el campo médico, los puntos de datos son escasos debido a factores como la privacidad y el coste. Esto puede dificultar el entrenamiento y la evaluación de métodos de análisis médico basados en Deep Learning. La falta de datos se puede abordar utilizando modelos generativos, que son modelos de Deep Learning que pueden producir nuevas muestras dado un conjunto de muestras conocidas. En esta tesis, investigamos la generación de secuencias de vídeo de ecocardiogramas utilizando Diffusion Models. Los Diffusion Models son un tipo de modelo generativo popular, que se utilizan recientemente para la generación de vídeo. Los Diffusion Models de vídeo existentes se centran en la generación de imágenes naturales. En esta tesis, mejoramos el Video Diffusion Model para la generación de ecocardiogramas. Nuestro enfoque utiliza un mecanismo de 3D self-attention, que mejora la calidad del vídeo y reduce el consumo de memoria de la GPU. Nuestro enfoque también introduce un módulo de super-resolución específico para ecocardiogramas, que permite la generación de ecocardiogramas de alta resolución. Los resultados experimentales mostraron que nuestro enfoque puede generar vídeos de mayor calidad en comparación con los Video Diffusion Models originales. En comparación con los métodos generativos existentes para ecocardiogramas, nuestro enfoque puede generar secuencias de vídeo con mayor resolución, más detalles y mejor suavidad.