Aprèn - Verónica Vilaplana Besler

El càncer de mama és una malaltia molt present en la societat arreu del món. Gràcies a nous avenços en medicina i tecnologia, cada vegada se'n pot fer un diagnòstic més precís i iniciar el tractament ràpidament, augmentant-ne la taxa de supervivència. DigiPatICS és un projecte nascut l'any 2020 a l'Institut Català de la Salut, per millorar la qualitat dels serveis d'atenció mèdica i augmentar el benestar de la població catalana. Un dels camps d'investigació de DigiPatICS és la detecció de càncer de mama en biòpsies d'Hematoxilina i Eosina mitjançant eines d'inteligència artificial, un dels motius pel quals la Universitat Politècnica de Catalunya forma part d'aquest projecte. Gràcies a l'ús de grans escàners, es poden obtenir Whole Slide Images d'aquestes mostres, de manera que es puguin utilitzar per entrenar models d'aprenentatge automàtic i, així, accelerar la detecció de zones tumorals en el teixit mamari. Aquest treball té com a objectiu identificar, comparar i seleccionar nous algoritmes per a la segmentació semàntica i la classificació del càncer de mama en imatges. L'objectiu és aportar millores a la pipeline del projecte DigiPatICS, utilitzant tècniques innovadores que maximitzin l'eficàcia de la detecció de regions tumorals. En particular, es busca aplicar algoritmes recents que tinguin un gran potencial, mantenint així les tècniques a l'avantguarda de la investigació mèdica. En aquest treball, s'estudien dues vies de detecció de càncer de mama: la segmentació semàntica i la classificació de patches. En el cas de la segmentació, s'entrena una U-Net amb una EfficientNet com a codificador, mentre que per a la classificació utilitzem el Vision Transformer UNI amb una MLP. A més, s'analitzen tots els passos de preprocessat de les dades d'entrada al model per tal d'optimitzar-ne els resultats, així com la visualització d'aquests. Els models s'han entrenat a partir d'una base de dades anotada amb WSI pròpies de l'Institut Català de la Salut, que s'està contruint avui en dia sota el marc del projecte DigiPatICS. En aquest treball, es descriu tot el procés de creació d'aquest dataset i la seva anotació. Els resultats obtinguts, tot i ser preliminars degut a la disponibilitat limitada de WSI fins el moment, són força prometedors; es pot observar una millora significativa respecte el model base de la pipeline inicial. En un futur, amb la base de dades completa, es podria continuar l'estudi per aconseguir un major aprenentatge dels models i els algoritmes seleccionats.

Breast cancer is a disease highly prevalent in society worldwide. Thanks to new advances in medicine and technology, it is increasingly possible to make a more accurate diagnosis and initiate treatment quickly, thus increasing the survival rate. DigiPatICS is a project born in 2020 at the Catalan Health Institute, aimed at enhancing the quality of healthcare services and improving the well-being of the Catalan population. One of the research areas of DigiPatICS is the detection of breast cancer in Hematoxylin and Eosin-stained biopsies using artificial intelligence tools, which is one of the reasons why the Polytechnic University of Catalonia is involved in this project. With the use of large scanners, Whole Slide Images of these samples can be obtained, which can be used to train machine learning models and thereby accelerate the detection of tumor zones in breast tissue. This work aims to identify, compare, and select new algorithms for semantic segmentation and classification of breast cancer on images. The goal is to bring improvements to the DigiPatICS project's pipeline, using innovative techniques that maximize the effectiveness of tumor region detection. Specifically, the aim is to apply recent algo- rithms with high potential, keeping techniques at the forefront of medical research. This study investigates two approaches to breast cancer detection: semantic segmentation and patches classification. For segmentation, a U-Net with an EfficientNet encoder is trained, while for classification, the Vision Transformer UNI with an MLP is employed. Additionally, all preprocessing steps of input data to the model are analyzed to optimize results, along with their visualization. Models have been trained using a dataset annotated with WSI specific to the Catalan Health Institute, currently being developed under the DigiPatICS project framework. This work describes the entire process of creating this dataset and its annotation. The results obtained, though preliminary due to the limited availability of WSI until now, are quite promising; a significant improvement is observed compared to the baseline model of the initial pipeline. In the future, with a complete database, the study could be continued to achieve further learning from the selected models and algorithms.

Analysis of infrared thermal images for the study of diabetic foot disease

Projecte Final de Màster Oficial

Cubero Valentín, David

Tutor/a - Director/a: Vilaplana Besler, Verónica; Pardàs Feliu, Montse

Data de publicació: 2024

Escola Tècnica Superior d'Enginyeria de Telecomunicació de Barcelona (ETSETB)

Veure detall Accés al text complet

Synthesis of prostate magnetic resonance images using generative adversarial networks

Projecte Final de Màster Oficial

Guardià Olivella, Oriol

Tutor/a - Director/a: Vilaplana Besler, Verónica; Lezcano Giardina, Claudia Patricia

Data de publicació: 2024

Escola Tècnica Superior d'Enginyeria de Telecomunicació de Barcelona (ETSETB)

Veure detall Accés al text complet

Federated Learning applied to Brain Tumor Segmentation using MRI Scans

Projecte Final de Màster Oficial

Ysern García, Maria

Tutor/a - Director/a: Vilaplana Besler, Verónica; Cumplido Mayoral, Irene

Data de publicació: 2023

Escola Tècnica Superior d'Enginyeria de Telecomunicació de Barcelona (ETSETB)

Veure detall Accés al text complet

In this thesis we analyze Federated Learning, a novel approach for distributed Deep Learning model training that maintains data privacy. In Federated Learning, a server coordinates the process, and multiple clients possess the data. We conducted a comparison between federated and traditional Deep Learning on a brain tumor segmentation task. We developed a versatile framework that allows for both centralized and federated training, featuring various federated algorithms, with the flexibility to add more. The results indicate that while it is challenging for federated models to reach the performance of centralized ones, it is not impossible. The more local training clients do before the server aggregates their models, the more stable the training becomes, leading to performance improvements. It is worth noting that the drop in performance safeguards patient privacy, while also enabling access to more medical data without violating legal restrictions.

En esta tesis analizamos el aprendizaje federado, un enfoque novedoso para el entrenamiento distribuido de modelos de aprendizaje profundo que mantiene la privacidad de los datos. En el aprendizaje federado, un servidor coordina el proceso y múltiples clientes poseen los datos. Hemos realizado una comparación entre el aprendizaje federado y el aprendizaje profundo tradicional en una tarea de segmentación de tumores cerebrales. Hemos desarrollado un marco versátil que permite tanto el entrenamiento centralizado como el federado, y que incluye varios algoritmos federados, con la flexibilidad de poder añadir más. Los resultados indican que, aunque es difícil que los modelos federados alcancen el rendimiento de los centralizados, no es imposible. Cuanto más entrenamiento local realicen los clientes antes de que el servidor agregue sus modelos, más estable será el entrenamiento, lo que se traducirá en mejoras de rendimiento. Cabe señalar que la disminución del rendimiento salvaguarda la privacidad del paciente, al tiempo que permite acceder a más datos médicos sin infringir las restricciones legales.

En aquesta tesi analitzem l'aprenentatge federat, un enfocament nou per l'entrenament distribuït de models d'aprenentatge profund que manté la privadesa de les dades. A l'aprenentatge federat, un servidor coordina el procés i diversos clients posseeixen les dades. Hem realitzat una comparació entre l'aprenentatge federat i l'aprenentatge profund en una tasca de segmentació de tumors cerebrals. Hem desenvolupat un marc versàtil que permet tant l'entrenament centralitzat com el federat, i que inclou diversos algoritmes federats, amb la flexibilitat de poder afegir-ne més. Els resultats indiquen que, tot i que és difícil que els models federats assoleixin el rendiment dels centralitzats, no és impossible. Com més entrenament local realitzin els clients abans que el servidor agregui els seus models, més estable serà l'entrenament, i això es tradueix en millores de rendiment. Val la pena assenyalar que la caiguda del rendiment salvaguarda la privadesa del pacient, alhora que permet l'accés a més dades mèdiques sense infringir les restriccions legals.

Brain Age Prediction from Structural Magnetic Resonance Imaging using Deep Learning

Projecte Final de Màster Oficial

Garriga Artieda, Daniel

Tutor/a - Director/a: Vilaplana Besler, Verónica; Cumplido Mayoral, Irene

Data de publicació: 2023

Escola Tècnica Superior d'Enginyeria de Telecomunicació de Barcelona (ETSETB)

Veure detall Accés al text complet

Segmentation of a laser trace using Deep Convolutional Neural Networks

Treball Final de Grau

Cárdenas I Palenzuela, Joan Manel

Tutor/a - Director/a: Vilaplana Besler, Verónica; Kybic, Jan

Data de publicació: 2022

Escola Tècnica Superior d'Enginyeria de Telecomunicació de Barcelona (ETSETB)

Veure detall Accés al text complet

Development of a 3D structural MRI preprocessing pipeline based on advanced normalization tools (ANTs)

Treball Final de Grau

Solana I Carulla, Adrià

Tutor/a - Director/a: Vilaplana Besler, Verónica; Cumplido, Irene

Data de publicació: 2022

Escola Tècnica Superior d'Enginyeria de Telecomunicació de Barcelona (ETSETB)

Veure detall Accés al text complet

Para distinguir el envejecimiento cerebral normal del envejecimiento patológico, se requiere un estudio de la estructura del cerebro a través de resonancias magnéticas. No obstante, dichas imágenes suelen presentar varios problemas que dificultan la extracción de conclusiones, por lo que se deben someter a una serie de técnicas de procesado de la imagen relacionadas con normalizaciones. Esta tesis estudia el uso de Advanced Normalization Tools (ANTs) como núcleo del procesado, complementado con un sistema de control de calidad para evaluar sus resultados y un método para monitorear el uso de recursos computacionales de todo el proceso, además de explorar cómo usar los datos extraídos para alimentar un sistema Machine Learning de predicción de la edad cerebral. Los resultados de esta tesis incluyen: la forma óptima de usar ANTs en este contexto, un sistema de correlación de volúmenes para evaluar sus resultados, un sistema simple de registro del uso de recursos basado en comandos de Linux y los resultados de alimentar diferentes los datos extraídos al sistema de predicción de la edad cerebral XGBoost.

To tackle distinguishing normal brain aging from pathological aging, MRI scans are often used to study the brains' structure. Nevertheless, these scans frequently present several problems that harden extracting conclusions, so they have to undergo a series of image processing techniques to improve their usefulness. This thesis studies the use of Advanced Normalization Tools (ANTs) as the core of the processing pipeline, complemented by a quality check system to assess its outputs and a method to monitor the computational resource usage of the whole process, in addition to extracting structural data to feed a Machine Learning brain age prediction system. The outcomes of this thesis include the optimal way to use ANTs in this context, a volume correlation system to evaluate its results, a simple Linux command based resource usage summarisation program and the results from feeding the extracted data to a XGBoost brain age prediction system.

Per distingir l'envelliment cerebral normal de l'envelliment patològic, cal un estudi de l'estructura del cervell a través de ressonàncies magnètiques. Tot i això, aquestes imatges solen presentar diversos problemes que dificulten l'extracció de conclusions, per la qual cosa s'han de sotmetre a una sèrie de tècniques de processament de la imatge relacionades amb normalitzacions. Aquesta tesi estudia l'ús d'Advanced Normalization Tools (ANTs) com a nucli del processat, complementat amb un sistema de control de qualitat per avaluar-ne els resultats i un mètode per monitoritzar l'ús de recursos computacionals de tot el procés, a més d'explorar com fer servir les dades extretes per alimentar un sistema Machine Learning de predicció de l'edat cerebral. Els resultats d'aquesta tesi inclouen: la forma òptima de fer servir ANTs en aquest context, un sistema de correlació de volums per avaluar els seus resultats, un sistema simple de registre de l'ús de recursos basat en comandes de Linux i els diversos resultats d'alimentar les dades extretes al sistema de predicció de l'edat cerebral XGBoost.

On the Characterization of Hepatocellular Carcinoma based on 18F-FDG Kinetics in Early Dynamic PET/CT

Treball Final de Grau

Chicano Corrales, Alex

Tutor/a - Director/a: Reynés Llompart, Gabriel; Vilaplana Besler, Verónica; Sabaté Llobera, Aida

Data de publicació: 2022

Escola Tècnica Superior d'Enginyeria de Telecomunicació de Barcelona (ETSETB)

Veure detall Accés al text complet

Hepatocellular carcinoma (HCC) is the most frequent type of primary hepatic malignant tumor in adults and the third most common cause of cancer-related death worldwide. Its recommended diagnostic techniques are multiphasic contrast-enhanced both CT and MRI, which provide acceptable accuracy in the detection of lesions larger than 2 cm of nodule diameter. Nevertheless, characterizing such an incident and malignant tumor is still a challenge that needs to be addressed. Previous studies have proposed the use of 18F-FDG ?a radiotracer that can help estimate the metabolic rate in tissues? in Early Dynamic PET/CT to further characterize HCC lesions. It is suggested that its kinetics and blood flow parameters can be related to the histological parameters of the HCC, which would help determine the aggressivity of the lesion. In this project, we have created a robust workflow that processes PET/CT images and computes blood flow parameters of several ROIs. This has assessed the characterization of the lesion by comparison of its parameters with the ones obtained for background liver ?liver in which lesions have been excluded?. To visually compare the different behaviors in the liver we have also generated voxel- wise-parameter images in which both the lesion extent and its different behavior compared to background liver were clearly distinguishable. Although analysis for 24 patients did not lead to statistical findings clearly related with the histology of resected HCC, parameter images proved to be a successful tool to discriminate the lesion's extent and different behavior inside the ROI of HCC. This workflow proved itself as a powerful tool with which more HCC patients can be analyzed to obtain correlations between these parameters and the histology of the lesion.

El carcinoma hepatocelular (HCC) es el tipo más frecuente de tumor maligno hepático primario en adultos y la tercera causa más común de muerte relacionada con el cáncer en todo el mundo. Sus técnicas diagnósticas recomendadas son la TC y la RM con contraste multifásico, que proporcionan una precisión aceptable en la detección de lesiones mayores de 2 cm de diámetro del nódulo. Sin embargo, la caracterización de un tumor tan incidente y maligno sigue siendo un desafío que debe abordarse. Estudios previos han propuesto el uso de 18F-FDG, un radiotrazador que puede ayudar a estimar la tasa metabólica en los tejidos, en Early Dynamic PET/CT para caracterizar mejor las lesiones de HCC. Se sugiere que sus parámetros cinéticos y de flujo sanguíneo puedan relacionarse con los parámetros histológicos del CHC, lo que ayudaría a determinar la agresividad de la lesión. En este proyecto, hemos creado un flujo de trabajo robusto que procesa imágenes PET/CT y calcula los parámetros de flujo sanguíneo de varias ROI. Para ello se ha valorado la caracterización de la lesión por comparación de sus parámetros con los obtenidos para el hígado de fondo, hígado en el que se han excluido las lesiones. Para comparar visualmente los diferentes comportamientos en el hígado, también generamos imágenes de parámetros de vóxeles en las que tanto la extensión de la lesión como su diferente comportamiento en comparación con el hígado de fondo eran claramente distinguibles. Aunque el análisis de 24 pacientes no condujo a hallazgos estadísticos claramente relacionados con la histología del CHC resecado, las imágenes de parámetros demostraron ser una herramienta exitosa para discriminar la extensión de la lesión y el diferente comportamiento dentro del ROI del CHC. Este flujo de trabajo demostró ser una poderosa herramienta con la que se pueden analizar más pacientes con HCC para obtener correlaciones entre estos parámetros y la histología de la lesión.

El carcinoma hepatocel·lular (HCC) és el tipus de tumor maligne hepàtic primari més freqüent en adults i la tercera causa més freqüent de mort relacionada amb el càncer a tot el món. Les seves tècniques diagnòstiques recomanades són la TC i la ressonància magnètica amb contrast multifàsic, que proporcionen una precisió acceptable en la detecció de lesions més grans que 2 cm de diàmetre del nòdul. No obstant això, caracteritzar un incident com aquest i un tumor maligne encara és un repte que cal abordar. Estudis anteriors han proposat l'ús de 18F-FDG un radiotraçador que pot ajudar a estimar la taxa metabòlica en els teixits? en la PET/TC dinàmica precoç per caracteritzar més les lesions d'HCC. Es suggereix que els seus paràmetres cinètics i de flux sanguini poden estar relacionats amb els paràmetres histològics de l'HCC, la qual cosa ajudaria a determinar l'agressivitat de la lesió. En aquest projecte, hem creat un flux de treball robust que processa imatges PET/TC i calcula els paràmetres de flux sanguini de diversos ROI. S'ha valorat la caracterització de la lesió comparant els seus paràmetres amb els obtinguts per al fetge de fons, fetge en què s'han exclòs lesions. Per comparar visualment els diferents comportaments al fetge, també hem generat imatges de paràmetres de voxel en les quals es distingia clarament tant l'extensió de la lesió com el seu comportament diferent en comparació amb el fetge de fons. Tot i que l'anàlisi de 24 pacients no va donar lloc a troballes estadístiques clarament relacionades amb la histologia de l'HCC resecat, les imatges de paràmetres van demostrar ser una eina d'èxit per discriminar l'extensió de la lesió i el comportament diferent dins del ROI de l'HCC. Aquest flux de treball es va demostrar com una potent eina amb la qual es poden analitzar més pacients amb HCC per obtenir correlacions entre aquests paràmetres i la histologia de la lesió.

Non-rigid registration on histopathological breast cancer images using deep learning

Projecte Final de Màster Oficial

Cavallari, Lucia

Tutor/a - Director/a: Vilaplana Besler, Verónica; Casas Pla, Josep Ramon

Data de publicació: 2022

Escola Tècnica Superior d'Enginyeria de Telecomunicació de Barcelona (ETSETB)

Veure detall Accés al text complet

Remote sensing image captioning with pre-trained transformer models

Projecte Final de Màster Oficial

Zaera Mata, Sergio

Tutor/a - Director/a: Vilaplana Besler, Verónica; Da GraÇa Martins, Bruno Emanuel

Data de publicació: 2022

Escola Tècnica Superior d'Enginyeria de Telecomunicació de Barcelona (ETSETB)

Veure detall Accés al text complet

Remote sensing images, and the unique properties that characterize them, are attracting increased attention from computer vision researchers, largely due to their many possible applications. The area of computer vision for remote sensing has effectively seen many recent advances, e.g. in tasks such as object detection or scene classification. Recent work in the area has also addressed the task of generating a natural language description of a given remote sensing image, effectively combining techniques from both natural language processing and computer vision. Despite some previously published results, there nonetheless are still many limitations and possibilities for improvement. It remains challenging to generate text that is fluid and linguistically rich while maintaining semantic consistency and good discrimination ability about the objects and visual patterns that should be described. The previous proposals that have come closest to achieving the goals of remote sensing image captioning have used neural encoder-decoder architectures, often including specialized attention mechanisms to help the system in integrating the most relevant visual features while generating the textual descriptions. Taking previous work into consideration, this work proposes a new approach for remote sensing image captioning, using an encoder-decoder model based on the Transformer architecture, and where both the encoder and the decoder are based on components from a pre-existing model that was already trained with large amounts of data. Experiments were carried out using the three main datasets that exist for assessing remote sensing image captioning methods, respectively the Sydney-captions, the \acrshort{UCM}-captions, and the \acrshort{RSICD} datasets. The results show improvements over some previous proposals, although particularly on the larger \acrshort{RSICD} dataset they are still far from the current state-of-art methods. A careful analysis of the results also points to some limitations in the current evaluation methodology, mostly based on automated n-gram overlap metrics such as BLEU or ROUGE.

Tumorous area detection in breast cancer biopsy images using multi-resolution networks

Treball Final de Grau

Gaston Codony, Fernando

Tutor/a - Director/a: Vilaplana Besler, Verónica; Casas Pla, Josep Ramon

Data de publicació: 2022

Facultat d'Informàtica de Barcelona (FIB)

Veure detall Accés al text complet

Computer vision tools for the automatic evaluation of collagen VI deficiencies

Projecte Final de Màster Oficial

Ramírez i Márquez, Alex

Tutor/a - Director/a: Vilaplana Besler, Verónica; Porta Pleite, Josep Maria

Data de publicació: 2022

Escola Tècnica Superior d'Enginyeria de Telecomunicació de Barcelona (ETSETB)

Veure detall Accés al text complet

Sperm detection & tracking deep learning algorithm

Projecte Final de Màster Oficial

Mas Sabatés, Sergi

Tutor/a - Director/a: Vilaplana Besler, Verónica; Mollinedo Herrera, Luís

Data de publicació: 2022

Escola Tècnica Superior d'Enginyeria de Telecomunicació de Barcelona (ETSETB)

Veure detall Accés al text complet

El projecte “Sperm Detection & Tracking Deep Learning Algorithm” sorgeix de la necessitat d'una empresa de fertilitat, Overture Life, d'automatitzar la tècnica d'injecció intracitoplasmàtica d'espermatozoides (ICSI), una forma especialitzada de fecundació in vitro (IVF) que s'utilitza principalment per al tractament de casos greus d'infertilitat masculina. La ICSI consisteix en la injecció d'un sol espermatozoide directament en un òvul madur. Les imatges que es faran servir per executar els algorismes de visió per ordinador (CV) s'extreuen de microscopis que tenen un funcionament similar al d'un microscopi Hoffman. I així, tindrem imatges grises amb suficient contrast i zoom per detectar la forma i la textura dels oòcits i els espermatozoides. La recollida de dades serà generada per mi en un laboratori del Parc Científic de Barcelona, amb esperma humà. Els oòcits que s'utilitzaran per a la injecció seran bàsicament de 2 espècies diferents: ratolins i hàmsters. Això és degut a que l'extracció d'esperma humà és la més barata amb diferència, i que els oòcits humans no es poden utilitzar per a la investigació. La tecnologia utilitzada per a l'algorisme de deteccióo serà la versió de Yolov5 d'Ultralytics i el seguiment el realitzarà DeepSort, que té la mateixa base de funcionament que el predictor de Kalman.

The project “Sperm Detection & Tracking Deep Learning Algorithm” arises from the need of an automation fertility company, Overture Life, to complete the automation of the Intracytoplasmic Sperm Injection (ICSI) technique. The ICSI procedure is a specialised form of In Vitro Fertilisation (IVF) that is used primarily for the treatment of severe cases of male-factor infertility. ICSI involves the injection of a single sperm directly into a mature egg. The images that will be used to run the Computer Vision (CV) algorithms are extracted from microscopes that have a similar way of working as a Hoffman microscope. And so, we will have grey images with enough contrast and zooming to detect the shape and texture of oocytes and sperm. Data collection will be generated by me in a laboratory in the Parc Científic de Barcelona, with human sperm. The oocytes that will be used for the injection will be basically from 2 different spieces: mice and hamsters. This is due to the fact that human sperm extraction is the cheapest by far, and that human oocytes cannot be used for research. The technology used by the detection algorithm will the Yolov5 release from Ultralytics and the tracking part will be held by DeepSort, which works in a very similar way to the Kalman predictor

El proyecto Algoritmo de aprendizaje profundo de detección y seguimiento de esperma surge de la necesidad de una empresa de fertilidad de automatización de fertilidad, Overture Life, para completar la automatización de la técnica de Inyección Intracitoplásmica de Esperma (ICSI) (ICSI). El procedimiento ICSI es una forma especializada de fecundación in vitro (FIV) que se utiliza principalmente para el tratamiento de casos graves de infertilidad por factor masculino. La ICSI consiste en la inyección de un solo espermatozoide directamente en un óvulo maduro. Las imágenes que se utilizarán para ejecutar los algoritmos de visión por ordenador (CV) se extraen de microscopios que tienen un funcionamiento similar al de un microscopio Hoffman. Así, tendremos imágenes grises con suficiente contraste y zoom para detectar la forma y la textura de los ovocitos y los espermatozoides. La recopilación de datos será generada por mí en un laboratorio del Parque Científico de Barcelona, con esperma humano. con esperma humano. Los ovocitos que se utilizarán para la inyección serán básicamente de 2 espigas diferentes: ratones y hámsteres. Esto se debe a que la extracción de esperma humano es la más barata con diferencia, y a que los humanos no se pueden utilizar para la investigación. La tecnología que utilizará el algoritmo de detección será el lanzamiento de Yolov5 de Ultralytics y la parte de seguimiento estará a cargo de DeepSort, que funciona de forma muy similar al predictor de Kalman. Traducción realizada con la versión gratuita del traductor www.DeepL.com/Translator