Aprèn - Xavier Giró Nieto

One of the main characteristics of Neural Networks is that they are data-hungry, which means that in order to simply learn the difference between a lemon and a tennis ball require thousands of examples. If it is already expensive to collect the data, it is even more expensive to label it, which often limits the performance of the models. Throughout this project we will study GANs, specifically StyleGAN, to generate synthetic images and DatasetGAN, a new model that produces pixel level segmentations of the synthetic generated images. With the combination of these two models we will be able to generate an infinite labeled database with minimal human effort. Finally, we will develop a custom research-oriented implementation of DatasetGAN focusing on training performance and hyperparameter tuning and assess both quantitatively and qualitatively segmentation results.

Una de las principales características de las Redes Neuronales es que consumen muchos datos, lo que significa que para simplemente aprender la diferencia entre un limón y una pelota de tenis requieren miles de ejemplos. Si ya es costoso recopilar los datos, es aún más costoso etiquetarlos, lo que muchas veces limita el rendimiento de los modelos. A lo largo de este proyecto estudiaremos las Redes Generativas Adversarias, específicamente StyleGAN, para generar imágenes sintéticas y DatasetGAN, un nuevo modelo que produce segmentaciones a nivel de píxel de las imágenes sintéticas generadas. Con la combinación de estos dos modelos seremos capaces de generar una base de datos infinita etiquetada con mínimo esfuerzo humano. Por último, desarrollaremos una implementación personalizada de DatasetGAN orientada a la investigación, centrándonos en el rendimiento del entrenamiento y el ajuste de hiperparámetros, y evaluaremos los resultados de segmentación tanto cuantitativa como cualitativamente.

Una de les principals característiques de les Xarxes Neuronals és que consumeixen moltes dades, la qual cosa significa que per simplement aprendre la diferència entre una llimona i una pilota de tennis requereixen milers d'exemples. Si ja és costós recopilar les dades, encara és més costós etiquetar-les, fet que moltes vegades limita el rendiment dels models. Durant aquest projecte estudiarem les Xarxes Generatives Adversàries, específicament StyleGAN, per generar imatges sintètiques i DatasetGAN, un nou model que produeix segmentacions a nivell de píxel de les imatges sintètiques generades. Amb la combinació d'aquests dos models serem capaços de generar una base de dades infinita etiquetada amb mínim esforç humà. Finalment, desenvoluparem una implementació personalitzada de DatasetGAN orientada a la recerca, centrant-nos en el rendiment de l'entrenament i l'ajustament de hiperparàmetres, i avaluarem els resultats de segmentació tant quantitativament com qualitativament.

DeVIS: Making Deformable Transformers Work for Video Instance Segmentation

Master thesis

Caelles Prat, Adrià

Tutor / Supervisor: Giró Nieto, Xavier; Leal-Taixe, Laura

Publication date: 2022

Barcelona School of Telecommunications Engineering (ETSETB)

View detail Access to the full text

EgoSign: A First-Person View Dataset for Sign Language

Master thesis

Puntí Álvarez, Cristina

Tutor / Supervisor: Giró Nieto, Xavier; Torre, Fernando de la

Publication date: 2022

Barcelona School of Telecommunications Engineering (ETSETB)

View detail Access to the full text

Sign language translation with pseudo-glosses

Bachelor thesis

Cabot Álvarez, Patricia

Tutor / Supervisor: Giró Nieto, Xavier; Tarrés, Laia

Publication date: 2022

Barcelona School of Informatics (FIB)

View detail Access to the full text

La Traducció de la Llengua de Signes és un problema obert que té com a objectiu generar frases escrites a partir de vídeos de signes. En els darrers anys, molts treballs de recerca que s'han desenvolupat en aquest camp van abordar principalment la tasca de Reconeixement de la Llengua de Signes, que consisteix a comprendre els signes d'entrada i transcriure'ls en seqüències d'anotacions. A més, els estudis actuals mostren que aprofitar aquesta darrera tasca ajuda a aprendre representacions significatives i es pot veure com un pas intermig cap a l'objectiu final de traducció. En aquest treball, presentem un mètode per generar pseudo-glosses automàtiques a partir de les frases escrites, que pot funcionar com a substitució de les glosses reals. Això aborda el problema de la seva adquisició, ja que s'han d'anotar manualment i és extremadament costós. A més, introduïm una nova implementació basada en Fairseq de l'enfocament del model Transformer introduït per Camgoz et al., que està entrenat conjuntament per resoldre les tasques de reconeixement i traducció. També proporcionem nous resultats de referència per ambdues implementacions: en primer lloc, per la base de dades Phoenix, presentem resultats que superen els proporcionats per Camgoz et al. en el seu treball i, en segon lloc, per la base de dades How2Sign, presentem els primers resultats de la tasca de traducció. Aquests resultats poden servir de base per a futures investigacions en el camp.

Sign Language Translation is an open problem whose goal is to generate written sentences from sign videos. In recent years, many research works that have been developed in this field mainly addressed the Sign Language Recognition task, which consists in understanding the input signs and transcribing them into sequences of annotations. Moreover, current studies show that taking advantage of the latter task helps to learn meaningful representations and can be seen as an intermediate step towards the end goal of translation. In this work, we present a method to generate automatic pseudo-glosses from written sentences, which can work as a replacement for real glosses. This addresses the issue of their collection, as they need to be manually annotated and it is extremely costly. Furthermore, we introduce a new implementation built on Fairseq of the Transformer-model approach introduced by Camgoz et al., which is jointly trained to solve the recognition and translation tasks. Besides, we provide new baseline results on both implementations: first, on the Phoenix dataset, we present results that outperform the ones provided by Camgoz et al. in their work, and, second, on the How2Sign dataset, we present the first results on the translation task. These results can work as a baseline for future research in the field.

Topic detection from sign language videos

Bachelor thesis

Budria Fernández, Alvaro Francesc

Tutor / Supervisor: Giró Nieto, Xavier; Laia Tarrés

Publication date: 2022

Barcelona School of Informatics (FIB)

Access to the full text

Machine learning for data homogenization and genomic sequence processing

Bachelor thesis

Barrabés I Torrella, Miriam

Tutor / Supervisor: Giró Nieto, Xavier; Daniel Mas-Montserrat & Alexander Ioannidis

Publication date: 2022

Barcelona School of Informatics (FIB)

Access to the full text

Learning sketches with neural networks

Bachelor thesis

Perera Baro, Maria

Tutor / Supervisor: Giró Nieto, Xavier; Mas Montserrat, Daniel; Ioannidis, Alexander G.

Publication date: 2022

Barcelona School of Informatics (FIB)

Access to the full text

Deep learning for imputation-based feature shift correction

Bachelor thesis

Novelle Moriano, Víctor

Tutor / Supervisor: Giró Nieto, Xavier; Mas Montserrat, Daniel; Ioannidis, Alexander

Publication date: 2022

Barcelona School of Informatics (FIB)

Access to the full text

Hiding images in their spoken narratives

Master thesis

Domènech Abelló, Teresa

Tutor / Supervisor: Giró Nieto, Xavier; Mcguinness, Kevin; Pons, Jordi

Publication date: 2022

Barcelona School of Telecommunications Engineering (ETSETB)

View detail Access to the full text

Steganography is the technique of hiding secret data within an ordinary, non-secret, file or message in order to avoid detection. In this case the hidden secret data is an image and the non-secret data or cover signal is an audio. To this end, we use a previous proposed novel residual architecture operating on top of short-time discrete cosine transform (STDCT) audio spectrograms. The residual audio steganography setup proposed allows independent encoding of the hidden image from the host audio without compromising quality. In this thesis we present this task above a new dataset where the vision and language are connected and other modifications such as the use of short-time fourier transform (STFT) audio spectograms, permuted hidden signals, real-world scenario experiments as well as obtaining a more efficient system.

La esteganografía es la técnica de ocultar datos secretos dentro de un archivo ordinario, no secreto o mensaje para evitar ser detectado. En este caso el dato secreto oculto es una imagen y los datos no secretos o señal de cobertura es un audio. Para ello, utilizamos una propuesta anterior que usa una arquitectura residual que opera sobre la transformada de coseno discreta de tiempo corto (STDCT) espectrogramas de audio. La configuración de esteganografía de audio residual propuesta permite la codificación de la imagen oculta del audio host sin comprometer la calidad. En esta tesis presentamos esta tarea sobre un nuevo conjunto de datos donde la visión y el lenguaje son conectado y otras modificaciones como el uso de la transformada de Fourier de tiempo corto (STFT) espectrogramas de audio, señales ocultas permutadas, experimentos simulando un escenario real, así como obtener un sistema más eficiente.

L'esteganografia és la tècnica d'ocultar dades secretes dins d'un fitxer ordinari, no secret o missatge per evitar ser detectat. En aquest cas la dada secreta oculta és una imatge i les dades no secretes o senyal de cobertura és un àudio. Per això, utilitzem una proposta prometedora anterior una arquitectura residual que opera sobre la transformada de cosinus discreta de temps curt (STDCT) espectrogrames d'àudio. La configuració d'esteganografia d'àudio residual proposada codifica la imatge oculta de làudio host sense comprometre la qualitat. En aquesta tesis presentem aquesta tasca sobre un nou conjunt de dades on la visió i el llenguatge estan connectat i altres modificacions com l'ús de la transformada de Fourier de temps curt (STFT) espectrogrames dàudio, senyals ocults permutats, experiments simulant escenaris reals, així com obtenir un sistema més eficient.

Examen Final Restricted access to the UPC academic community

Exam

Giró Nieto, Xavier

Publication date: 2022

Barcelona School of Telecommunications Engineering (ETSETB)

DEEP LEARNING FOR ARTIFICIAL INTELLIGENCE - 230706

Access to the full text

Estimation of a linear-nonlinear-poisson neural encoding model for motor brain-iachine interfaces

Bachelor thesis

Cavallé Salvadó, Mireia

Tutor / Supervisor: Wang, Yiwen; Giró Nieto, Xavier

Publication date: 2022

Interdisciplinary Higher Education Centre (CFIS)

View detail Access to the full text

En els últims anys, la demanda de pròtesis que substitueixin extremitats no funcionals en els éssers humans ha augmentat considerablement. Per controlar-les amb l'activitat neuronal del cervell, alguns estudis sobre interfícies cervell-computadora han desenvolupat un mode de descodificació capaç d'inferir el moviment d'aquestes extremitats donada l'activitat elèctrica de les neurones motores associades en el còrtex cerebral. Tot i això, per aprofitar tot el potencial d'aquest model, és necessari proporcionar un model de codificació neuronal instantani que expressi la relació directe entre la cinemàtica (posició, velocitat i biaix) i l'activitat neuronal. El codificador proposat és un model Lineal-NoLineal-Poisson que prediu la probabilitat d'activació d'una neurona i se li proporciona a un generador de polsos de Poisson. Es prova el codificador amb dades reals obtingudes del còrtex motor de rates realitzant una tasca de pressió de palanca. L'objectiu d'aquesta investigació és proporcionar un procediment per estimar els paràmetres neuronals finals i comprovar l'adequació de la codificació per predir l'activitat neuronal.

En los últimos años, la demanda de prótesis que sustituyan extremidades disfuncionales de los seres humanos ha aumentado considerablemente. Para controlarlas con la actividad neuronal del cerebro, algunos estudios sobre interfaces cerebro-computadora han desarrollado un modelo de descodificación capaz de inferir el movimiento de estas extremidades dada la actividad eléctrica de las neuronas motoras asociadas en el córtex cerebral. Sin embargo, para aprovechar todo el potencial de este modelo, es necesario proporcionar un modelo de codificación neuronal instantánea que exprese la relación directa entre la cinemática (posición, velocidad y sesgo) y la actividad neuronal. El codificador propuesto es un modelo Lineal-NoLineal-Poisson que predice la probabilidad de activación de una neurona y se proporciona a un generador de pulsos de Poisson. Se prueba el codificador con datos reales obtenidos del córtex motor de ratas realizando una tarea de presión de palanca. El objetivo de esta investigación es proporcionar un procedimiento para estimar los parámetros neuronales finales y comprobar la adecuación de la codificación para predecir la actividad neuronal.

In recent years, the demand of prosthetic devices that substitute dysfunctional limbs in human beings has been substantially increasing. In order to control them with brain's neural activity, brain-machine interfaces related studies have developed a decoding model capable of inferring movement given the associated motor cortical neurons spike activity. However, to meet this model's full potential, one needs to provide an instantaneous neural encoding model that displays the direct relationship between the instantaneous kinematics (position, velocity and bias) and the neural spike activity. The proposed encoder is a Linear-Nonlinear-Poisson model that predicts the firing probability of one neuron and feeds it to a Poisson spike generator. We test the encoder on the real neural activity collected from motor cortex of rats performing a lever pressing task. The aim of this research is to provide a procedure to estimate neural ending parameters and check the encoding suitability to predict neural activity.

Towards video alignment across cameras with sign language 2D poses

Bachelor thesis

Iturralde Amigó, Andrea

Tutor / Supervisor: Giró Nieto, Xavier; Tarrés Benet, Laia

Publication date: 2021

Barcelona School of Telecommunications Engineering (ETSETB)

View detail Access to the full text

Aquesta tesi de final de grau forma part d'un projecte del Grup de Processament d'Imatge de la UPC enfocat a la detecció de llenguatge de signes utilitzant tecnologies relacionades amb deep learning. Aquest projecte ja consta amb una base de dades anomenada How2sign, que conté més de 83 hores de vídeos de traducció de llenguatge de signes. Aquesta base de dades conté anotacions textuals alineades a una càmera RGB frontal. Les mateixes escenes també són capturades per una RGB lateral i una RGB-D frontal. Aquestes tres càmeres no estan sincronitzades, amb la qual cosa és necessari alinear els segments anotats de la RGB frontal amb les altres. En aquesta tesi s'explora una primera solució basada en la correlació creuada. El nostre treball consisteix a processar els punts de les coordenades de les articulacions de l'subjecte que apareix en els vídeos, no des del punt de vista de processament d'imatge o vídeo basat en píxels. La primera part d'aquesta tesi és investigar les propietats de la funció de correlació creuada mitjançant la localització de segments curts de vídeo d'una gravació llarga basada en l'extracció automàtica de les poses en 2D. Els experiments també estudien l'impacte d'afegir soroll. La segona aplica la correlació creuada per intentar alinear dos videos amb el mateix contingut, però gravats amb diferents càmeres des de diferents punts de vista.

Esta tesis de final de grado forma parte de un proyecto del Grupo de Procesado de Imagen de la UPC enfocado a la detección de lenguaje de signos utilizando tecnologías relacionadas con deep learning. Este proyecto ya consta con una base de datos llamada How2sign, que contiene más de 83 horas de videos de traducción de lenguaje de signos. Esta base de datos contiene anotaciones textuales alineadas a una cámara RGB frontal. Las mismas escenas también son capturadas por una RGB lateral y una RGB-D frontal. Estas tres cámaras no están sincronizadas, con lo cual es necesario alinear los segmentos anotados de la RGB frontal con las demás. En esta tesis se explora una primera solucion basada en la correlación cruzada. Nuestro trabajo consiste en procesar los puntos de las coordenadas de las articulaciones del sujeto que aparece en los videos, no desde el punto de vista de procesado de imagen o video basado en píxeles. La primera parte de esta tesis es investigar las propiedades de la función de correlación cruzada mediante la localización de segmentos cortos de vídeo de una grabación larga basada en la extracción automática de las poses en 2D. Los experimentos también estudian el impacto de añadir ruido. La segunda aplica la correlación cruzada para intentar alinear dos videos con el mismo contenido, pero grabados con distintas cámaras desde distintos puntos de vista.

This thesis degree is part of a project from the Image Group at UPC that is focused on sign language translation using deep learning technologies. This thesis builds on top of an existing database called How2Sign, that contains more than 83 hours of sign language translation videos. This database has some textual annotations aligned to a front RGB camera. The same scenes are also captured by a side RGB and a front RGB-D cameras. These three cameras are not synchronized, so it is necessary to align the segments annotated on the RGB front camera to the other cameras. This thesis explores a solution based on the cross correlation operator. Our work is to process the coordinates of the joints of the subject that appears in the videos, not from the point of view of image or video processing based on pixels. The first part if this thesis is to investigate the properties of the cross-correlation function by locating short video segments of a long recording based on automatically extracted 2D human poses. The experiments studied the impact of adding noise. The second part applied the cross-correlation to try to align two videos with the same scene, but recorded with different cameras from different points of view.

Species-agnostic local ancestry inference with convolutions

Master thesis

Oriol Sàbat, Benet

Tutor / Supervisor: Mas Montserrat, Daniel; Giró Nieto, Xavier; Ioannidis, Alexander

Publication date: 2021

Barcelona School of Telecommunications Engineering (ETSETB)

View detail Access to the full text

Discovery and learning of navigation goals from pixels in Minecraft

Master thesis

Nieto Salas, Juan José

Tutor / Supervisor: Giró Nieto, Xavier; Campos, Víctor

Publication date: 2021

Barcelona School of Telecommunications Engineering (ETSETB)

View detail Access to the full text

GAN-based image colourisation with feature reconstruction loss

Master thesis

Tarrés Benet, Laia

Tutor / Supervisor: Giró Nieto, Xavier; Mrak, Marta

Publication date: 2021

Barcelona School of Telecommunications Engineering (ETSETB)

View detail Access to the full text

Tracking by detection using YOLO and Kalman filtering

Bachelor thesis

Quintana Aguasca, Èric

Tutor / Supervisor: Giró Nieto, Xavier; Pflugfelder, Roman

Publication date: 2021

Barcelona School of Telecommunications Engineering (ETSETB)

View detail Access to the full text

This thesis presents an implementation for tracking by detection using YOLO and Kalman filter. This system allows detections with YOLO for a concrete object in a video sequence, then the Kalman filter models the motion and tracks the positions of the objects along the sequence. The YOLO detection would be used to initialize the tracking and as the measurement function of the Kalman Filter. With the Kalman Filter, the motion of the object between frames is estimated, tracking its trajectory. Finally, the system is tested with different datasets with different objects to track. Every dataset has just one target and each one regards a possible problem of visual object tracking.

Esta tesis presenta una implementación para el seguimiento de objetos por computador usando YOLO y un filtro Kalman. El sistema permite detecciones hechas con YOLO para un objeto concreto en una secuencia de video y con el filtro de Kalman modelar y seguir la posición y trayectoria de dicho objeto entre las distintas imágenes de la secuencia. El detector YOLO se utiliza para inicializar y como función de mesura del filtro de Kalman. Con el filtro de Kalman, el movimiento de los objetos entre las imágenes es seguido. Finalmente, el sistema se testea con distintas secuencias de vídeo. Cada secuencia tiene solo un objeto a seguir, con distintos problemas posibles para el seguimiento de objetos con visión por computador.

Aquesta tesis presenta una implementació pel seguiment d'objectes per computador utilitzant YOLO i un filtre de Kalman. El sistema permet deteccions fetes amb YOLO per a un objecte concret en una seqüència de vídeo, i amb el filtre de Kalman es modela i es segueix la posició i trajectòria de l'objecte entre les diferents imatges de la seqüència. El detector YOLO s'utilitza per inicialitzar i com a funció de mesura del filtre de Kalman. Amb el filtre de Kalman, el moviment dels objectes entre les imatges és seguit. Finalment, el sistema es testeja amb diferents seqüències de vídeo. Cada seqüència té només un objecte per seguir, amb diferents problemes possibles pel seguiment d'objectes amb visió per computador.

Learning implicit shape representations from tactile sensing

Master thesis

Ventura Ripol, Lucas

Tutor / Supervisor: Torralba, Antonio; Giró Nieto, Xavier

Publication date: 2021

Barcelona School of Telecommunications Engineering (ETSETB)

Access to the full text

Class-agnostic multiple object tracking

Bachelor thesis

Autrand Caballero, Pau

Tutor / Supervisor: Brasó, Guillem; Meinhardt, Tim; Leal-Taixé, Laura; Giró Nieto, Xavier

Publication date: 2021

Barcelona School of Informatics (FIB)

View detail Access to the full text

El repte de realitzar seguiment de múltiples objectes en una seqüència de vídeo ha experimentat un gran progrés en els darrers anys a causa de les millores en les arquitectures de xarxes neuronals. Els algoritmes basats en el paradigma de seguiment-per-detecció han de gestionar diverses tasques difícils, com ara la reidentificació de tracks, l'oclusió d'objectes i el moviment ràpid de la càmera. A més, els algoritmes d'última generació actuals per al seguiment de múltiples objectes (MOT) generalment estan dissenyats per abordar seqüències de vídeo amb molt poques categories d'objectes diferents, i a vegades fins i tot només un tipus d'objectes, com ara vianants. En aquest treball presentem un algorisme simple i online que realitza el seguiment de múltiples objectes en gairebé 500 categories d'objectes diferents. El model és una generalització de Tracktor, un algorisme que va aconseguir els millors resultats en diverses tasques de MOT per al seguiment de vianants. Tracktor es basa només en un detector d'objectes i utilitza la regressió del quadre delimitador (bounding box) d'un objecte per predir la posició d'aquest en el fotograma següent. Per tant, en la seva forma bàsica, Tracktor no necessita cap tipus de dades de tracking per a l'entrenament del model, cosa que fa que sigui molt convenient utilitzar-lo en qualsevol tasca amb poques dades disponibles. En aquest sentit, generalitzem aquesta arquitectura per a no només els vianants sinó per gairebé qualsevol tipus d'objecte, convertint per tant un detector d'objectes en un Tracktor Generalitzat o Generalized Tracktor. A més a més, realitzem una anàlisi dels punts forts i febles de Generalized Tracktor i fem un estudi d'ablació de les seves diferents parts. El nostre enfocament millora els resultats presentats al dataset Tracking-Any-Object (TAO), que és el punt de referència més utilitzat per fer seguiment amb un nombre tan gran de categories. Finalment, comparem els nostres resultats amb els millors resultats actuals en aquesta tasca i proporcionem unes clares pautes sobre les futures millores que es podrien fer per millorar encara més els resultats de Generalized Tracktor.

The problem of tracking multiple objects in a video sequence has experienced a huge progress in recent years due to the improvements in neural network architectures. Algorithms that are based on the tracking-by-detection paradigm need to handle several challenging tasks, such as track re-identification, object occlusion, and fast camera motion. Moreover, current state-of-the-art algorithms for Multi-Object Tracking (MOT) are generally designed to tackle video sequences with very few different object categories, sometimes even just one object category such as pedestrians. In this work, we present a simple online algorithm that performs multi-object tracking on almost 500 different object categories. The model is a generalization of Tracktor, an algorithm that achieved state-of-the-art results on several MOT tasks for tracking pedestrians. Tracktor is based only on an object detector, and it uses the bounding box regression of an object to predict the position of the object in the following frame. Hence, in its basic form, it doesn't need any kind of tracking training data, which makes it very convenient to use in any task with few available data. In this sense, we generalize this framework by tracking not only pedestrians but almost any kind of object, therefore converting an object detector into Generalized Tracktor. Then we perform an analysis on the strengths and weaknesses of Generalized Tracktor and an ablation study of its different parts. Our approach improves the results presented in the Tracking-Any-Object (TAO) dataset, which is the most important benchmark for tracking with such a big number of categories. Finally, we compare our results with the current state-of-the-art in this task and we provide useful guidelines on the future work that could be done to further improve the results of Generalized Tracktor.

El reto de realizar seguimiento de múltiples objetos en un video ha experimentado un gran progreso en los últimos años debido a las mejoras en las arquitecturas de redes neuronales. Los algoritmos que se basan en el paradigma de seguimiento-por-detección necesitan gestionar varias tareas difíciles, como la reidentificación de ”tracks”, la oclusión de objetos y el rápido movimiento de la cámara. Además, los mejores algoritmos actuales para el seguimiento de múltiples objetos (MOT) generalmente están diseñados para abordar secuencias de video con muy pocas categorías de objetos diferentes, y a veces incluso solo un tipo de objeto, como peatones. En este trabajo, presentamos un algoritmo simple y ”online” que realiza un seguimiento de múltiples objetos en casi 500 categorías de objetos diferentes. El modelo es una generalización de Tracktor, un algoritmo que logró los mejores resultados en varias tareas de MOT para el seguimiento de peatones. Tracktor se basa únicamente en un detector de objetos y utiliza la regresión del cuadro delimitador (bounding box ) de un objeto para predecir la posición del objeto en el siguiente fotograma. Por lo tanto, en su forma básica, Tracktor no necesita ningún tipo de datos de seguimiento para el entrenamiento del modelo, lo que lo hace muy conveniente para usar en cualquier tarea con pocos datos disponibles. En este sentido, generalizamos esta arquitectura no solo para los peatones sino para casi cualquier tipo de objeto, convirtiendo así un detector de objetos en nuestro Tracktor Generalizado o Generalized Tracktor.