Aprèn - Carles Ventura Royo

Video object segmentation (VOS) is a computer vision task that aims at determining the pixels of an object of interest along a video sequence. This thesis explores different curriculum learning strategies for a deep neural network trained to solve this task. Curriculum learning defines a methodology where the training data are not randomly presented to the model, instead, they are organized in a meaningful way. Simple concepts are first presented and gradually become more complex. Four different curriculum strategies are explored: schedule sampling, frame skipping, the effect of temporal and spatial recurrence variations and loss penalization by the object's area. This work focuses on the RVOS neural architecture, a recurrent architecture originally tested on the DAVIS and YouTube-VOS datasets for one-shot video object segmentation, over the cars class of the KITTI-MOTS dataset. Even though this architecture is a fast solution for the VOS task, the model struggles with the KITTI-MOTS dataset, whose videos are more crowded and challenging. For the schedule sampling curriculum, both the classic and inverse implementations are evaluated. Results show how inverse schedule sampling strategies improve the model's performance instead of the classic approach, the forward one. The different frame skipping schemes are also beneficial, but only when training with the ground truth mask instead of the predicted ones. Lastly, both the curriculums that vary the temporal and spatial recurrence or penalize the loss by the object's area have shown poor model's performance. These results show how curriculum learning strategies affect greatly the performance of recurrent neural networks. Moreover, the results on the inverse schedule sampling and frame skipping strategies invite to further explore these schemes to exploit their benefits.

La segmentación de objetos en video es una tarea de visión por computadores que tiene como objetivo determinar los píxeles de los objetos de interés en una secuencia de video. Esta tesis explora diferentes estrategias de aprendizaje con currículos para redes neuronales profundes entrenadas para solucionar esta tarea. El aprendizaje con currículos define una metodología de trabajo donde los datos de entrenamiento no se muestran de forma aleatoria al modelo, sino que están organizados de manera significativa. Los conceptos fáciles son presentados primero y, gradualmente, se vuelven más complejos. Cuatro estrategias han sido exploradas: muestreo programado, omisión de fotogramas, el efecto de la variación de la recurrencia temporal y espacial y la penalización de la función de coste según el área de los objetos. Este trabajo se centra en la arquitectura neuronal RVOS, una arquitectura recurrente originalmente probada en el conjunto de datos de DAVIS y YouTube-VOS, que aborda la tarea de segmentación de objetos en video one-shot en la clase de coches del conjunto de datos de KITTI-MOTS. A pesar de que esta arquitectura ofrece una solución rápida para la tarea de segmentación de video, el modelo tiene dificultades con el conjunto de datos de KITTI-MOTS, los videos del cual son más concurridos y desafiantes. Para el currículum muestreo programado, tanto la implementación clásica como la inversa han sido evaluadas. Los resultados muestran como las estrategias inversas mejoran el rendimiento del modelo en comparación con el enfoque clásico. Los diferentes esquemas de omisión de fotogramas también son beneficiosos, pero solo cuando el entrenamiento se realiza con las verdaderas anotaciones y no con las predicciones. Finalmente, los dos currículos que varían la recurrencia temporal y espacial y penalizan la función de coste según el área de los objetos han resultado en un mal rendimiento. El conjunto de resultados demuestran como estrategias de aprendizaje con currículos afectan notablemente al rendimiento de las redes neuronales recurrentes. Además, los resultados de la estrategia inversa de muestreo programado, y de las estrategias de omisión de fotogramas invitan a investigar con más detenimiento estos esquemas para aprovechar sus beneficios.

La segmentació d'objectes en vídeo és una tasca de visió per computadors que té com a objectiu determinar els píxels dels objectes d'interès en una seqüència de vídeo. Aquesta tesi explora diferents estratègies d'aprenentatge a partir de currículums per a xarxes neuronals profundes entrenades per a solucionar aquesta tasca. L'aprenentatge a partir de currículums defineix una metodologia de treball on les dades d'entrenament no es mostren de manera aleatòria al model sinó que estan organitzades de manera significativa. Els conceptes fàcils són presentats primer i, gradualment, esdevenen més complexes. Quatre estratègies són explorades: mostratge programat, omissió de fotogrames, l'efecte de la variació de la recurrència temporal i espacial i la penalització de la funció de cost segons l'àrea dels objectes. Aquest treball es centra en l'arquitectura neuronal RVOS, una arquitectura recurrent originalment provada en el conjunt de dades de DAVIS i YouTube-VOS, que aborda la tasca de segmentació d'objectes en vídeos one-shot en la classe de cotxes del conjunt de dades de KITTI-MOTS. Tot i que aquesta arquitectura és una solució ràpida per a la tasca de segmentació de vídeo, el model té dificultats amb el conjunt de dades de KITTI-MOTS, els vídeos del qual són més concorreguts i desafiants. Pel currículum de mostratge programat, tant la implementació clàssica com la inversa han sigut avaluades. Els resultats mostren com les estratègies inverses milloren el rendiment del model en comparació amb l'enfocament clàssic. Els diferents esquemes d'omissió de fotogrames també són beneficiosos, però només quan l'entrenament és realitzat amb les verdaderes anotacions manuals en comptes de les prediccions. Finalment, els dos currículums que varien la recurrència temporal i espacial i penalitzen la funció de cost segons l'àrea dels objectes han resultat en un mal rendiment. Aquests resultats mostren com les estratègies d'aprenentatge a partir de currículums afecten notablement el rendiment de les xarxes neuronals recurrents. A més a més, els resultats en l'estratègia inversa de mostratge programat i les estratègies d'omissió de fotogrames conviden a investigar amb més profunditat aquests esquemes per a beneficiar-se'n.

Classificació d'objectes mitjançant agrupament de punts d'interès

Trabajo final de grado

Sánchez Escué, Jordi

Tutor/a - Director/a: Ventura Royo, Carles; Giró Nieto, Xavier

Fecha de publicación: 2014

Escuela Técnica Superior de Ingeniería de Telecomunicación de Barcelona (ETSETB)

Ver detalle Acceso al texto completo

[ANGLÈS] This Bachelor of Science thesis addresses the problem of image classification combining two popular visual representations: points and regions. Firstly, the study explores bundling interest points with regions. These regions are generated with an initial SLIC partition and using Binary Partition Tree (BPT), considering different scales of resolution in the segmentation. Secondly, it explores modelling visual classes as a group of points extracted from different images. Based on Naive-Bayes Nearest Neighbor (NBNN), we are using 1-Nearest Neighbor with SURF descriptor on the 17 Category Flower Dataset with 1360 images of flowers distributed into 17 classes, 80 images per class. We have verified that grouping interest points of the same class improves the F1-score a 9.2%. However, bundling interest points into regions using segmentation worsens the F1-score between 1% and 7%, depending on the number of regions in the segmentation.

[CASTELLÀ] En este Trabajo Fin de Grado se aborda el problema de la clasificación de imágenes combinando dos representaciones visuales populares: los puntos y las regiones. En primer lugar, el estudio explora la agrupación de puntos de interés con las regiones. Estas regiones se generan mediante una partición inicial SLIC y el uso de Árboles de Particiones Binarias (Binary Partition Tree, BPT), teniendo en cuenta distintas escalas de resolución en la segmentación. En segundo lugar, se estudia modelar las clases como grupo de puntos de interés extraídos de imágenes distintas. Basándonos en el clasificador Naive-Bayes Nearest Neighbor (NBNN), hemos utilizado el vecino más cercano con un descriptor SURF sobre la base de datos 17 Category Flower Dataset, que contiene 1360 imágenes de flores distribuidas en 17 clases, con 80 imágenes por clase. Hemos podido verificar que el hecho de juntar los puntos de interés de las imágenes de una misma clase mejora la puntuación F1 en un 9,2%. Sin embargo, la agrupación de puntos de interés en regiones utilizando una segmentación de la imagen empeora la puntuación F1 entre el 1% y el 7%, dependiendo del número de regiones de la segmentación.

[CATALÀ] Aquest Treball Final de Grau aborda el problema de la classificació d'imatges combinant dues representacions visuals populars: els punts i les regions. En primer lloc, l'estudi explora l'agrupació de punts d'interès amb les regions. Aquestes regions es generen amb una partició inicial SLIC i s'utilitzen els Arbres de Partició Binària (Binary Partition Tree, BPT), considerant diferents escales de resolució en la segmentació. En segon lloc, s'estudia modelar les classes com a grup de punts d'interès extrets d'imatges diferents. Basant-nos en el classificador Naive-Bayes Nearest Neighbor (NBNN), hem utilitzat el veï més proper amb un descriptor SURF sobre la base de dades 17 Category Flower Dataset, que conté 1360 imatges de flors distribuïdes en 17 classes, amb 80 imatges per classe. Hem pogut verificar que el fet d'ajuntar els punts d'interès de les imatges d'una mateixa classe millora la puntuació F1 en un 9,2%. No obstant, l'agrupació de punts d'interès en regions utilitzant una segmentació de la imatge empitjora la puntuació F1 entre l'1% i el 7%, depenent del nombre de regions de la segmentació.

Extension of instance search technique by geometric coding and quantization error compensation

Proyecto/Trabajo final de carrera

García Del Molino, Ana

Tutor/a - Director/a: Satoh, Shin' Ichi; Giró Nieto, Xavier; Ventura Royo, Carles

Fecha de publicación: 2013

Escuela Técnica Superior de Ingeniería de Telecomunicación de Barcelona (ETSETB)

Ver detalle Acceso al texto completo

[ANGLÈS] This PFC analyzes two ways of improving the video retrieval techniques for instance search problem. In one hand, Pairing Interest Points for a better Signature using Sparse Detector's Spatial Information, allows the Bag-of-Words model to keep some spatial information. In the other, Study of the Hamming Embedding Signature Symmetry in Video Retrieval provides binary signatures that refine the matching based on visual words, and aims to find the best way of matching taking into account the existent asymmetries between image query and videos.

[CASTELLÀ] Este PFC analiza dos formas de mejorar las técnicas de recuperación de vídeo para el problema de búsqueda de instancia (dado un elemento en una imagen, obtener todos los vídeos que lo contengan). Por un lado, Pairing Interest Points for a better Signature using Sparse Detector's Spatial Information permite considerar cierta información espacial en el modelo del Bag-of-Words. Por el otro, Study of the Hamming Embedding Signature Symmetry in Video Retrieval proporciona firmas binarias que refinan el establecimiento de relaciones entre imagen y vídeo basándose en las palabras visuales, y tiene como objetivo encontrar la mejor manera de hacerlo teniendo en cuenta las asimetrías existentes entre la consulta de imágenes y vídeos.

[CATALÀ] Aquest PFC analitza dues formes de millorar les tècniques de recuperació de vídeo per al problema de recerca d'instància (donat un element en una imatge, obtenir tots els videos contenint-lo). D'una banda, Pairing Interest Points for a better Signature using Sparse Detector's Spatial Information permet considerar certa informació espacial dins el model del Bag-of-Words. De l'altre, Study of the Hamming Embedding Signature Symmetry in Video Retrieval proporciona signatures binàries que refinen l'establiment de relacions entre imatge i video basant-se en les paraules visuals, i té com objectiu trobar la millor manera de fer-ho tenint en compte les asimetries existents entre la consulta d'imatges i vídeos.