Aprèn - David Varas González

Usually, in particle filters applied to video tracking, a simple geometrical shape, typically an ellipse, is used in order to bound the object being tracked. Although it is a good tracker, it tends to a bad object representation, as most of the world objects are not simple geometrical shapes. A better way to represent the object is by using a region-based approach, such as the Region Based Particle Filter (RBPF). This method exploits a hierarchical region based representation associated with images to tackle both problems at the same time: tracking and video object segmentation. By means of RBPF the object segmentation is resolved with high accuracy, but new problems arise. The object representation is now based on image partitions instead of pixels. This means that the amount of possible combinations has now decreased, which is computationally good, but an error on the regions taken for the object representation leads to a higher estimation error than methods working at pixel level. On the other hand, if the level of regions detail in the partition is high, the estimation of the object turns to be very noisy, making it hard to accurately propagate the object segmentation. In this thesis we present new tools to the existing RBPF. These tools are focused on increasing the RBPF performance by means of guiding the particles towards a good solution while maintaining a particle filter approach. The concept of hierarchical flow is presented and exploited, a Bayesian estimation is used in order to assign probabilities of being object or background to each region, and the reduction, in an intelligent way, of the solution space , to increase the RBPF robustness while reducing computational effort. Also changes on the already proposed co-clustering in the RBPF approach are proposed. Finally, we present results on the recently presented DAVIS database. This database comprises 50 High Definition video sequences representing several challenging situations. By using this dataset, we compare the RBPF with other state-ofthe- art methods.

Blurred Image Detection from a Humanoid Generated Video Sequence

Projecte Final de Màster Oficial

Camacho Clavijo, Margarita

Tutor/a - Director/a: Varas González, David

Data de publicació: 2015

Escola Tècnica Superior d'Enginyeria de Telecomunicació de Barcelona (ETSETB)

Veure detall Accés al text complet

Introducción de la información de profundidad en una técnica de co-clustering jerárquico temporal

Projecte/Treball Final de Carrera

Alfaro Vendrell, Mónica

Tutor/a - Director/a: Marqués Acosta, Fernando; Varas González, David

Data de publicació: 2015

Escola Tècnica Superior d'Enginyeria de Telecomunicació de Barcelona (ETSETB)

Veure detall Accés al text complet

Video segmentation aims to consistently group regions that are similar in appearance and movement along a sequence. This task is an essential step of video analysis and it has important applications in video coding, indexing and retrieval, 3D reconstruction, action recognition, etc. In particular, in this thesis, a multiresolution hierarchical co-clustering technique (MRHC) is analyzed in order to include depth information for improving image segmentation in sequences with small variations. This information is invariant to changes on brightness and/or texture and camera position. Thus, it may correct some errors that are present when segmentation techniques based on color and movement are used, because this information is independent of color information of the image and the movement that occurs in the scene. Two considerations can be made. Firstly, all the regions of the same object should share similar depth values and, secondly, depth values from regions that do not belong to the same object show discontinuities. Three different ways of coding depth information in MRHC have been studied in this project. In the first approach, the similarity between regions is weighted according to the depth difference between them. The second approach determines the 3D-neighborhood between regions. Finally, a combination of the previous approaches is considered. The Video Occlusion/Object Boundary Dataset has been used to evaluate the inclusion of the depth on MRHC and to compare this method with the state-of-the-art techniques in the field of video segmentation. The results obtained show that the use of depth information improves the outcome video techniques obtained with the MRHC, outperforming the state-of-the-art methods in this scenario.

La segmentación de una secuencia de video consiste en agrupar de manera coherente regiones que son similares tanto en apariencia como en movimiento a lo largo de un vídeo. Esta tarea es un paso fundamental en el análisis de vídeo y tiene importantes aplicaciones en codificación, indexación y recuperación de vídeo, reconstrucción 3D, reconocimiento de acciones, etc. En concreto, en este Proyecto Final de Carrera se analiza la técnica de co-clustering multiresolución jerárquico para segmentación de vídeo (MRHC) con el objetivo de introducir la información de profundidad para mejorar la segmentación. Esta información facilita la tarea de segmentación porque es invariante a los cambios de iluminación y/o textura y a la posición de la cámara. Por lo tanto, permite corregir algunos de los problemas que presentan las técnicas de segmentación basadas en color y movimiento porque utilizan una información independiente del color de la imagen y del movimiento que se produce en la escena. Se pueden hacer dos consideraciones en cuanto a los valores de profundidad en una escena. Por un lado, los valores de un objeto no varían bruscamente. Por el otro, los valores de profundidad presentan discontinuidades en la frontera entre objetos. En base a estas consideraciones se puede determinar si dos regiones pertenecen al mismo plano de profundidad o no. En este proyecto se han estudiado tres maneras de introducir la información de profundidad en MRHC. La primera consiste en ponderar la similitud entre regiones en función de la diferencia de profundidad entre éstas. Este coeficiente penalizando la similitud a medida que la diferencia aumenta. La segunda consiste en determinar la vecindad entre regiones en 3D. Por último, el tercer enfoque combina los dos anteriores. Se ha utilizado la base de datos Occlusion/Object Boundary para evaluar la inclusión de la profundidad en MRCH y para comparar la técnica actual MRHC con el estado del arte en segmentación de video. Los resultados obtenidos muestran que la inclusión de la profundidad mejora los resultados obtenidos con MRHC, superando las técnicas del estado del arte.

La segmentació de una seqüència de vídeo consisteix en agrupar de forma coherent regions que són similars tant en aparença com en moviment al llarg de un vídeo. Aquesta tasca es un pas fonamental en l'anàlisi de vídeo y té importants aplicacions en codificació, indexació y recuperació de vídeo, reconstrucció 3D, reconeixement d'accions, etc. En concret, en aquest Projecte final de Carrera s'analitza la tècnica de co-clustering multiresolució jeràrquica per segmentació de vídeo (MRHC) amb l'objectiu de introduir la informació de profunditat per millorar la segmentació. Aquesta informació facilita la tasca de segmentació perquè és invariant als canvis de il•luminació i/o textura i a la posició de la càmera. Per això, permet corregir alguns errors que produeixen les tècniques de segmentació basades en el color de la imatge i del moviment que es produeix a l'escena. Es poden fer dues consideracions en quant als valors de profunditat d'una escena. Per una banda, els valors d'un objecte no varien bruscament. Per l'altre, els valors de profunditat presenten discontinuïtats a la frontera entre objectes. Segons aquestes consideracions es pot determinar si dos regions corresponen al mateix pla de profunditat o no. En aquest projecte s'han estudiat tres manera de incorporar la informació de profunditat a MRHC. La primera pondera la similitud entre regions en funció de la diferencia de profunditat entre aquestes. Aquest coeficient penalitza la similitud a mesura que la diferencia augmenta. La segona determina el veïnat entre regions en 3D. Per últim, la tercera combina les dues anteriors. S'ha utilitzat la base de dades Occlusion/Object Boundary per avaluar la inclusió de la profunditat a MRHC i per comparar MRHC amb les tècniques del estat del art en segmentació de vídeo. Els resultats obtinguts mostren que la inclusió de la profunditat obté millora els resultats obtinguts amb MRHC, superant les tècniques del estat del art.

Region-based particle filter

Treball Final de Grau

Girbau Xalabarder, Andreu

Tutor/a - Director/a: Marqués Acosta, Fernando; Varas González, David

Data de publicació: 2015

Escola Tècnica Superior d'Enginyeria de Telecomunicació de Barcelona (ETSETB)

Veure detall Accés al text complet

[ANGLÈS] In this project the implementation of a video object tracking technique based on a particle filter that uses the partitions of the various frames in the video has been tackled. This is an extension of the standard particle filter tracker in which unions of regions of the image are used to generate particles. By doing so, the tracking of the object of interest through the video sequence is expected to be done in a more accurate and robust way. One of the main parts of this video object tracker is a co-clustering technique that allows having an initial estimation of the object in the current frame, relying on the instance of the same object in a previous frame. While developing the object tracker, we realized the importance of this co-clustering technique, not only in the context of the current video tracker but as a basic tool for several of the research projects in the image group. Therefore, we decided to concentrate on the implementation of a generic, versatile co-clustering technique instead of the simple version that was necessary for the tracking problem. This way, the main goal of this project consists on implementing the co-clustering method presented in an accurate way while presenting a low computation time. Moreover, the complete Region-based particle filter for tracking purposes is presented. Therefore, the aim of this Final Degree Project is, mainly, to give a guideline to future researchers who will use this algorithm; to help understand and apply the mentioned co-clustering for any project in need of this method.

[CASTELLÀ] En éste proyecto se presenta la implementación de una técnica de seguimiento en video basada en un filtro de partículas que utiliza las particiones de varios fotogramas. Esto es una extensión del filtro de partículas estándar para seguimiento, dónde las uniones de la regiones de la imagen son utilizadas para generar las partículas. Mediante esto se espera que el seguimiento del objeto de interés a través de la secuencia de video sea realizado de una manera más precisa y robusta. Una de las partes principales de éste seguidor de objetos en video es la técnica de co-clustering, que permite tener una estimación inicial del objeto en el fotograma actual basándose en el objeto del fotograma anterior. Durante el desarrollo del seguidor de objetos nos percatamos de la importancia de esta técnica de co-clustering, no solo en el contexto del seguidor de video actual, sino como herramienta básica para numerosos proyectos de investigación en el grupo de imagen. De esta forma, decidimos concentrarnos en la implementación de una técnica de co-clustering genérica y versátil en vez de una versión simplificada necesaria para el problema de seguimiento. El objetivo principal de éste proyecto, por lo tanto, consiste en implementar el método de co-clustering presentado de una manera precisa y presentando un tiempo de computación reducido. Además, el propio “Region-based particle filter” para el propósito de seguimiento es presentado también. El objetivo de éste Proyecto Final de Carrera es, principalmente, dar una pauta a futuros investigadores que utilizarán éste algoritmo; para ayudar a entender y aplicar el mencionado co-clustering en qualquier proyecto que necesite de éste método.

[CATALÀ] En aquest projecte es presenta la implementació d'una tècnica de seguiment en vídeo basada en un filtre de partícules que empra les particions de diversos fotogrames. Això és una extensió del filtre de partícules estàndard per seguiment, on les unions de les regions de la imatge són utilitzades per generar les partícules. Mitjançant això, s'espera que el seguiment de l'objecte d'interès a través de la seqüència de vídeo sigui realitzat d'una manera més acurada i robusta. Una de les parts principals d'aquest seguidor d'objectes en vídeo és la tècnica de co-clustering, que permet tenir una estimació inicial de l'objecte en el fotograma actual basant-se en l'objecte del fotograma anterior. Mentre desenvolupàvem el seguidor d'objectes ens vam adonar de la importància d'aquesta tècnica de co-clustering, no només en el context del seguidor per vídeo actual sinó, també, com a eina bàsica per nombrosos projectes de recerca en el grup d'imatge. D'aquesta manera, vam decidir concentrar-nos en la implementació d'una tècnica de co-clustering genèrica i versàtil en comptes d'una versió simplificada necessària pel problema del seguiment. L'objectiu principal d'aquest projecte, per tant, consisteix en implementar el mètode de co-clustering presentat d'una manera acurada, tot presentant un temps de computació reduït. A més a més el propi “Region-based particle filter” pel propòsit de seguiment és presentat també. L'objectiu d'aquest Projecte Final de Carrera és, principalment, donar una pauta a futurs investigadors que faran servir aquest algorisme; per ajudar a entendre i aplicar el mencionat co-clustering per qualsevol projecte que necessiti d'aquest mètode.

Automatic human detection and tracking for robust video sequence annotation

Projecte Final de Màster Oficial

Llorca Queralt, Ramón

Tutor/a - Director/a: Varas González, David; Morros Rubió, Josep Ramon

Data de publicació: 2014

Escola Tècnica Superior d'Enginyeria de Telecomunicació de Barcelona (ETSETB)

Veure detall Accés al text complet

Comparació d'algoritmes de classificació de tipus de pla en imatges de futbol

Treball Final de Grau

Coronado Gutiérrez, David

Tutor/a - Director/a: Varas González, David; Marqués Acosta, Fernando

Data de publicació: 2014

Escola Tècnica Superior d'Enginyeria de Telecomunicació de Barcelona (ETSETB)

Veure detall Accés al text complet

[ANGLÈS] The purpose of this project is to analyze and evaluate football image viewpoint classification algorithms and to implement, if it is possible, a set of upgrades to improve the results of this classification. In particular, the analysis of a publication of the State of the Art and its subsequent comparison to an algorithm created by the Image Processing Group (GPI) of the Polytechnic University of Catalonia is formulated. Sometimes, during the analysis process of sporting events is interesting to automate the extraction of semantic content. In this context, the algorithms compared in this project are football image viewpoint classification algorithms. To carry through the classification, these algorithms use different descriptors calculated on the images. This project originates from the need to compare the image processing group algorithm to present techniques, in order to assess the obtained results and have a better understanding of the current State of the Art. Thus, the State of the Art algorithm will be implemented, analyzed and improved if possible. Then, it will be compared to the one created by the image processing group using an extensive database previously selected. Finally, the results will be presented and analyzed.

[CASTELLÀ] El propósito de este proyecto es analizar y evaluar algoritmos de clasificación de puntos de vista en imágenes de fútbol e implementar, en caso que sea posible, un conjunto de modificaciones para obtener así mejores resultados en la clasificación. En concreto, se plantea el análisis de una publicación del estado del arte para este tipo de algoritmos y la posterior comparación con un sistema creado por el Grupo de Procesado de Imagen (GPI) de la Universidad Politécnica de Cataluña. A menudo, durante el proceso de análisis de eventos deportivos, es interesante automatizar la extracción de contenido semántico. En este contexto, los algoritmos que se comparan en éste proyecto son algoritmos de clasificación de puntos de vista en imágenes de fútbol. Para llevar a cabo esta clasificación, estos algoritmos utilizan diferentes descriptores calculados sobre las propias imágenes. El proyecto nace de la necesidad de comparar el algoritmo del grupo de procesado de imagen con las técnicas actuales, para así poder validar los resultados obtenidos y tener un mejor conocimiento del estado del arte actual. De esta manera el algoritmo del estado del arte será implementado, analizado y mejorado en la medida que sea posible. Posteriormente será comparado con el creado por el grupo de imagen utilizando una extensa base de datos previamente seleccionada. Finalmente, se presentaran y se analizaran los resultados obtenidos.

[CATALÀ] El propòsit d'aquest projecte és analitzar i avaluar algoritmes de classificació de punts de vista en imatges de futbol i implementar, en cas que sigui possible, una sèrie de modificacions per tal d'obtenir millors resultats en la classificació. En concret, es planteja l'anàlisi d'una publicació de l'estat de l'art per aquest tipus d'algoritmes i la posterior comparació amb un sistema creat pel Grup de Processat d'Imatge (GPI) de la Universitat Politècnica de Catalunya. Sovint, durant el procés d'anàlisi d'esdeveniments esportius, és interessant automatitzar l'extracció de contingut semàntic. En aquest context, els algoritmes que es comparen en aquest projecte són algoritmes de classificació de punts de vista en imatges de futbol. Per realitzar aquesta classificació, aquests algoritmes utilitzen diferents descriptors calculats sobre les pròpies imatges. El projecte neix de la necessitat de comparar l'algoritme del grup de processat d'imatge amb les tècniques actuals, per tal de validar els resultats obtinguts i tenir un millor coneixement de l'estat de l'art actual. Així doncs, l'algoritme de l'estat de l'art serà implementat, analitzat i millorat en la mesura que sigui possible. Posteriorment, serà comparat amb el creat pel grup d'imatge utilitzant una extensa base de dades prèviament seleccionada. Finalment, es presentaran i s'analitzaran els resultats obtinguts.