Aprèn - Laia Albors Zumel

This study introduces SignScribe Net, a groundbreaking model in the field of sign language translation (SLT), integrating advanced techniques from natural language processing. The thesis addresses the challenge of inclusive communication through the development of a novel SLT architecture, combining an Inflated 3D ConvNet with convolutional layers, adapters and a multilingual transformer model. SignScribe Net demonstrates substantial improvements over existing models, with the Large version achieving a 50.06% increase in BLEU scores and an 8.57% rise in COMET scores, highlighting its effectiveness in translating complex sign language gestures while maintaining semantic coherence. Despite its success, the model reveals limitations in zero-shot translation, indicating areas for future research. The thesis contributes significantly to the SLT field, setting new benchmarks for accuracy and inclusivity in communication for the deaf and hard-of-hearing communities.

Este estudio presenta SignScribe Net, un modelo revolucionario en el campo de la traducción de lenguaje de signos (SLT), que integra técnicas avanzadas de procesamiento de lenguaje natural. La tesis aborda el desafío de la comunicación inclusiva mediante el desarrollo de una nueva arquitectura de SLT, combinando una Inflated 3D ConvNet con capas convolucionales, adapters y un modelo transformer multilingüe. SignScribe Net demuestra mejoras sustanciales sobre los modelos existentes, con la versión Grande logrando un aumento del 50.06% en los resultados en BLEU y un incremento del 8.57% en los resultados en COMET, destacando su eficacia en la traducción de gestos complejos de lenguaje de signos mientras mantiene la coherencia semántica. A pesar de su éxito, el modelo revela limitaciones en la traducción zero-shot, indicando áreas para investigaciones futuras. La tesis contribuye significativamente al campo de SLT, estableciendo nuevos estándares de precisión e inclusividad en la comunicación para las comunidades de sordos y con dificultades auditivas.

Aquest estudi presenta SignScribe Net, un model innovador en el camp de la traducció de llenguatge de signes (SLT), integrant tècniques avançades de processament de llenguatge natural. La tesi aborda el desafiament de la comunicació inclusiva a través del desenvolupament d'una nova arquitectura SLT, combinant una Inflated 3D ConvNet amb capes convolucionals, adapters i un model transformer multilingüe. SignScribe Net demostra millores substancials sobre els models existents, amb la versió Gran aconseguint un augment del 50.06% en els resultats en BLEU i un increment del 8.57% en els resultats en COMET, destacant la seva eficàcia en traduir gestos complexos de llenguatge de signes mantenint la coherència semàntica. Malgrat el seu èxit, el model revela limitacions en la traducció zero-shot, indicant àrees per a recerques futures. La tesi contribueix significativament al camp de SLT, establint nous estàndards de precisió i inclusivitat en la comunicació per a les comunitats de sords i amb dificultats auditives.

Joint analysis of RGB images and Lidar data using NeRFs

Treball Final de Grau

Cruz Carné, Nil

Tutor/a - Director/a: Marqués Acosta, Fernando; Albors Zumel, Laia

Data de publicació: 2024

Escola Tècnica Superior d'Enginyeria de Telecomunicació de Barcelona (ETSETB)

Veure detall Accés al text complet

3D reconstruction of scenes from 2D images is one of the fundamental issues of image-based modeling and computer vision and it has been tackled in multiple ways for a few decades. In this work, an in-depth study of NeRFs is carried out, a new technology based on deep learning that is capable of rendering 3D scenes from novel viewpoints through a volumetric function. NeRFs are compared with existing 3D reconstruction techniques and the evolutions of the original NeRF model are studied, focusing on those that incorporate features that could be useful for a future NeRF model of our own. This model should be optimized to reconstruct 3D scenes from aerial images of natural environments for their future monitoring.

La reconstrucción 3D de escenas a partir de imágenes 2D es una de las tareas más importantes para la comunidad de visión por computador y ha sido encarada de múltiples maneras en las últimas décadas. En este trabajo, se hace un estudio a fondo de los NeRFs, una nueva tecnología basada en deep learning que es capaz de renderizar escenas en 3D desde cualquier punto de vista mediante una función volumétrica. Se comparan los NeRFs con técnicas ya existentes de reconstrucción 3D y se estudian las evoluciones del modelo NeRF original poniendo el foco en las que incorporan características que podrían ser útiles para un futuro modelo NeRF propio. Este modelo tendría que estar optimizado para reconstruir escenas en 3D a partir de imágenes aéreas de entornos naturales para su futura monitorización.

La reconstrucció 3D d?escenes a partir d?imatges 2D és una de les tasques més importants per la comunitat de visió per computador i ha estat encarada de múltiples maneres en les últimes dècades. En aquest treball, es fa un estudi a fons dels NeRFs, una nova tecnologia basada en deep learning que és capaç de renderitzar escenes en 3D des de qualsevol punt de vista mitjançant una funció volumètrica. Es compara els NeRFs amb tècniques ja existents de reconstrucció 3D i s?estudien les evolucions del model NeRF original posant el focus en les que incorporen característiques que podrien ser útils per un futur model NeRF propi. Aquest model hauria d?estar optimizat per reconstruir escenes en 3D a partir d?imatges aèrees d?entorns naturals per a la seva futura monitorització.