Development of machine learning models for facial emotion recognition as an in-cabin monitoring system for automated mobility
Tutor / Supervisor
Parra Chuecos, Antonio Natan
Student
De Asís Molleja, Armand
Document type
Bachelor thesis
Date
2024
rights
Open Access
Publisher
Universitat Politècnica de Catalunya
UPCommons
Abstract
Hoy en día existe una gran negativa a la hora de utilizar la conducción autónoma o los sistemas avanzados de asistencia al conductor, tanto por parte de los conductores más jóvenes como de los mayores. Por este motivo, el objetivo principal del proyecto es desarrollar una prueba de concepto de un sistema de monitorización en cabina que pueda medir las emociones de las personas. De esta forma, otros módulos del coche podrán utilizar esta información para adaptar el estilo de conducción o el ambiente de la cabina para hacer el viaje mucho más cómodo, y en un futuro, intentar conseguir una mayor aceptación. La forma de abordar el trabajo será como una tarea basada en Computer Vision. Se realizará un reconocimiento estático de emociones faciales a cada ocupante del coche haciendo inferencia fotograma a fotograma. Posteriormente, se aplicarán técnicas de postprocesado para obtener mejores resultados en vídeo. Debido a la gran variabilidad en el entorno de la cabina de un vehículo, es necesario construir un sistema robusto y adaptable a muchas condiciones. Para ello, se estudiará el rendimiento de diversos modelos de Machine Learning y se observará si técnicas como la destilación de conocimiento y módulos como self-attention pueden aumentar el rendimiento de los mismos. Además, se aplicarán y analizarán algunas técnicas de aumento de datos, preprocesamiento de datos y entrenamiento para mejorar la optimización de los modelos. Por último, se realizará un estudio para ver el impacto de estos sistemas en la situación de un coche. De esta forma, se podrá ver si los resultados mostrados en un entorno orientado a las emociones pueden extrapolarse a un entorno dentro del coche. Toda la investigación se ha realizado dentro de NTT Data y la UPC en el contexto del grupo de trabajo de la Comisión Europea CCAM (Connected Cooperative Automated Mobility) como una investigación académica con usos no comerciales. Además, todo el desarrollo se enmarcará en un enfoque ético, haciendo un desarrollo sostenible.
Nowadays exists a huge resistance towards using Autonomous Driving or Advanced Driver Assistance Systems while driving a car, for both young and elderly drivers and occupants. For this reason, the main goal of the project is to develop a Proof of Concept of an In-Cabin Monitoring System that can measure the people's emotions. This way, other car modules can use this information to adapt the driving style or cabin environment to make the travel much more comfortable and expectantly, engage people to use more these systems. The way to tackle the job will be as a Computer Vision task. A Static Facial Emotion Recognition will be performed to every occupant frame-by-frame and, later, apply post processing techniques to get better results in the video context. Due to the high variability in a vehicle cabin environment, it is needed to build a robust system adaptable to many conditions. To do it, it will be studied the performance of diverse Machine Learning models and observe if knowledge distillation and attention modules can increase the performance of them. Moreover, some data augmentation, data preprocessing and training techniques will be applied and analyzed in order to enhance the optimization of the models. Finally, a study will be performed in order to see the impact of these systems in a car situation. To see if this would be feasible and if the results shown in an emotion targeted environment can be extrapolated to an in-car setting. All the investigation has been performed in the context of the European Commission working group CCAM (Connected Cooperative Automated Mobility) in NTT Data and UPC as an academic investigation with non-commercial uses. Moreover, all the development will be framed within an ethical approach, making a sustainable development.
Participating teacher
- Parra Chuecos, Antonio Natan