Generación de datos sintéticos para segmentación de acciones en secuencias de vídeo

Abstract

Este trabajo se enmarca dentro del proyecto nacional RETOGAR, el cual centra sus esfuerzos en una de las líneas prioritarias de investigación en los países desarrollados en la actualidad: la atención de personas dependientes, ya sea por enfermedad, accidente, discapacidad, o envejecimiento. Esta atención, además de servir de ayuda y compañía, se está planteando que sea incluso terapéutica. Se pretende que dicha atención sea en el hogar de la persona, con el objetivo de minimizar el coste de las terapias. La rehabilitación de los pacientes será completa cuando se consiga su integración en la sociedad, bien en el entorno familiar o en un entorno de trabajo. Para dar solución a este desafío, el principal objetivo científico que persigue este proyecto es fomentar la salud y el bienestar de la sociedad a partir del diseño, desarrollo y evaluación de un asistente para personas con daño cerebral adquirido o dependientes que les ayude ante los retos que plantea su enfermedad en su integración social completa. Este asistente tiene una vertiente en el domicilio del paciente basada en el diseño y uso de un ambiente inteligente de monitorización y aprendizaje activo, y de un robot social autónomo de asistencia y estimulación interactiva en el hogar. Por otro lado, se contempla asistir a los pacientes también en entornos exteriores, ante desorientaciones o situaciones complejas. Para conseguir el objetivo general propuesto, es necesario diseñar un asistente personalizado para ayudar al paciente ante situaciones de fallos de memoria, falta de orientación, dificultades motoras, visibilidad reducida por hemiplejias y otras situaciones. Tal sistema debe ser capaz de reconocer las acciones que está realizando el paciente y segmentarlas apropiadamente en pasos atómicos para recordar al paciente los pasos a seguir en caso de problemas. Actualmente, los sistemas basados en aprendizaje profundo (deep learning), en concreto redes convolucionales combinadas con redes recurrentes, dominan el estado del arte con resultados altamente precisos. No obstante, aunque existe una gran cantidad de trabajos relacionados con el reconocimiento de acciones, la literatura relacionada con la segmentación a un grano tan fino es escasa. En este trabajo planteamos el estudio de soluciones existentes y la implementación de dicho sistema de reconocimiento y segmentación empleando técnicas de aprendizaje profundo (redes convolucionales y redes recurrentes profundas) en el framework PyTorch. Si el tiempo lo permite, analizaremos el estado del arte en busca de posibles puntos débiles e ideas alternativas para mejorar el estado del arte del campo.