Sistema de seguimiento de caras y estimación de pose con modelado automático 3D

El grupo Robesafe de la Universidad de Alcalá ha desarrollado un método que realiza el seguimiento y estimación de las poses de la cara de una persona, usando visión estéreo. Este método no necesita identificar previamente a la persona y no requiere un entrenamiento previo.  

El modelo de cara se construye automáticamente on-line. Este método podría servir como la base de un sistema de supervisión de conducción o de análisis de la conducta de conductores y ha sido probado sobre secuencias registradas en un simulador naturalista y en un coche en movimiento.

El grupo está interesado en alcanzar acuerdos comerciales con asistencia técnica con empresas del sector de los componentes para la automoción, diseñadoras de simuladores y electrónica de entretenimiento (interfaces para PCs, TVs, videojuegos, etc). 

El modelo está formado por un conjunto de puntos tridimensionales 3D de la cara. Estos puntos son automáticamente seleccionados en la primera imagen obtenida por las cámaras. La cara es localizada usando el método de Viola&Jones y los puntos de la cara que presentan adecuadas características para el seguimiento se encuentran con el detector de puntos de Harris. Se usan hasta 30 puntos. 

Los parches de imagen alrededor de las proyecciones 2D de estos puntos en cada cámara son rastreados en cada imagen usando el algoritmo Simultaneous Modelling and Tracking (SMAT). Este algoritmo construye un modelo con los cambios de la apariencia o la textura alrededor de cada punto. 

La pose en 3D se obtiene de puntos en 2D usando el algoritmo POSIT de manera redundante por ambas cámaras con el fin de mejorar la solidez del sistema. 

El tracking puede fallar para algunos puntos en cada frame. El algoritmo RANSAC se usa entonces para desechar puntos erróneos en la valoración de la pose. Después de obtener un set de puntos correctamente localizados (inliers), la posición de los puntos outlier es reinicializada en función de la pose estimada. 

Algunos puntos se ocluyen cuando la cabeza de la persona gira y no pueden ser entonces localizados. Este sistema sin embargo es capaz de estimar la pose de la cara de manera fiable en giros de entre +/- 90º. Para ello utiliza una novedosa técnica que va completando el modelo según la cara va girando y emplea el método de bundle adjustment para ajustar el modelo. 

El sistema funciona ya en condiciones reales y ha sido validado en un simulador naturalita y en un vehículo de demostración. Los resultados experimentales y el análisis del funcionamiento se encuentran listos para ser presentados. 

Este sistema de visión artificial es capaz de reconocer por primera vez la orientación de la cara humana, sin necesidad de identificar previamente a la persona ni de realizar entrenamientos previos. Además, es capaz de realizar seguimiento con bajas condiciones de iluminación y alcanza un rango de funcionamiento entre +/- 90º. 

Este sistema es innovador en cuanto a la forma de juntar los tres algoritmos con los que funciona: SMAT, RANSAC, Levenberg-Marquardt y Bundle Adjustment. Se desconoce la existencia de un sistema anterior que los haya utilizado de esta manera y que logre un rango de funcionamiento de giro total en condiciones de baja iluminación.