Tema: Desarrollo de una cabeza interactiva por un grupo de estudiantes de IMT Atlantic.
1 CONTEXTO:
La empresa de robótica KOMPAÏ tiene como objetivo desarrollar soluciones robóticas avanzadas para ayudar a las personas vulnerables y sus cuidadores, cualquiera sea su lugar de vida: hogar de retiro, hospital, hogar. Después de desarrollar una primera generación a principios de la década de 2010, luego una segunda generación en 2015, la compañía está trabajando en la versión 3 que integra los resultados de las numerosas pruebas de concepto realizadas con sus socios, en entornos reales con pacientes reales. Es en el marco de este proyecto que la compañía KOMPAÏ confió un proyecto de desarrollo de una cabeza interactiva a un grupo de estudiantes de IMT.
2 DESCRIPCIÓN EXITOSA DEL PROYECTO:
El proyecto que propusimos es crear un modelo de cabeza interactivo con las características necesarias para una interacción de calidad con los cuidadores, por un lado, y los residentes, por otro lado.
Esta cabeza interactiva, que tiene la forma de una esfera de unos 20 cm de diámetro, comprende las siguientes funciones:
➔ ojos animados, con una biblioteca de miradas y comportamientos preinstalados, activados por software externo,
➔ una cámara para ver al interlocutor, identificarlo (reconocimiento facial) y reconocer sus emociones, opcionalmente una cámara para ver detrás,
➔ un conjunto de micro omnidireccional, capaz de localizar la fuente del ruido. Deben permitir una captura de calidad para un orador parado o sentado,
➔ uno o dos altavoces de pequeño tamaño pero de buena calidad,
➔ una capacidad de voz a texto y de texto a voz,
➔ opcionalmente una pantalla simulando los movimientos de los labios.
Este cabezal interactivo debe tener su propia unidad de computación (objetivo a estudiar: Arduino, mini PC tipo Raspberry), y se conectará con el robot a través de un RJ45 y un conector de alimentación.
3 soluciones hechas
3.1 Diagrama conceptual en respuesta a los requisitos anteriores.
Se ha desarrollado el siguiente esquema.
Se decidió agrupar las características utilizando los mismos recursos. La siguiente tabla resume brevemente los recursos de cada elemento del diagrama en términos de hardware y software
El diagrama de los paquetes ROS implementados es el siguiente:
3.2 Funciones de interacción del usuario.
El concepto utilizado es el de un diccionario de palabras clave enriquecido por el usuario para cumplir mejor los requisitos de los CDC. Sphinx proporciona el reconocimiento de voz como las mejores herramientas en comparación con las herramientas de Microsoft, Google, etc. El principio de reconocimiento de voz implementado se resume en el siguiente diagrama.
3.3 Reconocimiento de rostros: Sensaciones sensibles y rostros familiares
El reconocimiento facial se divide en dos características, la detección de emociones y el reconocimiento de rostros familiares. Ambos comparten el uso de una cámara para su funcionamiento, por lo que su análisis es una prioridad.
3.4 Localización de ruido: Detección de comandos de voz
Los resultados del estudio llevaron al uso de una matriz ReSpeaker 4-Mic para Raspberry Pi, que es una tarjeta de expansión de cuatro micrófonos para Raspberry Pi diseñada para aplicaciones de inteligencia artificial y procesamiento de voz. . El diagrama que se muestra aquí da resultados que permiten localizar el origen del sonido.
3.5 Animación de los ojos.
Los ojos son simulados por pequeñas pantallas de Oled. Se había desarrollado una biblioteca de miradas con comandos de activación ocular en función de la expresión que se desea expresar. El programa aún no tiene en cuenta el compromiso de una expresión de acuerdo con la emoción identificada por el módulo de reconocimiento de la emoción (este trabajo aún está por hacerse).
4 Conclusiones y perspectivas.
El trabajo preliminar fue bien iniciado por este grupo de estudiantes que ayudaron a desarrollar los diferentes bloques de esta cabeza. Se podrían realizar pruebas de laboratorio individuales satisfactorias. Sin embargo, no se pudo realizar la calificación y la integración completa de estos ladrillos, así como las pruebas con sujetos reales. Esto deja espacio para un futuro tema de pasantía.