Diseño de un sistema de reconocimiento de gestos de la mano basado en visión artificial para estudiantes escolares con discapacidad auditiva en Lima Metropolitana

Abstract

El propósito principal del siguiente trabajo es el diseñar un sistema de reconocimiento de gestos del mano para estudiantes escolares con discapacidad auditiva en Lima Metropolitana, con la finalidad de utilizarse como una herramienta de comunicación y mejorar así los procesos de aprendizaje del alumno. Para ello, el trabajo se fundamenta en el conocimiento del lenguaje de señas peruano, así también es necesario los conceptos de cámaras de profundidad de campo, procesamiento de imágenes, redes neuronales, deep learning, lenguaje Python y comunicación inalámbrica. El desarrollo de la propuesta está dividida en 4 bloques: adquisición, procesamiento, visualización y supervisión; primeramente se capturará las imágenes continuas mediante una cámara RGB-D, éstas son ingresadas al microcomputador Raspberry pi donde se implementarán los algoritmos de detección de la mano, segmentación espacio-temporal, extracción de características 3D y clasificación, además contendrá también la base de datos generada por el entrenamiento y aprendizaje de una máquina de vectores de soporte, a partir de ello, el usuario visualizará en una pantalla LCD el texto asociado al gesto ejecutado, finalmente como bloque de supervisión se utilizará una laptop enlazada inalámbricamente con la raspberry que contendrá una interfaz de control y monitoreo remoto del sistema. Como resultados se espera: la adquisición de imágenes RGB e imágenes de profundidad, el procesamiento y clasificación de características espacio-temporales, así como la traducción continua en texto de los gestos capturados. En conclusión, el diseño de éste sistema embebido portátil permitirá reconocer gestos de la mano y convertirlas a texto de manera constante y autónoma.