Reconocimiento de lenguaje de señales a través de la red neuronal convolucional, con la interacción de una mano robótica antropomórfica

Abstract

Una de las principales características del ser humano es la comunicación, a partir de ella los humanos interactúan. A lo largo de la historia, la comunicación verbal ha sido la más popular, sin embargo, una población minoritaria no puede acceder a este tipo de relacionamiento, es por eso que, existe el lenguaje de señas. En el panorama colombiano, la discapacidad auditiva y del habla, es clasificada dependiendo de su condición, es minoritaria y la enseñanza del lenguaje de señas para esa población es mínima por la falta de cobertura y poca existencia de instituciones educativas, con especialidad en este tipo de lenguaje. Para poder resolver el problema, la mecatrónica ofrece herramientas como las redes neuronales y la biomecatrónica para crear una mano robótica antropomórfica, junto a una red neuronal convolucional, que enseñe el lenguaje de señas a niños. Para poder traspasar las barreras de la cobertura y ayudar a que más personas con este tipo de discapacidades puedan aprender su lenguaje propio para la comunicación. La realización de este proyecto nace del semillero de robótica en el año 2016 junto al ingeniero Rubén Darío Hernández B, donde se han realizado algunas ponencias respecto al proyecto. Este parte del procesamiento de imágenes, que tiene como fin caracterizar la mano, es fundamental extraer las características de la mano para enviar a una red neuronal convolucional y a una mano robótica antropomórfica que realice cada una de las señas deseadas. Las limitaciones de este proyecto pueden ser sociales y reglamentaciones médicas, es necesario legalmente que un comité, integrado por personas que no están discapacitadas, aprueben el proyecto para lograr la interacción con los directamente beneficiados. Por otro lado, en cuestiones técnicas, la mano no reconoce los movimientos de brazos ni muñecas, por ende, no podrá reconocer las señas que involucren dichas partes.