Interpretador de Señas con Kinect (articulo técnico)

Este artículo tiene como fin compartir y justificar el uso de los lenguajes de programación del proyecto en construcción, interpretador de señas con Kinect (articulo técnico) y dar continuidad al artículo anterior Como Interpretar Señas Con Kinect y Verbalizarlo escrito anteriormente.

En el artículo Interpretador de Lengua de Señas y verbalizarlo se habla que el proyecto tendrá las como fases en el desarrollo:

  • Automatizadores de movimiento.
  • Publicar señas.
  • Carga de imagen.

Fases de desarrollo que necesitan recursos técnicos necesarios para la optimización de tiempos, costos y ajustarse al alcance planteado del proyecto.

Además de una arquitectura inicial con la cual se busca aterrizar los diseños necesarios para convertir las señas en palabras y viceversa en contextos establecidos de acuerdo a sondeo realizado. (Ver encuesta)

 

Herramientas y Software necesario

C sharp – C#

Este lenguaje de programación orientado a objetos que permite el vínculo entre los dispositivos que se utilizan en ILSC, en este caso el Kinect, y el propio software desarrollado en Unity 3D.

C# es el lenguaje que permite el uso de SDK de manera oficial Microsoft Kinect V2, además a la fecha ya existen desarrollos realizados de identificación de gestos utilizado para juegos. Debido a esto el Interpretador de Semas Con Kinect aprovechara los avances en estos desarrollos.

SDK Kinect V2

El SDKI contiene una serie de herramientas, librerías y documentación con ejemplos que nos facilita el uso del Kinect.

El dispositivo detecta el esqueleto humano y así es capaz de facilitarnos información sobre la posición exacta del plano.

En este caso no sea necesita utilizar esta herramienta para elaboración de distintas tareas pero si el saber cuál es el su funcionamiento.

Visual Gesture Builder es una herramienta la cual permite la creación de una base de datos de gestos. Los detalles del funcionamiento de los distintos tipos de gestos que se pueden crear.

Unity 

Unity es el motor de juego multiplataforma desarrollado por Unity Techologíes, la cual utiliza principalmente OpenGL que se encarga de definir una api para escribir aplicaciones que permiten producir gráficos 2D y 3D lo cual es la principal característica de un Unity,  para este proyecto utilizaremos la versión Unity 2019.

Visual Gesture Builder

De acuerdo al cuadrante mágico de Gartner, Microsoft se situa como el primero en el cadrante de líderes para base de datos por lo anterior y también su capacidad para facilitar las técnicas de aprendizaje automático en sus propios gestos ILSC se trabajara con con Visual Gesture Builder (VGB).

Las técnicas de ML utilizan datos grabados y etiquetados por eso cuantos más datos muestren comportamientos positivos y negativos en relación con su gesto requerido, mejor sera la interpretación de la seña.

Una porción de datos grabados puede ser suficiente para ver un resultado, y lo que se busca es que funcione en contextos en escenarios del mundo real. Además, es una práctica común dividir los datos en un conjunto de capacitación y también en un conjunto que se puede utilizar para verificar que el sistema capacitado funcione como se espera.

Hardware Necesario

Es necesario un computador con las siguientes características:

  • Memoria RAM de 4 Gb o superior
  • Procesadores dual core 2.6 Ghz o superior
  • Tarjeta de video que soporte Direct X 9 o superior
  • Un sistema operativo Windows 8 / 8.1

Kinect V2

Este es el dispositivo que se utilizará como cámara, este dispositivo permite a los usuarios de ILSC realizar la captura de las señas y gestos realizados con la cara.

Su funcionamiento en específico se  basa en reconocer las señas que realice la persona con discapacidad auditiva  y con esta información  y con los programas que incluye SDK, es posible la creación del ILSC.

Adaptador  Kinect

Para la ejecución del siguiente proyecto utilizaremos un adaptador que permita conectar el Kinect con el ordenador y así lograremos la compatibilidad con Windows.

Es de anotar que existen 2 versiones de Kinect V2. La primera  qué es para Xbox y la otra que es utilizada directamente con ordenadores con una conexión directa a PC o Laptop; sin embargo, debido a los costos elevados que tiene el Kinect V2 para ordenador  tomaremos la opción de realizarlo con el adaptador.

Algunos pasos para comenzar a desarrollar

Lo siguiente que necesitamos para poder comenzar con los desarrollos del Interpretador de Señas con Kinect (Articulo Técnico) es tener instalado el Unity3d.

Al instalar Unity3D se utiliza la opción para instalar Visual Studio Community en cualquier versión según sea el caso que se necesite, lo cual es necesario para el proyecto, este será utilizado para modificar algunos scripts dentro de lo necesario para ILSC

Una vez tengamos Unity3d instalado, descargaremos e instalaremos el plugin para Kinet V2.

Dentró de esta carpeta encontraremos tres paquetes diferentes y dos escenas de prueba los plugins que encontramos aquí son los más básicos tenemos el reconocimiento facial el reconocimiento de gestos, el cual estaremos usando y finalmente uno de todas las funcionalidades del sdk de Kinect v2.

Como nuestro proyecto no se basa solamente en el reconocimiento de señas o movimientos con las manos y cuerpo, sino que también realizará la identificación de gestos con la cara es necesario incluir el plugin que se encuentra en el Asset Store del propio motor de juegos Unity 3D .

*Interpretador de Señas con Kinect (articulo técnico) es la continuación de Como Interpretar Señas Con Kinect.

 

Autor:   John Cruz

Editor: Luz Adriana Muñoz

Código: UCP2-6

Fuentes

 

Leal, E., Leal N., Henríquez, C. (2016). Aplicación integrada a la tecnología Kinect para el reconocimiento e interpretación de la Lengua de Señas Colombianas.Escenarios, 14 (2), p,p 7-19
DOI: http://dx.doi.org/10.15665/esc.v14i2.928

Cujano, M. & Vera, C. (2016). Diseño e implementación de un sistema interactivo mediante tecnología Kinect v2.0 para desarrollar las
habilidades psicomotrices en personas con discapacidad visual. Tesis de Ingeniería. Universidad Nacional de Chimborazo, 2016.


Castro, C. (2003) Aprendizaje del lenguaje en niños sordos: fundamentos para la adquisición temprana de lenguaje de señas [on line], 17 (1),
p. 1-12. recuperado <http://www.psicologiacientifica.com/lenguaje-de-senas-aprendizaje/> [Acceso 27 de septiembre de 2016].

Khoshelham, K. y Elberink, SO (2012). Precisión y resolución de los datos de profundidad de kinect para aplicaciones de mapeo en interiores. Sensores, 12 (2), 1437-1454.

López, E., Velásquez, J., Eleuterio, R., y Gil, L.(2015). Interfaz de reconocimiento de movimientos para el lenguaje de señas mexicano implementando el Kinect. Revista Aristas: Investigación Básica y Aplicada, 4(7), 130-133.


Parra, J. A. (2015) Intérprete de lenguaje de signos para la comunicación de personas con discapacidad auditiva empleando procesamiento
de imágenes. Rev. Invest. Univ. Quindío, 27 (1),54-60.


Perona, J. (2011) Reto Kinect: Usar las cámaras del sensor [Internet], Disponible desde: <https://blogs.msdn.microsoft.com/
esmsdn/2011/07/20/reto-kinect-usar-las-cmaras-del-sensor/
> [Acceso 29 de agosto 2016]

Rodríguez, C., Pineda, J., y Sánchez, D. (2013) Prototipo traductor de señales manuales a texto legible, utilizando Kinect, AVANCES Investigación en Ingeniería, 10 (2), 64-72.


UN, (2006). Recuperado de <http://www.un.org/spanish/disabilities/convention/convention.html>[Acceso Noviembre 2016]


Villegas, O., y Barrientos, A. (2015) Propuestas de Soluciones TIC emergentes para Personas con Discapacidad. Sistemas, Cibernética e Informática., 12 (2), 1-6

Deja un comentario

Tu dirección de correo electrónico no será publicada. Los campos obligatorios están marcados con *