Interesante

El nuevo algoritmo de seguimiento manual podría ser un gran paso en el reconocimiento del lenguaje de señas

El nuevo algoritmo de seguimiento manual podría ser un gran paso en el reconocimiento del lenguaje de señas

Varias empresas, como SignAll y Kintrans, han creado sistemas de traducción de lengua de signos. Si bien son sistemas sofisticados, aún no se han generalizado.

La misión final de estas empresas es permitir que millones de personas que utilizan el lenguaje de señas se comuniquen fácilmente con cualquier persona.

Ahora, un nuevo algoritmo de seguimiento manual de los laboratorios de inteligencia artificial de Google podría ser un gran paso para hacer de este ambicioso tipo de software todo lo que prometió originalmente.

RELACIONADO: ESTA APLICACIÓN PARA SMARTPHONE PUEDE SALVAR TU VIDA CON SOLO 3 PALABRAS

Percepción de la mano en tiempo real

Al usar nada más que un teléfono inteligente y su cámara, el nuevo sistema de los laboratorios de inteligencia artificial de Google crea un mapa muy detallado de la mano de una persona que luego puede rastrear para comunicarse.

"Mientras que los enfoques actuales de vanguardia se basan principalmente en entornos de escritorio potentes para la inferencia, nuestro método logra un rendimiento en tiempo real en un teléfono móvil e incluso se escala a varias manos", dijeron los investigadores de Google Valentin Bazarevsky y Fan Zhang en un entrada en el blog.

"La percepción robusta de las manos en tiempo real es una tarea decididamente desafiante de la visión por computadora, ya que las manos a menudo se ocluyen entre sí o entre sí (por ejemplo, oclusiones de dedos / palmas y temblores de manos) y carecen de patrones de alto contraste".

Como informa TechCrunch, empresas, como SignAll, han recurrido a equipos de cámaras con sensor de profundidad para realizar un seguimiento de los movimientos de las manos. Aun así, hacer un seguimiento de los movimientos de las manos, con dedos que se ocultan entre sí y se mueven rápidamente, es una tarea difícil.

Cálculos más rápidos

Una de las formas en que los investigadores hicieron que su algoritmo calcule las señales manuales más rápido fue simplificando el proceso tanto como pudieron: menos datos, lo que lleva a menos tiempo de procesamiento.

En primer lugar, el sistema se entrena en la palma de una persona, en lugar de tomar las dimensiones de toda la mano. Luego, un algoritmo separado mira los dedos y la palma y asigna 21 coordenadas en nudillos, yemas de los dedos, etc.

Para que la IA aprenda estas coordenadas, los investigadores tuvieron que agregarlas manualmente 21 puntos Para algo 30.000 imágenes de manos en varias poses y situaciones de iluminación.

Estimular nuevas vías de investigación

Los desarrolladores han abierto su código con la esperanza de que otros encuentren formas innovadoras de usarlo y mejorarlo. El sistema utiliza el marco de realidad aumentada MediaPipe existente de Google.

“Esperamos que proporcionar esta funcionalidad de percepción de la mano a la comunidad de investigación y desarrollo más amplia resulte en la aparición de casos de uso creativos, estimulando nuevas aplicaciones y nuevas vías de investigación”, dicen en su declaración de blog.

Es probable que todavía haya un largo camino por recorrer antes de que el reconocimiento del lenguaje de señas sea realmente efectivo: la comunicación a través del lenguaje de señas se basa en gestos con las manos, expresiones faciales y otras señales. Sin embargo, este es un paso emocionante en la dirección correcta.


Ver el vídeo: La lengua de señas es universal? (Enero 2022).