{{{sourceTextContent.title}}}

Guante repleto de sensores aprende las firmas del agarre humano

{{{sourceTextContent.subTitle}}}

Usando un guante lleno de sensores mientras manejan una variedad de objetos, los investigadores del MIT han compilado un conjunto de datos masivo que permite que un sistema de IA reconozca objetos a través del tacto solamente. La información podría aprovecharse para ayudar a los robots a identificar y manipular objetos, y puede ayudar en el diseño de prótesis.

{{{sourceTextContent.description}}}

Los investigadores desarrollaron un guante tejido de bajo costo, llamado "guante táctil escalable" (STAG), equipado con unos 550 sensores diminutos en casi toda la mano. Cada sensor captura las señales de presión a medida que los seres humanos interactúan con los objetos de varias maneras. Una red neuronal procesa las señales para "aprender" un conjunto de datos de patrones de señales de presión relacionados con objetos específicos. Luego, el sistema utiliza ese conjunto de datos para clasificar los objetos y predecir sus pesos al sentirse solo, sin necesidad de entrada visual.

En un artículo publicado en Nature, los investigadores describen un conjunto de datos que compilaron usando STAG para 26 objetos comunes, incluyendo una lata de refresco, tijeras, una pelota de tenis, una cuchara, un bolígrafo y una taza. Utilizando el conjunto de datos, el sistema predijo las identidades de los objetos con una precisión de hasta el 76 por ciento. El sistema también puede predecir el peso correcto de la mayoría de los objetos en un rango de 60 gramos.

Los guantes similares basados en sensores que se utilizan hoy en día cuestan miles de dólares y a menudo sólo contienen alrededor de 50 sensores que capturan menos información. A pesar de que STAG produce datos de muy alta resolución, está hecho de materiales disponibles en el mercado por un total de alrededor de 10 dólares.

El sistema de detección táctil podría utilizarse en combinación con la visión por ordenador tradicional y los conjuntos de datos basados en imágenes para proporcionar a los robots una comprensión más humana de la interacción con los objetos.

"Los humanos pueden identificar y manejar bien los objetos porque tenemos retroalimentación táctil. A medida que tocamos los objetos, nos sentimos a nuestro alrededor y nos damos cuenta de lo que son. Los robots no tienen esa rica retroalimentación", dijo Subramanian Sundaram, un ex estudiante graduado del Laboratorio de Ciencias de la Computación e Inteligencia Artificial (CSAIL). "Siempre hemos querido que los robots hagan lo que los humanos pueden hacer, como lavar los platos u otras tareas. Si quieres que los robots hagan estas cosas, deben ser capaces de manipular objetos muy bien"

Los investigadores también usaron el conjunto de datos para medir la cooperación entre las regiones de la mano durante las interacciones de objetos. Por ejemplo, cuando alguien usa la articulación media de su dedo índice, rara vez usa su pulgar. Pero las puntas de los dedos índice y medio siempre corresponden al uso del pulgar.

"Por primera vez, demostramos cuantificablemente que, si estoy usando una parte de mi mano, es muy probable que use otra parte de mi mano", dijo.

Los fabricantes de prótesis pueden utilizar la información para, por ejemplo, elegir los puntos óptimos para colocar los sensores de presión y ayudar a personalizar las prótesis para las tareas y objetos con los que las personas interactúan regularmente.

Unirse a Sundaram en el papel lo es: Petr Kellnhofer y Jun-Yan Zhu, postdoctorados del CSAIL; Yunzhu Li, estudiante de posgrado del CSAIL; Antonio Torralba, profesor de EECS y director del Laboratorio de Inteligencia Artificial Watson del MIT-IBM; y Wojciech Matusik, profesor asociado de ingeniería eléctrica y ciencias de la computación y jefe del grupo de Fabricación Computacional.

STAG está laminado con un polímero conductor de electricidad que cambia la resistencia a la presión aplicada. Los investigadores cosieron hilos conductores a través de agujeros en la película de polímero conductor, desde la punta de los dedos hasta la base de la palma. Las roscas se solapan de tal manera que se convierten en sensores de presión. Cuando alguien que usa el guante siente, levanta, sostiene y deja caer un objeto, los sensores registran la presión en cada punto.

Los hilos se conectan desde el guante a un circuito externo que traduce los datos de presión en "mapas táctiles", que son esencialmente breves vídeos de puntos que crecen y se encogen a través del gráfico de una mano. Los puntos representan la ubicación de los puntos de presión, y su tamaño representa la fuerza: cuanto más grande es el punto, mayor es la presión.

A partir de esos mapas, los investigadores compilaron un conjunto de datos de alrededor de 135.000 fotogramas de video de interacciones con 26 objetos. Esos marcos pueden ser utilizados por una red neuronal para predecir la identidad y el peso de los objetos, y proporcionar información sobre la comprensión humana.

Para identificar objetos, los investigadores diseñaron una red neuronal convolucional (CNN), que se utiliza generalmente para clasificar imágenes, para asociar patrones de presión específicos con objetos específicos. Pero el truco consistía en elegir marcos de diferentes tipos de agarres para obtener una imagen completa del objeto.

La idea era imitar la forma en que los humanos pueden sostener un objeto de diferentes maneras para reconocerlo, sin usar su vista. De manera similar, la CNN de los investigadores escoge hasta ocho cuadros semiautomáticos del video que representan los agarres más disímiles, por ejemplo, sosteniendo una taza desde la parte inferior, superior y del mango.

Pero la CNN no puede simplemente elegir fotogramas aleatorios de entre los miles que hay en cada vídeo, o probablemente no elegirá imágenes distintas. En su lugar, agrupa marcos similares entre sí, lo que da como resultado distintos grupos que corresponden a empuñaduras únicas. Luego, tira de un marco de cada uno de esos grupos, asegurándose de que tenga una muestra representativa. Luego, la CNN utiliza los patrones de contacto que aprendió en la capacitación para predecir una clasificación de objetos a partir de las tramas elegidas.

"Queremos maximizar la variación entre las tramas para dar la mejor entrada posible a nuestra red", dijo Kellnhofer. "Todos los cuadros dentro de un mismo grupo deben tener una firma similar que represente las formas similares de agarrar el objeto. Muestreo de múltiples cúmulos simula a un humano interactivamente tratando de encontrar diferentes agarres mientras explora un objeto"

Para estimar el peso, los investigadores construyeron un conjunto de datos separado de alrededor de 11,600 fotogramas de mapas táctiles de objetos que se tomaban con los dedos y el pulgar, se sostenían y se dejaban caer. Notablemente, la CNN no fue entrenada en ninguno de los cuadros en los que fue probada, lo que significa que no pudo aprender a asociar el peso con un objeto. En las pruebas, se introdujo un solo marco en la CNN. Esencialmente, la CNN escoge la presión alrededor de la mano causada por el peso del objeto, e ignora la presión causada por otros factores, como el posicionamiento de la mano para evitar que el objeto resbale. A continuación, calcula el peso en función de las presiones adecuadas.

El sistema puede combinarse con los sensores que ya se encuentran en las articulaciones del robot y que miden el par y la fuerza para ayudarles a predecir mejor el peso del objeto.

"Las articulaciones son importantes para predecir el peso, pero también hay componentes importantes del peso de las puntas de los dedos y de la palma que capturamos", aseguró Sundaram.