Predicción de deslizamiento mediante la segmentación de imágenes táctiles

Abstract

El uso de sensores táctiles está comenzando a ser una práctica común en tareas complejas de manipulación robótica. Este tipo de sensores proporcionan información extra sobre las propiedades físicas de objetos que están siendo agarrados y/o manipulados. En este trabajo, se ha implementado un sistema capaz de medir el deslizamiento rotacional que pueden sufrir objetos durante su manipulación. Nuestra propuesta emplea sensores táctiles ópticos DIGIT, a partir de los cuáles se capturan imágenes de contacto que luego se procesan e interpretan. En concreto, nuestro método hace uso de un modelo neuronal para la detección de la región de contacto. Y posteriormente, mediante extracción de características visuales de la región detectada, se estima el ángulo causado por movimientos de deslizamiento. Nuestro método estima correctamente la región de contacto obteniendo un 95% y 91% usando las métricas Dice e IoU. Y es capaz de obtener un error medio máximo de 3º en agarres de objetos nunca vistos anteriormente.

Using tactile sensors is becoming a common practice to achieve complex manipulation in robotic tasks. These kinds of sensors provide extra information about the physical properties of the grasping and/or manipulation task. In this work, we have implemented a system that is able to measure the rotational slippage of objects in hand. Our proposal uses the vision-based tactile sensors known as DIGITs which allow us to capture contact images, which are then processed. In particular, our method is based on a neural network model applied to the detection of touch/contact regions. Afterwards, we extract visual features from detected contact regions and we then estimate the angle generated due to an unwanted slippage. Our method obtains results of 95% and 91% in Dice and IoU metrics for contact estimation. In addition, it is able to obtain a mean rotational error of 3 degrees in the worst case with previously unseen objects.