Vision-tactile object recognition with machine learning in a soft-gripper

Filipe Almeida Alves Monteiro

Key information

Authors:

Filipe Almeida Alves Monteiro (Filipe Almeida Alves Monteiro)

Supervisors:

Silvia Tolu; João Carlos Prata dos Reis (João Carlos Prata dos Reis)

Published in

June 27, 2024

Abstract

Este trabalho aborda o uso de sensores de extensão em um soft-gripper para classificação de objectos e respectiva dureza. Os objectos usados foram maçãs, mangas, laranjas, batatas e tomates, com a classificação a ser feita considerando a categoria e o grau de maturação, bem como uma tarefa adicional sobre a dureza. Através da montagem de um protótipo com sensores de extensão num soft-gripper e uma câmara, foi construída uma série de dados com informação háptica e visual. Os resultados indicam que integrar sensores de extensão providencia importantes conhecimentos sobre propriedades de objetos, apesar de limitações de desempenho. A exploração de diversas técnicas de classificação demonstra o valor de usar métodos específicos para séries temporais, não usados previamente em trabalhos relacionados. A fusão da informação táctil e visual destaca a complementaridade das modalidades de sensores em tarefas de percepção. Os resultados indicam que modelos tácteis exibem limitações, com o modelo DrCIF a alcançar 65.75% de exatidão para classificação de fruta, enquanto a GoogLeNet obtém 98.91% para os dados visuais. A combinação dos modelos melhora a classificação, atingindo 99.05%. O mesmo é válido para a classificação em dureza em 4 categorias, onde DrCIF obtém 57.98%, melhorando para 77.51% quando combinado com o classificador visual de frutas. O projeto além de contribuir para o progresso da robótica macia inteligente, providencia importantes informações sobre o seu uso para propósitos agro-industriais, diminuindo desperdício de fruta, e potencial para tarefas de colheita. This work addresses the use of stretch sensors in a soft-gripper for object, and hardness, classification, while assessing the impact of combining tactile and visual information. The objects used were apples, mangoes, oranges, potatoes and tomatoes, with its classification task being with respect to category and ripeness state, with a separate one regarding hardness. Through assembling a prototype with stretch sensors in a soft gripper and a fixed camera, it was built a dataset with haptic and visual information. The results indicate that integrating stretch sensors offers valuable insights into object properties, although with some performance shortcomings. Exploration of diverse machine learning techniques for classification proved the value of using time specific methods, which had previously not been used in related works. Furthermore, the fusion of tactile and visual data highlights the complementary nature of sensor modalities in robotic perception tasks. Results indicate that while tactile-only models exhibit limitations, with 65.75% accuracy for fruit classification with the DrCIF classifier, GoogLeNet exhibits 98.91% accuracy with the visual data. Combining tactile and visual models improves classification, surpassing individual sensor modalities, achieving 99.05%. The same is valid for hardness classification into 4 classes, where DrCIF achieves 57.98%, which is improved to 77.51% when fused with the visual fruit classifier. The project not only contributes to the advancement of intelligent soft robotics but also provides valuable insights into its use for agro-industrial purposes, diminishing fruit waste in sorting operations with potential for harvesting tasks as well.