Chińska firma Robbyant, należąca do Ant Group, udostępniła model sztucznej inteligencji LingBot-Touch, który pomaga robotom lepiej posługiwać się przedmiotami. W testach przeprowadzonych przez jego twórców maszyny znacznie sprawniej odkręcały zakrętki, obsługiwały drobne elementy i wykonywały inne czynności wymagające wyczucia siły nacisku.

Dla człowieka przekręcenie klucza w zamku czy wyjęcie karty pamięci jest zwykle proste. Robot, choć potrafi dokładnie zobaczyć przedmiot, może mieć trudność z rozpoznaniem, czy już go chwycił, czy element się przesunął albo czy trzeba mocniej nacisnąć. Kamera nie dostarcza wszystkich informacji o tym, co dzieje się w miejscu styku dłoni z przedmiotem.

LingBot-Touch ma rozwiązywać właśnie ten problem. Nie jest nową mechaniczną dłonią, lecz oprogramowaniem, które interpretuje sygnały z czujników dotykowych. Przekazuje systemowi sterowania informacje o kontakcie i nacisku w postaci, którą ten może wykorzystać podczas planowania kolejnego ruchu.

Robbyant sprawdził rozwiązanie w 26 zadaniach wykonywanych przez rzeczywiste roboty, wykorzystując dłonie Sharpa Wave i XHand. Obejmowały one między innymi odkręcanie zakrętek, sortowanie kamieni do madżonga, wyjmowanie karty SD oraz manipulowanie zamknięciem woreczka strunowego. Zastosowanie modelu poprawiło średnią skuteczność czterech systemów sterowania o 13,9–24,8 punktu procentowego w porównaniu z wariantami pozbawionymi informacji dotykowych.

Odkręcanie zakrętki
Wyjmowanie karty SD
Demonstracje LingBot-Touch. Wideo: Robbyant / Ant Group.

Najłatwiej zrozumieć tę różnicę na przykładzie zakrętki. W jednym z testów robot sterowany modelem T-Rex wykonywał zadanie poprawnie w 56,25 proc. przypadków. Po przekazaniu mu surowych danych z czujników wynik wzrósł do 62,5 proc. Gdy te same informacje przetwarzał LingBot-Touch, skuteczność osiągnęła 90 proc. Są to wyniki przedstawione przez autorów rozwiązania, a nie pomiary potwierdzone dotychczas w niezależnych badaniach.

Do wstępnego treningu wykorzystano zbiór obejmujący 4983 godziny nagrań dotykowych, zgromadzonych za pomocą specjalnych rękawic zakładanych przez ludzi oraz dłoni robotycznych. Zbiór zawiera ponad 464 tys. sekwencji kontaktu z przedmiotami. Odczyty pochodzą z trzech rodzajów czujników: reagujących na nacisk zmianą oporu elektrycznego, magnetycznych oraz optyczno-dotykowych, które pozwalają obserwować odkształcenia powierzchni.

Zestawienie tak różnych pomiarów w jednym modelu jest istotną częścią projektu. Poszczególne roboty nie muszą korzystać z identycznych czujników, aby wykorzystywać wspólny sposób interpretacji dotyku. W próbach z dłonią XHand zespół pozostawił bez zmian parametry modelu odpowiedzialnego za odczytywanie sygnałów, dostosowując do nowego sprzętu system sterowania ruchem. To ważne rozróżnienie: rozwiązanie ułatwia przenoszenie wiedzy między urządzeniami, ale nie usuwa potrzeby przygotowania robota do konkretnych zadań.

Robbyant opublikował również kod niezbędny do korzystania z modelu oraz dwa zestawy wytrenowanych parametrów na otwartej licencji Apache 2.0. Mniejsza wersja, HaT-Tiny, ma 5,46 mln parametrów. Udostępnienie oprogramowania pozwala innym zespołom sprawdzić jego działanie i wykorzystać je we własnych projektach, choć pełnych danych i kodu służącego do treningu nie opublikowano.

W chińskiej robotyce równolegle rozwijane są coraz sprawniejsze mechaniczne dłonie i oprogramowanie pozwalające lepiej kontrolować ich ruchy. LingBot-Touch należy do tej drugiej dziedziny. Jest na razie rozwiązaniem badawczym, sprawdzonym na dwóch konstrukcjach dłoni, ale udostępnienie modelu daje innym zespołom możliwość przeprowadzenia własnych prób.

Źródła: Robbyant / Ant Group, Bing Han i współautorzy, Kod źródłowy (GitHub).