Chińscy naukowcy z Uniwersytetu Tsinghua, we współpracy z firmami AgiBot i Infinigence AI, opracowali metodę, dzięki której roboty mogą doskonalić swoje umiejętności, korzystając z doświadczeń innych maszyn. Po szkoleniu z udziałem 96 robotów skuteczność pakowania telefonów, zmierzona w osobnych testach, wzrosła z 79,2 do 98,3 proc. Wyniki badania opublikowano 19 października, a metodę publicznie zaprezentowano 30 października.
Jednym z ograniczeń dotychczasowych metod szkolenia robotów jest zależność od demonstracji i korekt wprowadzanych przez ludzi. Maszyna może opanować określoną czynność na podstawie pokazu, ale gdy napotyka trudność, poprawa jej działania często wymaga kolejnej interwencji operatora. Przy rosnącej liczbie urządzeń oznacza to coraz większe koszty i nakład pracy.
Chiński zespół postanowił wykorzystać doświadczenia zdobywane przez same roboty podczas pracy. Opracowana metoda Collective Experience Learning (CEL), czyli uczenie się na podstawie wspólnych doświadczeń, pozwala gromadzić informacje o wykonanych zadaniach i wykorzystywać je do ulepszania programu sterującego całą grupą. Jeżeli jedna maszyna pomyślnie wykona czynność, z którą inna miała trudności, zapis jej działania może posłużyć do poprawy wspólnego modelu.
Nie polega to jednak na prostym kopiowaniu ruchów. Opracowany przez badaczy algorytm FERT analizuje okoliczności niepowodzenia, a następnie wyszukuje w zgromadzonych danych podobne sytuacje zakończone sukcesem. Na tej podstawie wybiera fragmenty prawidłowo wykonanych czynności i wykorzystuje je podczas dalszego szkolenia. Dzięki temu roboty mogą poprawiać swoje działanie bez konieczności dostarczania nowych demonstracji przez człowieka.
Do sprawdzenia tej metody wykorzystano dwuramienne roboty AgiBot G2. Badacze przygotowali pięć zadań wymagających różnego rodzaju precyzji: układanie kwiatów, składanie ubrań, podłączanie telefonu do ładowania, montaż niewielkiego stołka oraz pakowanie smartfona wraz z akcesoriami. Każda z tych czynności stawiała przed maszynami inne trudności, związane między innymi z chwytaniem przedmiotów, dopasowywaniem ich położenia i wykonywaniem kolejnych ruchów we właściwej kolejności.
Największą grupę, liczącą 96 robotów, wykorzystano podczas nauki pakowania telefonu. Zadanie wymagało umieszczenia w pudełku instrukcji, przewodu, ładowarki, etui i samego urządzenia, a następnie prawidłowego zamknięcia opakowania. Cała operacja trwała od dwóch do trzech minut. Przed zastosowaniem nowej metody roboty wykonywały ją poprawnie w 79,2 proc. prób. Po zakończeniu szkolenia odsetek ten wzrósł do 98,3 proc.
Wynik sprawdzono na dwóch robotach tego samego modelu, które nie uczestniczyły w gromadzeniu danych treningowych. Spośród 120 prób zakończyły one pomyślnie 118. Badacze porównali również skuteczność szkolenia przy różnej liczbie uczestniczących maszyn. Przy zachowaniu jednakowego czasu zbierania doświadczeń przez każdy robot zwiększenie grupy z 16 do 96 urządzeń podniosło skuteczność pakowania z 86,7 do 98,3 proc.
Podobną poprawę zaobserwowano w pozostałych zadaniach, choć uczestniczyły w nich mniejsze grupy robotów. Po zastosowaniu nowej metody średnia skuteczność wykonywania pięciu czynności wyniosła 97,3 proc., wobec 81 proc. osiąganych po wcześniejszym etapie szkolenia z udziałem operatorów. We wszystkich pięciu testach roboty uzyskały również lepsze wyniki niż grupa sześciu osób sterujących maszynami zdalnie.
Aby wspólna nauka była możliwa na taką skalę, badacze stworzyli również system, w którym roboty nie musiały czekać na siebie nawzajem. Każda maszyna przekazywała dane po zakończeniu zadania, a awarie pojedynczych urządzeń nie przerywały pracy całej grupy. Podczas próby z udziałem 96 robotów zarejestrowano 9834 wykonania zadania, mimo 30 zakłóceń dotyczących 22 maszyn.
Nie oznacza to całkowitego wyeliminowania człowieka z procesu szkolenia. Operatorzy nadal przygotowywali początkowe demonstracje, oceniali rezultaty wykonywanych zadań i przywracali stanowiska do stanu wyjściowego. Nowa metoda pozwoliła jednak ograniczyć konieczność kolejnych interwencji służących poprawianiu sposobu działania robotów.
Badania przeprowadzono na jednym modelu urządzeń i pięciu ściśle określonych czynnościach. Aby ocenić przydatność tej metody w codziennej pracy przemysłowej, trzeba jeszcze sprawdzić ją na innych robotach oraz w mniej przewidywalnym otoczeniu.
Źródła: Artykuł naukowy (arXiv), Strona projektu CEL, Infinigence AI.
Zeskanuj, aby pobrać
