로봇은 사람을 보고 집안일을 배운다

로봇은 사람을 보고 집안일을 배운다
로봇이 야생에서 학습할 수 있는 새로운 방법
날짜:
2022년 7월 20일
원천:
카네기 멜론 대학교
요약:
연구원들은 야생 인간 모방 로봇 학습의 약자 WHIRL이라는 로봇을 위한 새로운 학습 방법을 개발했습니다. WHIRL은 일회성 시각적 모방을 위한 효율적인 알고리즘입니다. 인간 상호 작용 비디오에서 직접 학습하고 해당 정보를 새로운 작업으로 일반화하여 로봇을 가사 학습에 적합하게 만들 수 있습니다. 사람들은 집에서 끊임없이 다양한 작업을 수행합니다. WHIRL을 사용하여 로봇은 이러한 작업을 관찰하고 궁극적으로 작업 자체를 완료하는 방법을 결정하는 데 필요한 비디오 데이터를 수집할 수 있습니다.

로봇은 Shikhar Bahl이 냉장고 문을 여는 것을 지켜보았다. 그것은 그의 움직임, 문을 흔드는 것, 냉장고의 위치 등을 기록하고 이 데이터를 분석하고 Bahl이 한 일을 모방할 준비를 합니다.

처음에는 실패했고, 때때로 핸들을 완전히 놓치고, 엉뚱한 곳에서 잡거나, 잘못 잡아당겼습니다. 그러나 몇 시간의 연습 끝에 로봇은 성공하고 문을 열었다.

"모방은 배우는 훌륭한 방법입니다."라고 Ph.D.인 Bahl이 말했습니다. Carnegie Mellon University 컴퓨터 과학 학교의 Robotics Institute(RI) 학생입니다. "로봇이 인간을 직접 관찰하면서 실제로 배우게 하는 것은 현장에서 해결되지 않은 문제로 남아 있지만, 이 작업은 그 능력을 가능하게 하는 중요한 단계를 취합니다."

Bahl은 RI의 교수인 Deepak Pathak 및 Abhinav Gupta와 협력하여 WHIRL이라고 하는 로봇을 위한 새로운 학습 방법을 개발했습니다. WHIRL은 일회성 시각적 모방을 위한 효율적인 알고리즘입니다. 인간 상호 작용 비디오에서 직접 학습하고 해당 정보를 새로운 작업으로 일반화하여 로봇을 가사 학습에 적합하게 만들 수 있습니다. 사람들은 집에서 끊임없이 다양한 작업을 수행합니다. WHIRL을 사용하여 로봇은 이러한 작업을 관찰하고 궁극적으로 작업 자체를 완료하는 방법을 결정하는 데 필요한 비디오 데이터를 수집할 수 있습니다.

팀은 기성품 로봇에 카메라와 소프트웨어를 추가했으며 가전 제품, 캐비닛 문 및 서랍을 열고 닫는 것부터 냄비에 뚜껑을 씌우기, 냄비를 밀기까지 20가지 이상의 작업을 수행하는 방법을 배웠습니다. 심지어 쓰레기통에서 쓰레기 봉투를 꺼냅니다. 매번 로봇은 인간이 작업을 완료하는 것을 한 번 지켜본 다음 스스로 작업을 수행하기 위해 연습하고 학습했습니다. 이 팀은 이번 달 뉴욕에서 열린 Robotics: Science and Systems 컨퍼런스에서 연구 결과를 발표했습니다.

"이 연구는 로봇을 집으로 가져오는 방법을 제시합니다."라고 RI의 조교수이자 팀 구성원인 Pathak이 말했습니다. "로봇이 사람들의 집에 배치되기 전에 다른 작업을 성공적으로 완료하도록 프로그래밍되거나 훈련될 때까지 기다리는 대신 이 기술을 사용하면 로봇을 배치하고 작업을 완료하는 방법을 배우도록 하는 동시에 환경에 적응하고 단독으로 개선할 수 있습니다. 지켜봄으로써."

로봇에게 작업을 가르치는 현재 방법은 일반적으로 모방 또는 강화 학습에 의존합니다. 모방 학습에서 인간은 로봇을 수동으로 조작하여 작업을 완료하는 방법을 가르칩니다. 이 과정은 로봇이 학습하기 전에 하나의 작업에 대해 여러 번 수행되어야 합니다. 강화 학습에서 로봇은 일반적으로 시뮬레이션에서 수백만 개의 예제로 훈련된 다음 해당 훈련을 실제 세계에 적용하도록 요청받습니다.

두 학습 모델 모두 구조화된 환경에서 로봇에게 단일 작업을 가르칠 때 잘 작동하지만 확장 및 배포하기가 어렵습니다. WHIRL은 작업을 수행하는 인간의 모든 비디오에서 배울 수 있습니다. 하나의 특정 작업에 국한되지 않고 쉽게 확장 가능하며 실제 가정 환경에서 작동할 수 있습니다. 팀은 YouTube와 Flickr의 인간 상호 작용 비디오를 보고 훈련된 WHIRL 버전도 개발 중입니다.

컴퓨터 비전의 발전으로 작업이 가능해졌습니다. 인터넷 데이터로 훈련된 모델을 사용하여 컴퓨터는 이제 움직임을 3D로 이해하고 모델링할 수 있습니다. 팀은 이 모델을 사용하여 사람의 움직임을 이해하고 WHIRL 훈련을 촉진했습니다.

WHIRL을 사용하면 로봇이 자연 환경에서 작업을 수행할 수 있습니다. 가전제품, 문, 서랍, 뚜껑, 의자 및 쓰레기 봉투는 로봇에 맞게 개조되거나 조작되지 않았습니다. 작업에 대한 로봇의 처음 여러 시도는 실패로 끝났지만 몇 번 성공하고 나면 신속하게 수행 방법을 파악하고 마스터했습니다. 로봇이 사람과 같은 움직임으로 작업을 수행할 수는 없지만 그것이 목표는 아닙니다. 인간과 로봇은 서로 다른 부분을 가지고 있고 다르게 움직입니다. 중요한 것은 최종 결과가 동일하다는 것입니다. 문이 열립니다. 스위치가 꺼져 있습니다. 수도꼭지가 켜져 있습니다.

Pathak은 "야생에서 로봇 공학을 확장하려면 데이터가 신뢰할 수 있고 안정적이어야 하며 로봇이 스스로 연습하여 환경에서 더 좋아져야 합니다"라고 말했습니다.