딥마인드 "오토RT는 학습 데이터 생성 시스템인 동시에 자율 로봇의 초기 사례"

주변 상황 파악해 자동적으로 명령어 생성…위험 행동 막는 장치도 도입

로봇 청소기, 서빙 로봇같이 하나에 특화된 로봇을 넘어 실생활의 다양한 작업을 알아서 수행하는 로봇이 점차 다가오고 있다.

7일 업계에 따르면 구글 딥마인드는 4일 '오토RT'(AutoRT)라는 이름의 로봇 학습·제어 시스템 연구 결과를 발표했다.

오토RT는 다양한 환경에서 자율적으로 활동하며 로봇 학습용 데이터를 만들어낸다. 여기서 만들어진 학습 데이터는 로봇 AI 개발 속도를 높이는 데 활용될 전망이다.

오토RT는 거대언어모델(LLM)과 로봇 제어 모델 RT-1과 RT-2를 결합해 만들어졌다. RT-1은 사무실, 주방 등에서 17개월 동안 13대의 로봇이 작동하며 만들어진 데이터 기반 모델이다. RT-2는 이미지와 언어 정보 학습을 바탕으로 복잡한 현실에서도 간단한 명령으로 임무를 수행할 수 있도록 하는 시각-언어-행동(VLA) 모델이다.

기존의 로봇 제어는 특정한 행동을 하도록 프로그래밍을 하거나 행동 지침을 입력해야 했다. RT-2 적용 로봇은 "(주어진 공 중에) 축구공을 농구공 옆에 놓아라", "책상에서 떨어지기 쉬운 가방을 집어라" 같은 일상어 명령을 받아 로봇의 카메라로 환경을 분석한 뒤 적절한 행동을 할 수 있다.

또 로봇 훈련 데이터에 없는 물체나 행동을 주변 상황에 맞춰 할 수도 있다. 기존에 보지 못한 장난감을 주어도 장난감을 치우라는 명령에 물체가 장난감인지 판단해 반응할 수 있는 것이다.

딥마인드에 따르면 RT-2는 "(망치가 없는 상황에서) 망치로 쓸 수 있는 것을 고르라"는 명령에 돌멩이를 집어드는 추론 능력도 일부 갖췄다.

이번에 공개된 오토RT는 더 나아가 자율적으로 명령어를 생성한다. 이 시스템은 자율적으로 활동하는 로봇의 초기 모델 성격도 있지만 기본적으로는 로봇 행동 데이터를 생성·수집하는 것이 목적이다.

예를 들어 책상 위에 걸레, 컵, 물병 등이 있는 상황에 오토RT는 로봇 내장 카메라로 상황을 인식한다. 그리고 상황을 분석 후 이 상황에서 발생할 수 있는 "걸레로 책상을 닦는다", "걸레로 컵을 닦는다", "컵에 물병의 물을 담는다" 같은 명령어를 자동 생성한다. 그리고 로봇이 할 수 있는 것, 위험하지 않은 것 등의 기준으로 적절한 명령어를 걸러내고 알아서 실행해 로봇 행동 데이터를 만들어낸다.

구글의 시연에서는 음식 상자가 널브러진 상황에서 오토RT는 알아서 "상자를 겹쳐 쌓는다"는 명령어를 생성해 시행했다.

이런 과정으로 사람의 개입 없이도 로봇 행동 데이터가 자동적으로 만들어지는 것이다. 자동 생성된 대규모 로봇 행동 데이터는 AI 로봇 개발 속도를 한층 가속시킬 수 있다.

딥마인드는 7개월동안 오토RT를 여러 환경에서 운용해 7만7000여개의 로봇 데이터 세트를 만들어냈다.

딥마인드는 자동 생성된 로봇 데이터에 위험한 행동이 포함돼 사람과 로봇 자신에게 위해를 가하는 상황을 막는 안전 규칙도 시스템에 심었다. 안전 규칙에는 △인간에게 해를 끼칠 수 없음 △칼과 같은 날카로운 물체와 상호 작용 금지 △로봇의 허용 한계 이상으로 무거운 물체 조작 금지 등이다.

구글 딥마인드는 "오토RT는 데이터 수집 시스템인 동시에 자율 로봇의 초기 사례"라며 "향후 더 강력하고 다양한 학습 규칙을 만들고 활용 방법을 연구할 것"이라고 설명했다.