Pollen Robotics가 공개한 Grabette를 정리했어요. 로봇 조작 데이터를 로봇도 실험실도 없이 손으로 모으고, 그 기록을 그대로 로봇 학습 데이터로 바꾸는 오픈소스 기기예요. 사전학습 규모가 커지면 창발하는 사람 영상에서 로봇으로의 전이이 사람과 로봇 사이의 갭을 규모로 녹였다면, 이 프로젝트는 같은 갭을 하드웨어 설계로 아예 없애요.
병목은 모델이 아니라 데이터예요
이 글이 서 있는 전제는 분명해요. 로봇 학습에서 부족한 건 모델이 아니라 다양한 실세계 데이터라는 거예요. 그런데 조작 데이터를 모으려면 보통 로봇 팔과 텔레오퍼레이션 장비, 그걸 갖춘 공간이 필요해요. 데이터를 모으는 문턱이 로봇을 가진 소수에게 묶여 있어요.
여기서 사람 손으로 시연을 기록하자는 발상이 나오는데, 그러면 오래된 숙제가 따라와요. 사람 손과 로봇 그리퍼는 생김새도 시점도 움직임도 달라서, 사람 시연을 로봇 데이터로 쓰려면 손을 가리거나 생성 모델로 장면을 변환하거나 모션 리타게팅으로 정렬하는 장치가 필요했어요. 갭을 메우긴 하지만 특정 설정에 묶이는 방식이에요.
손에 든 기기가 곧 로봇 그리퍼예요
Grabette의 접근은 그 갭을 메우지 않고 처음부터 안 생기게 해요. 손에 드는 기록 기기 Grabette과 로봇 팔에 다는 그리퍼 Gripette이 같은 그리퍼 메커니즘이에요. 사람이 Grabette을 쥐고 컵을 집으면, 그 움직임은 나중에 로봇이 쓸 바로 그 그리퍼의 움직임이에요.
그래서 기록이 처음부터 로봇의 행동 공간에 있어요. 시연은 카메라 기준 6자유도 위치 자세에 그리퍼 상태를 더한 형태로 저장되는데, 이게 곧 정책이 내야 할 행동의 표현이에요. 사람 손을 로봇 그리퍼로 옮기는 리타게팅 단계가 아예 없어요. 갭을 사후에 정렬하는 대신, 기록하는 물건 자체를 로봇의 말단으로 만들어 버린 셈이에요.
기기 구성도 이 목적에 맞춰져 있어요. Grabette은 광각 어안 카메라와 깊이를 함께 재는 RGBD 카메라, IMU, 자기 엔코더가 달린 그리퍼, 라즈베리파이로 이뤄져 있고 부품값이 약 490유로예요. 로봇 쪽 Gripette은 서보 두 개와 카메라만으로 약 120유로예요. CAD와 펌웨어, 처리 파이프라인까지 공개돼 있어요.
기록에서 데이터셋까지
버튼을 누르면 관측 카메라와 트래킹 카메라의 색·깊이·IMU, 그리퍼 엔코더 값이 동시에 기록돼요. 에피소드를 허깅페이스 허브에 올리면 grabette-slam 스페이스가 RTAB-MAP 라이브러리로 SLAM을 돌려 궤적을 복원해요. 손에 든 기기가 공간에서 어떤 경로로 움직였는지를 카메라와 IMU만으로 추정하는 단계예요.
복원된 궤적의 품질을 확인한 뒤 LeRobot 포맷으로 변환하고, LeRobot 뷰어로 시각화까지 돼요. 로봇 학습 생태계에서 표준으로 쓰이는 형식으로 바로 떨어지니, 수집한 데이터가 곧장 정책 학습의 입력이 돼요. 처리는 로컬에서 돌리거나 허깅페이스 스페이스로 돌릴 수 있어요.
데모는 성공률이 아니라 개념 증명이에요
저자들은 컵 잡기 시연 200개로 Diffusion Policy를 학습시켜 OpenArm 7자유도 팔에 Gripette을 달고 돌렸어요. 정책은 ResNet18에 SpatialSoftmax 인코더, DDIM 스케줄러, 6차원 회전 행동을 쓰고 소비자용 GPU 한 장에 올라가요.
여기서 정직하게 짚을 게 있어요. 글은 시연 영상을 보여줄 뿐 성공률 수치를 제시하지 않아요. 저자들 스스로 이 다운스트림 스택은 무엇이 가능한지 보여주는 예시일 뿐 제품이 아니고, 릴리스의 본체는 기록 시스템이라고 못박아요. 그러니 이 데모는 성능 벤치마크가 아니라 파이프라인이 끝에서 끝까지 돌아간다는 개념 증명으로 읽는 게 맞아요.
남는 것
머리에 쓰는 1인칭 기록 기기 Casquette는 아직 개발 중이에요. 데모도 컵 잡기 하나라 과제나 환경을 가로지르는 일반화는 다루지 않았고, 손 시연을 그리퍼 상태로 옮기는 매핑의 세부 알고리즘도 글에는 자세히 나오지 않아요. 데이터를 쓰려면 팔에 Gripette을 달아야 한다는 전제도 있어요.
그래도 사람과 로봇 사이의 갭을 모델이 사후에 배우게 하는 대신, 기록하는 도구를 로봇의 말단과 같게 만들어 데이터 수집 단계에서 지워버렸어요. 병목이 데이터라면, 그 데이터를 누구나 손으로 모을 수 있게 만드는 것도 한 갈래의 답이에요.