Lightwheel AI가 공개한 LeIsaac을 정리했어요. LeRobot의 SO101 리더암을 실물로 쥐고, 그걸로 Isaac Lab 시뮬레이션 안의 로봇 팔을 조종해 시연 데이터를 모으는 오픈소스예요.
수집 기기가 곧 로봇 그리퍼인 오픈소스 데이터 수집기 Grabette의 Grabette이 기록 기기를 로봇의 말단과 같게 만들어 갭을 지웠다면, 이 프로젝트는 반대쪽을 지워요. 조종기는 실물로 두고 로봇과 환경을 통째로 시뮬레이터로 옮겨요.
팔은 있는데 환경이 없을 때
모방학습 데이터 수집의 문턱은 로봇 팔값만이 아니에요. SO101처럼 팔이 싸져도, 시연을 모으려면 과제를 차릴 물리적 공간과 물건, 그리고 실패해도 되는 환경이 필요해요. 주방 과제를 백 번 시연하려면 백 번 어지르고 백 번 치워야 해요. 실패의 비용도 실물에서는 공짜가 아니에요. 떨어뜨린 컵은 깨지고, 부딪힌 팔은 점검해야 하니, 아슬아슬한 과제일수록 시연을 모으기가 조심스러워져요.
LeIsaac의 답은 환경 쪽을 시뮬레이션으로 보내는 거예요. 주방과 로프트 같은 씬이 Isaac Lab 위에 준비돼 있고, 그 안의 SO101 팔로우어를 실물 리더암으로 움직여요. 리더암은 팔로우어와 같은 구조의 팔을 조종기로 쓰는 장치인데, 사람이 관절을 돌리면 그 각도를 시뮬 속 팔이 그대로 따라 하는 방식이에요. 조작감은 실물 텔레옵 그대로인데 환경을 차리고 되돌리는 비용은 리셋 버튼 하나예요.
입구도 여럿 열어뒀어요. 리더암이 없으면 키보드나 게임패드로도 조종할 수 있고, 원격 텔레오퍼레이션도 지원한다고 밝혔어요. 입문용으로는 구슬을 다루는 튜토리얼 환경이 따로 있어요. 씬을 만드는 쪽 이야기는 3D 가우시안 스플랫 디지털 트윈으로 휴머노이드 내비를 제로샷 전이에서 다뤘는데, 실제 공간을 촬영해 시뮬 씬으로 복원하는 흐름과 그 씬 안에서 시연을 모으는 이 흐름이 맞물리면 수집 파이프라인의 앞뒤가 이어져요.
수집에서 실기까지 한 갈래로
이 프로젝트가 도구 모음이 아니라 파이프라인인 이유는 출구까지 이어져 있어서예요. 시연은 관측과 행동의 시계열을 계층형으로 담는 HDF5 파일로 기록되고, 이를 LeRobot 데이터셋 포맷으로 변환하는 도구가 들어 있어요. LeRobot 포맷은 허깅페이스 허브에 올려 공유하고 바로 학습에 넣는 사실상의 표준이라, 여기로 떨어지는 순간 생태계의 나머지 도구가 전부 붙어요. 최근에는 lerobot recorder 통합으로 텔레옵 중에 LeRobot 포맷으로 바로 기록하는 경로도 생겼어요. 변환 단계를 기다릴 필요가 없어진 거예요.
그 데이터로 GR00T N1.5나 N1.6 정책을 파인튜닝하고, 학습된 정책을 실기 하드웨어에 올려 추론하는 단계까지가 저장소 범위 안에 있어요. GR00T은 엔비디아가 공개한 로봇 파운데이션 모델 계열이라, 바닥부터 학습하는 대신 소규모 시연을 그 밑그림 위에 얹는 파인튜닝이 표준 경로예요. 시뮬에서 모은 시연으로 실물 팔을 움직이는 데까지를 한 저장소가 커버한다는 뜻이에요.
사람 없이 모으는 경로도 있어요
텔레옵만이 아니에요. datagen 모듈은 상태기계로 짠 스크립트 정책이 과제를 자동으로 수행하며 데이터를 만들어요. 상태기계는 접근, 파지, 이동 같은 단계를 조건 전이로 이어 붙인 각본이라, 잘 정의된 과제라면 사람이 리더암을 잡고 있는 시간 없이도 시연이 쌓여요. 대신 각본이 만든 데이터는 사람 시연의 흔들림과 다양성이 빠져 있을 수 있는데, 이건 문서의 주장이 아니라 스크립트 수집 일반에 대한 제 단서예요.
영상에서 행동을 뽑는 Video2action 파이프라인도 Cosmos 튜토리얼로 들어와 있어요. 수집 경로를 사람 손, 스크립트, 영상 셋으로 열어둔 셈이에요.
생태계의 자리
라이선스는 Apache-2.0이고, 저장소는 LeRobot의 EnvHub에 공식 모방학습 플레이그라운드로 통합됐다고 밝히고 있어요. LeRobot 쪽에서 시뮬 환경 실습을 시작하는 표준 경로 중 하나가 됐다는 자기 서술인데, 리더암·팔로우어·데이터 포맷·학습 모델까지 전부 LeRobot 생태계 부품으로 맞춰져 있어서 설득력이 있어요. 수집 도구가 표준 포맷에 맞춰져 있다는 건, 오늘 모은 데이터가 내일 다른 모델의 학습 재료로도 그대로 쓰인다는 뜻이기도 해요.
남는 것
정직하게 짚을 게 있어요. 이 저장소의 문서는 성공률이나 데이터셋 규모 같은 성능 수치를 제시하지 않아요. 시뮬에서 모은 시연으로 파인튜닝한 정책이 실기에서 얼마나 성공하는지는 이 문서만으로는 알 수 없고, 파이프라인이 끝에서 끝까지 이어져 있다는 것과 그 끝의 품질은 다른 문제예요.
시뮬 수집의 상수인 sim-to-real 격차도 그대로 남아요. 시뮬 주방의 물리와 실제 주방의 물리는 다르고, 손에 쥔 리더암의 조작이 만들어내는 접촉도 시뮬레이터가 근사한 접촉이에요. 그 차이를 파인튜닝된 정책이 얼마나 버티는지가 이 접근의 실효를 가를 텐데, 답은 저장소 바깥에 있어요.
그래서 Grabette과 나란히 놓고 보면 교환의 구도가 선명해요. 실물 수집은 물리가 진짜인 대신 규모를 키우는 비용이 사람과 공간에 비례하고, 시뮬 수집은 규모가 싼 대신 물리가 근사예요. 어느 쪽이 이긴다기보다 과제의 성격이 고르는 문제로 보이는데, 이 구도 정리는 문서가 아니라 제 독해예요. 분명한 건 수집 문턱을 낮추는 도구가 하드웨어 쪽과 시뮬레이션 쪽에서 같은 시기에 나란히 나오고 있다는 사실이고, 병목이 데이터라는 진단에 생태계가 양쪽 방향에서 동시에 답하고 있다는 신호예요.