Niantic Spatial이 Flexion, NVIDIA와 함께 공개한 휴머노이드 내비게이션 파이프라인을 정리했어요. sim2real 이야기에서 보통 시뮬레이션에서 배운 걸 현실로 옮기는 뒷단이 주인공인데, 이 글은 앞단, 즉 현실을 얼마나 충실하게 시뮬레이션으로 가져오느냐(real2sim)가 그 전이를 결정한다는 걸 보여줘요. 전류-토크 선형 모델을 신경망으로 갈아끼운 NeuralActuator이 관절 안쪽의 동역학 갭을 공략했다면, 이쪽은 환경 쪽 갭을 공략하는 셈이에요.
배포할 공간을 먼저 복사해요
파이프라인의 출발은 로봇이 아니라 공간이에요. 작업자가 일반 360도 카메라로 실제 배포 현장을 촬영하면, Niantic Spatial이 그걸 사실적인 3D 가우시안 스플랫(3D Gaussian Splat)으로 복원해요. 가우시안 스플래팅은 장면을 수많은 반투명 타원체로 표현해 사진 수준의 시점 렌더링을 빠르게 만드는 기법이라, 카메라를 보는 정책에게 진짜 같은 화면을 줄 수 있어요.
여기서 중요한 디테일이 하나 붙어요. 보이는 것과 부딪히는 것을 분리해서, 스플랫에 정렬된 충돌 지오메트리를 함께 만들어요. 렌더링용 표현은 예쁘지만 물리 충돌을 계산할 수 없으니, 시각은 스플랫이 맡고 물리는 충돌 메시가 맡는 구조예요.
충돌 메시는 MVSAnywhere라는 제로샷 다중시점 스테레오(multi-view stereo) 모델로 뽑아요. 도메인을 가리지 않고 일반화하도록 만든 모델이라 흰 벽처럼 텍스처가 거의 없는 면에서도 표면이 깨끗하게 나오고, 결과가 미터 단위 실척(metric scale)으로 나와 스케일 오차가 뒤로 번지지 않아요. 두 표현이 같은 재구성에서 나오기 때문에 정렬은 별도 등록 작업 없이 구성상 보장돼요. 보이는 벽과 부딪히는 벽이 어긋나면 로봇은 벽을 통과하거나 허공을 피하도록 배우는데, 그 실패 원인을 애초에 제거한 셈이에요.
이렇게 만든 디지털 트윈은 NVIDIA의 NuRec 볼륨 규격에 맞춘 USDZ 파일 하나로 묶여요. Isaac Sim과 Isaac Lab에 수동 변환 없이 올라가고, 중력 방향이 맞춰진 상태에 실척이며 콜라이더까지 붙어 있어요. 좌표계 정렬과 메시 정리에 들어가던 손질이 파일 하나로 접히는 지점이에요.
그 복사본 안에서 수백만 번 걸어요
훈련은 Flexion이 맡아요. 복원된 공간 안에서 수백만 개의 병렬 롤아웃으로 강화학습을 돌려 RGB 기반 내비게이션 정책을 학습시켜요. 깊이 센서나 라이다가 아니라 RGB 카메라 입력만 쓰는 정책이라는 점이 눈에 띄는데, 가우시안 스플랫이 사실적인 화면을 주니까 RGB 정책을 시뮬레이션 안에서 키우는 게 성립해요.
정책의 입출력도 역할이 갈려 있어요. 입력은 온보드 카메라 영상과 고유수용 감각(proprioception), 그리고 로봇 좌표계로 표현된 목표점이고, 출력은 속도 명령이에요. 이 속도 명령을 별도로 사전학습된 보행 정책이 받아 실제 관절을 움직여요. 걷는 법은 이미 아는 상태에서 어디로 갈지만 학습하는 구조라 탐색이 훨씬 가벼워요. 시각 특징이 현실에서 무너지지 않도록 오프라인으로 학습한 이미지 인코더를 쓰고 도메인 랜덤화를 함께 걸어요.
시뮬레이션 성공률은 Flexion 사무실 재구성에서 97.8%, 더 까다로운 Niantic Spatial 사무실에서 75.0%였어요. 그리고 이 정책이 재훈련 없이 실제 로봇으로 제로샷 전이됐어요. 실물 공간에서 파란 매트처럼 기하학적으로 두드러지지 않는 의미적 장애물, 삼각대와 난간 같은 가는 구조물, 유리문 같은 투명면을 피해 다녔고 가구를 재배치한 뒤에도 동작했어요. 다만 이 물체들은 재구성 시점에 그 자리에 없었을 뿐 의미상 비슷한 물체는 훈련 환경에 있었다는 점이 함께 적혀 있어요.
real2sim이 sim2real의 절반이에요
한계는 이 방식의 전제에서 그대로 나와요. 재구성은 한 시점을 박제한 결과라 촬영 당시의 조명과 물건 배치가 그대로 굳어요. 사람이나 다른 로봇처럼 움직이는 행위자는 촬영으로 담기지 않아서 시뮬레이터에서 따로 넣어야 하고, 복원 품질은 걸어 다니며 찍은 커버리지에 좌우돼요. 일반화도 훈련 환경과 의미상 비슷한 물체까지가 안전 범위이고 거기서 크게 벗어난 대상에는 약해요. 합성 환경에서 훈련한 깊이 기반 기준선이 여전히 경쟁력 있었다는 점도 함께 보고됐어요.
이 사례가 말하는 건 단순해요. 시뮬레이션과 현실의 간극을 정책 쪽에서 억지로 메우는 대신, 시뮬레이션을 현실에 최대한 붙여 간극 자체를 줄이는 거예요. 촬영 장비가 전문 스캐너가 아니라 일반 360도 카메라라는 점도 실용적이에요. 배포할 현장을 먼저 찍어서 훈련장으로 만드는 흐름이 장비 문턱 없이 돌아간다면, 로봇을 새 공간에 들이기 전에 그 공간의 복사본에서 먼저 걷게 하는 게 표준 절차가 될 수 있어요.
출처 — https://www.nianticspatial.com/blog/flexion-humanoid-real2sim-sim2real