Edward Beng Wai Tan과 Siew-Kei Lam이 낸 Learning to Navigate Efficiently with Only 0.58M Trainable Parameters를 정리했어요. 시각 내비게이션에 거대 모델이 꼭 필요한지 되묻는 논문이에요. 저수준 주행을 주최 측이 맡는 계층 분리형 대회, CMU VLN Challenge가 인터페이스를 좁혀 문제를 단순하게 만든 이야기였다면, 이 논문은 모델 안쪽을 갈라서 배울 것과 계산할 것을 나눠요.
닫힌 형태를 아는 연산을 왜 배우나요
요즘 내비게이션 모델은 관측에서 경로까지를 통째로 신경망에 맡겨요. 그런데 그 사이에 들어가는 연산 중 상당수는 이미 정확한 수식이 있어요. 깊이 영상에서 3차원 점을 복원하는 사영기하가 그렇고, 점을 격자에 쌓아 점유도를 만드는 일이 그렇고, 카메라 기준 좌표를 로봇 기준으로 옮기는 변환이 그래요.
이걸 데이터로 배우게 하면 파라미터와 학습 데이터를 써서 이미 아는 답을 근사하는 셈이 돼요. 근사한 만큼 오차도 따라오고요. 논문은 여기서 갈라요. 닫힌 형태가 알려진 연산은 해석적으로 계산하고, 진짜 불확실한 부분만 학습해요.
계산 쪽에 남는 건 깊이를 역투영해 얻는 점유격자와 거기서 뽑는 비용맵이에요. 비용맵은 장애물 거리변환의 지수 감쇠 반발항에 방향 경사항을 더해 만들어요. 학습 파라미터가 하나도 안 들어가요.
그럼 무엇이 남아 학습 대상이 되느냐가 다음 질문이에요. 저 문이 밖으로 통하는 문인지, 지금 안 보이는 구역 중 어디로 가야 목표에 가까워지는지는 수식이 없어요. 장면을 보고 판단해야 하는 부분이에요. 논문이 학습에 맡기는 건 정확히 이런 것들이고, 그래서 학습 파라미터가 그만큼 줄어요.
배우는 건 세 덩어리예요
학습되는 모듈은 셋이에요.
출구 예측기는 RGB 영상과 최종 목표를 받아 지금 시야 안에서 어디로 나가야 하는지를 픽셀 목표로 찍어요. 얼어붙인 DepthAnythingv2 ViT-S 인코더 위에 패치 단위 로짓을 내는 얇은 헤드를 얹고 교차엔트로피로 학습해요. 이 헤드가 12만 3천 파라미터예요.
내비게이션 예측기는 조감도 표현 위에서 동작해요. 궤적이 지나갈 만한 곳의 사후확률 장을 학습하고, 순환 구조로 여러 번 다듬어요. 경로 손실과 방향 손실을 같이 걸어요.
생성기는 그 사후분포에서 궤적 모양을 뽑아요. B-스플라인으로 매개화하고, 목표까지의 직선에서 얼마나 벗어날지를 잔차로 예측해요. 끝점은 고정해두고 중간 모양만 흔드는 구조라, 확산 모델이 목표를 놓칠 여지가 원천적으로 막혀요. 디노이징은 10스텝이고 충돌 비용 정규화가 붙어요.
44k 프레임에 GPU 한 시간이 안 걸려요
학습 데이터는 Matterport3D 55개 씬에서 무작위로 뽑은 단일 프레임 상태 약 4만 4천 개예요. 긴 궤적을 통째로 모을 필요 없이 아무 위치에서 한 장씩 찍어 쓴다는 뜻이라 데이터 수집 부담이 크게 줄어요. 학습에 쓰는 궤적도 0에서 6미터짜리 짧은 구간뿐이에요. 멀리 가는 능력은 짧은 판단을 반복해서 얻는 구조예요.
전체 파라미터 22.7M 중 학습되는 건 0.58M이에요. 나머지 대부분은 얼려둔 DepthAnythingv2 인코더라, 이 모델이 작은 게 아니라 새로 배우는 부분만 작은 거예요. 그래서 학습에 GPU 한 시간이 안 걸려요.
성공률은 조금 지고 충돌은 크게 이겨요
평가는 InternRobotics 계열 벤치마크에서 60개 환경에 걸쳐 했어요. 공개 가중치를 쓴 NavDP와 ViPlanner, iPlanner와 비교했어요.
성공률만 보면 이 모델이 1등이 아니에요. 가정 환경에서 51.4%인데 NavDP가 57.2%이고, 상업 환경은 70.6% 대 72.7%, 쉬운 잡동사니 환경은 91.6% 대 93.4%, 어려운 쪽은 84.8% 대 89.3%예요. 초록의 표현대로 최고 수준에 근접했다는 정도지 앞섰다는 게 아니에요.
대신 두 축에서 확실히 이겨요. 10미터당 충돌 횟수가 0.111로 비교군 중 가장 낮아요. NavDP가 0.200, ViPlanner가 0.237, iPlanner가 0.173이에요. 가장 나쁜 ViPlanner 대비로는 절반 아래이고, 성공률에서 앞선 NavDP와 견줘도 45%가량 적어요. 학습 파라미터는 NavDP의 135.7M 대비 233분의 1이에요. 그러면서 Jetson Xavier NX에서 10Hz 이상으로 돌아요.
이 조합을 어떻게 읽느냐가 이 논문의 핵심이에요. 기하 부분을 계산으로 고정하면 모델이 물리적으로 말이 안 되는 경로를 애초에 잘 못 만들어요. 성공률 몇 퍼센트를 내주고 충돌을 절반 가까이 줄이는 교환인데, 실제 하드웨어에서는 이쪽이 더 값어치 있는 경우가 많아요. 부딪히는 로봇은 다시 못 쓰게 되기도 하니까요.
남는 것
저자들이 밝힌 한계가 분명해요. 깊이에서 뽑은 조감도 지도를 쓰기 때문에 한 층 안에서만 다닐 수 있어요. 여러 층을 오가려면 높이 불연속을 담을 수 있는 복셀 지도 같은 표현으로 바꿔야 해요.
평가가 시뮬레이션에서만 이뤄졌다는 점도 저자들이 직접 적어뒀어요. 측위 드리프트와 제어 루프 지연, 깊이 품질처럼 실제 환경에서 생기는 조건은 아직 충분히 시험하지 않았다고 했어요. 해석적으로 계산하는 부분이 많다는 건 그 계산이 기대는 가정, 그러니까 깊이가 정확하고 자세 추정이 맞다는 가정이 깨질 때 어디까지 버티는지를 아직 모른다는 뜻이기도 해요.