CMU가 여는 Vision-Language Navigation Challenge 2026을 정리했어요. 자연어 명령을 받아 모르는 실내 공간을 돌아다니는 로봇을 만드는 대회인데, 설계가 흥미로워요. 로봇을 움직이는 일과 말을 이해하는 일을 대회 규칙 차원에서 갈라놨어요.
참가자는 언어와 공간만 다뤄요
참가팀이 붙는 로봇에는 3D 라이다와 360도 카메라가 달려 있고, 카메라와 라이다의 좌표계를 맞춘 캘리브레이션 데이터가 저장소로 제공돼요. 주최 측 기본 자율주행 스택이 센서 포즈 추정, 지형 분석, 충돌 회피, 웨이포인트 항법까지 맡아요. 팀이 할 일은 웨이포인트를 보내는 것까지예요. 어디로 갈지는 참가자가 정하고, 어떻게 갈지는 시스템이 알아서 가요.
인터페이스도 이 경계선을 따라 좁게 잘려 있어요. 참가팀은 로봇 온보드 컴퓨터에서 도는 추론 모듈을 만들고, 내보낼 수 있는 건 웨이포인트와 선택한 물체를 표시하는 시각화 마커예요. 주행 가능 영역 밖의 웨이포인트는 시스템이 자동으로 보정해 주기 때문에 좌표를 정밀하게 다듬는 경쟁은 애초에 성립하지 않아요. 원격조작과 수동 웨이포인트 전송은 금지되고, 실기체 단계는 도커 컨테이너로 제출해요.
그래서 이 대회가 실제로 겨루는 능력은 세 갈래의 질의 유형에 담겨 있어요. 개수를 세어 터미널로 답하는 수치형 질문(“테이블과 벽 사이에 파란 의자가 몇 개인가”), 관계로 대상을 짚어 그곳까지 가는 참조형 질문(“주방 아일랜드 위 화분 중 냉장고에서 가장 가까운 것을 찾아라”), 경로 조건이 붙는 지시 이행형 질문(“창가 쪽 길로 냉장고까지 가라”)이에요.
세 유형이 요구하는 게 조금씩 달라요. 수치형은 물체를 알아보는 것만으로는 부족하고 “사이에”라는 공간 관계로 후보를 걸러낸 뒤 세어야 해서, 탐색을 어디서 멈출지 스스로 판단해야 해요. 참조형은 같은 종류의 물체가 여러 개 있을 때 최상급 관계로 하나를 확정하는 문제라, 후보를 다 보기 전에는 답을 확정할 수 없어요. 지시 이행형은 목적지가 아니라 경로에 제약이 걸려 있어서, 언어로 들어온 조건을 웨이포인트 순서로 번역해야 해요. 셋 다 지각 자체보다 의미와 공간 관계의 추론에 무게가 실려요.
데이터와 평가
훈련 재료는 Unity 기반 실내 씬 18개(개발 15, 테스트 3)와 VLA-3D 데이터셋이에요. 씬은 주거 공간과 업무 공간을 아우르고 방 하나짜리부터 여러 방으로 이어진 건물까지 규모가 다양해요. VLA-3D는 실내 3D 씬 7,635개와 스캔된 실내 방 11.5K개 이상에 합성 지시 문장 9.7M개를 붙인 데이터셋으로, 처리된 포인트 클라우드와 물체·영역 라벨, 씬 그래프까지 함께 들어 있어 공간 관계를 언어로 배우는 데 초점이 맞아요.
평가는 두 단계예요. 2026년은 시뮬레이션에서 시작하고, 다음 단계에서 실제 사무실 환경의 실기체 평가로 넘어가 일반화를 봐요. 등록은 4월 15일부터 7월 25일까지, 제출 마감은 8월 25일이며 기준은 모두 AoE예요. 상위 팀은 9월 IROS 워크숍에서 발표해요. 다만 점수 산식과 항목별 가중치는 아직 공개돼 있지 않고 지난해 리더보드만 걸려 있어서, 참가를 검토한다면 이 부분은 저장소와 공지를 확인해야 해요. 주최는 CMU 로보틱스 연구소를 중심으로 난양공대, 상하이교통대, 토론토대 소속 조직위원 아홉 명이 맡고 있어요.
계층 분리를 규칙으로 못박은 설계
계층 제어의 최적성 손실을 단일수준 축약으로 계산한 Bilevel MPC에서 상위가 참조를 고르고 하위가 따라가는 계층 구조의 손실을 계산하는 연구를 봤는데, 이 대회는 반대로 그 계층 분리를 대회 설계로 채택한 경우예요. 저수준을 고정해 버리면 참가팀 간 차이가 온전히 의미 이해와 공간 추론에서 나와요. 벤치마크로서는 변인 통제이고, 연구 방향으로서는 언어 내비게이션의 병목이 주행이 아니라 이해라는 판단이기도 해요.
로봇 전체를 만들 줄 몰라도 언어-공간 추론 모듈만으로 진입할 수 있게 문턱을 낮춘 구조라서, VLN 쪽 입문 벤치마크로 지켜볼 만해요.