GigaAI가 공개한 GigaWorld-Policy-0.5를 정리했어요. 월드모델로 로봇 정책을 학습시키되, 실행할 때는 영상을 한 장도 만들지 않는 구조예요. 반복 디노이징을 한 번의 드리프트로 바꾼 디퓨전 월드모델 DriftWorld가 같은 병목을 생성을 빠르게 만드는 쪽으로 풀었다면, 이 연구는 생성을 추론에서 아예 빼는 쪽을 골랐어요.
월드모델 정책의 병목은 추론이에요
World Action Model(WAM)은 미래 관측을 예측하는 능력과 행동 생성을 한 모델에 묶은 계열이에요. 미래를 그려보며 배우니 동역학 이해가 정책에 스며든다는 게 장점인데, 문제는 실행 시점이에요. 행동 하나를 내기 위해 미래 영상 생성을 거치면 계산량이 커서 실시간 제어에 못 들어가요. 학습에 좋은 구조가 배포를 막는 셈이에요.
전문가를 갈라 두고 추론에서는 절반만 써요
이 연구의 답은 Mixture-of-Transformers 구조예요. 시각 동역학을 모델링하는 전문가와 행동을 생성하는 전문가를 한 모델 안에서 분리해 두는 거예요. 훈련 때는 두 전문가가 함께 돌아요. 미래 시각 관측이 감독 신호로 들어와 동역학 전문가를 가르치고, 그 이해가 행동 전문가와 결합돼요. 추론 때는 행동 쪽 경로만 디코딩해요. 영상 생성 경로는 꺼져 있으니 활성 계산량이 뚝 떨어져요.
두 전문가는 인과 마스킹을 건 다중모달 셀프어텐션으로 연결돼요. 시각 토큰을 다루는 전문가와 행동 토큰을 다루는 전문가가 완전히 갈라져 있으면 동역학 이해가 행동으로 흘러들어갈 통로가 없는데, 어텐션은 공유하되 행동을 중심에 둔 의존 관계를 유지하도록 마스킹을 설계했어요.
사전학습도 이 결합을 겨냥해서 섞어요. 행동 조건부 월드모델링(AC-WM)은 행동을 조건으로 받아 다음 관측을 예측하게 만들어 행동과 동역학을 직접 묶고, 전통적인 WAM 사전학습은 관측과 행동을 함께 모델링해 표현을 넓혀요. 둘을 섞는 목적은 행동과 동역학의 결합을 강화하면서 행동 표현이 다른 과제로 옮겨가기 좋게 만드는 데 있어요.
훈련 레시피 탐색은 AutoResearch라는 파이프라인이 맡아요. 학습률과 배치 크기 같은 하이퍼파라미터 조합으로 파일럿 학습을 여러 개 돌리고, 검증 지표를 지켜보다 후보를 자동으로 골라내요. 구조가 복잡해질수록 수동 튜닝 비용이 커지는데 그 부분을 자동화로 덜어낸 거예요.
숫자로 보는 결과
논문 페이지의 비교표는 지연과 성공률을 한 줄에 놓고 봐요. π0.5는 A100에서 225ms, RTX 4090에서 110ms에 실로봇 성공률 0.76이고, Motus는 성공률 0.80을 내지만 A100 지연이 3,231ms예요. FastWAM은 229ms와 182ms에 0.78, 직전 버전인 GigaWorld-Policy는 360ms와 293ms에 0.80이었어요. GigaWorld-Policy-0.5는 189ms와 110ms에 0.85를 기록했고, C++로 배포하면 140ms와 85ms까지 내려가요.
이 표가 곧 논거예요. 성공률만 보면 Motus의 0.80도 낮지 않지만 행동 하나에 3초가 걸리면 제어 루프에 들어갈 수 없어요. 반대로 빠른 기준선들은 성공률이 밀려요. 두 축을 동시에 올려 소비자용 GPU 한 장에서 85ms에 0.85를 낸다는 게 이 연구가 내세우는 지점이에요.
비교 대상 중 π0.5는 관측을 로봇 좌표계로 옮겨 VLA 시점 취약성을 줄인 로봇 중심 포인트맵에서 백본으로 등장한 그 모델이에요. 미래 예측 없이 관측에서 행동을 바로 내는 계열이라 지연은 이미 짧은데, 성공률이 0.76에서 0.85로 벌어진 부분이 월드모델 사전학습이 실제로 남긴 몫에 해당해요.
여러 단계를 이어 붙이는 장기 과제에서 격차가 더 벌어져요. 음식 데우기와 식기 정리 두 과제에서 각각 0.80을 기록해 평균 0.80인데, π0.5와 Motus, 직전 GigaWorld-Policy가 0.60이고 FastWAM이 0.50이에요. 단계가 길어질수록 동역학 이해가 누적으로 작용한다고 읽을 수 있는 대목이에요.
정리하면 이 연구의 논지는 하나예요. 월드모델의 가치는 미래를 그리는 행위 자체가 아니라 그리면서 생기는 동역학 이해에 있고, 그 이해는 훈련에서 다 옮겨 심을 수 있다는 거예요. 상상은 훈련장에 두고 나오는 설계가 배포 가능한 월드모델 정책의 한 가지 답인 셈이에요.