메타 FAIR가 공개한 Learning Latent Action World Models In The Wild를 정리했어요. 행동 라벨이 하나도 없는 자연 영상만으로 행동 공간 자체를 세울 수 있는지를 다룬 연구예요. 잠재 공간의 거리와 행동 예산 내 도달 가능성을 분리한 RC-aux이 이미 있는 잠재 공간을 계획에 맞게 고치는 문제였다면, 이 논문은 행동이라는 축을 라벨 없이 처음부터 만드는 쪽이에요.
행동 라벨이 병목이에요
세계모델은 행동의 결과를 예측하는 모델이라 학습에 행동 라벨이 필요해요. 그런데 온라인에 쌓인 영상은 대부분 라벨이 없고 찍힌 몸체도 제각각이에요. 그래서 영상만으로 행동 공간을 유도하는 잠재 행동 모델이 나왔어요. 과거와 미래 프레임을 함께 보고 그 차이를 설명하는 잠재 행동을 뽑는 역동역학 모델과, 과거와 그 잠재 행동으로 미래를 예측하는 순방향 모델을 같이 학습하는 구조예요.
문제는 이 방식이 지금까지 좁은 데이터에서만 검증됐다는 점이에요. 비디오 게임, 탁상 조작, 정제된 로봇 데이터가 주류였고, Ego4D 같은 자연 영상을 섞은 연구도 자연 영상 비중이 5% 남짓이었어요. 이 논문은 자연 영상을 주 데이터로 놓아요. 카메라 착용자의 움직임 위에 다른 사람들의 행동이 겹치고, 차가 프레임에 들어오고, 손가락이 지판에서 코드를 잡는 것까지 행동의 분포가 훨씬 넓어져요.
대신 어려움도 같이 커져요. 나뭇잎이 흔들리는 것 같은 환경 잡음을 행동으로 착각할 수 있고, 영상마다 몸체가 달라 배운 행동을 옮겨 쓰기 어려워요. 무엇보다 역동역학 모델은 미래 프레임을 보기 때문에, 방치하면 다음 프레임을 통째로 잠재 행동에 욱여넣는 지름길을 배워요.
정보를 얼마나 흘려보낼지
그래서 잠재 행동이 담을 정보량을 규제해야 해요. 미래를 설명하는 최소한의 행동을 찾는 게 목표예요. 논문은 세 방식을 같은 조건에서 비교해요. 벡터를 희소하게 만드는 방식, VAE처럼 잡음을 더하는 방식, 그리고 코드북으로 이산화하는 벡터 양자화예요. 앞의 둘은 계수를 조절해 용량을 연속적으로 바꿀 수 있어요.
여기서 나온 결과가 이 논문의 핵심이에요. 희소하거나 잡음을 섞은 연속 잠재 행동은 계수에 따라 넓은 범위의 예측 성능을 오가는데, 벡터 양자화는 용량을 키우려 해도 잘 늘어나지 않고 행동을 아예 주지 않은 모델 근처에 머물러요. 사람이 화면 안으로 걸어 들어오는 장면을 두고 보면, 앞의 둘은 그 행동을 제대로 재현하지만 양자화는 뭉개진 덩어리가 들어오는 정도로만 잡아요. 게임이나 조작 데이터에서 잘 통하던 이산화가 자연 영상의 행동 복잡도는 담지 못한다는 뜻이에요.
구현은 V-JEPA 2-L을 얼린 인코더로 쓰고, 그 표현 공간 위에서 ViT-L 순방향 모델과 역동역학 모델을 함께 학습해요. 잠재 행동은 기본 128차원 연속 벡터예요.
다음 프레임을 베끼지는 않는지
용량을 열어주면 모델이 치팅할 여지도 커져요. 논문은 영상 두 개를 이어 붙여 인위적인 장면 전환을 만들고 예측 오차가 뛰는지 봐요. 잠재 행동에 다음 프레임이 통째로 들어 있다면 장면이 바뀌어도 오차가 튀지 않아야 하니까요. 실제로는 규제 방식과 용량에 관계없이 오차가 두 배 넘게 뛰었어요. 희소 저용량은 0.28에서 0.66으로, 잡음 고용량은 0.21에서 0.54로 올랐어요. 다음 프레임을 베끼는 해법은 학습되지 않았다는 신호예요.
전이도 따로 재요. 영상 A에서 뽑은 잠재 행동을 영상 B에 적용하고, 그 예측에서 다시 행동을 뽑아 A에 적용했을 때 오차가 얼마나 늘어나는지 보는 순환 일관성이에요. Kinetics와 RECON에서 증가폭이 1.03배에서 1.34배 사이에 머물렀어요. 왼쪽으로 걸어가는 남자에게서 뽑은 행동을 날아가는 공에 적용하면, 공이 날아가던 것을 멈추고 왼쪽으로 움직이기 시작해요.
어떤 행동을 배웠나
영상마다 공통된 몸체가 없다면 모델은 무엇을 기준으로 행동을 정의할까요. 논문의 답은 카메라예요. 영상 전체에서 유일하게 공통인 기준이 카메라라서, 학습된 행동은 카메라를 기준으로 공간적으로 국소화된 변환이 돼요. 두 사람이 있는 영상에 걷는 행동을 적용하면, 원본에서 걷던 사람과 같은 위치에 있는 쪽만 움직여요.
저자들은 이걸 약점이 아니라 성질로 봐요. 행동이 의미적으로 비슷한 대상에만 붙는 게 아니라서, 사람의 움직임을 공으로 옮기는 것 같은 전이가 가능해져요.
계획에 쓰기
잠재 행동을 여러 몸체를 잇는 공통 인터페이스로 쓰려면 실제 행동에서 잠재 행동으로 가는 다리가 필요해요. 논문은 가벼운 컨트롤러를 하나 얹어요. 여기서 과거 표현을 같이 넣는 게 중요한데, 학습된 행동이 카메라 상대적이라 같은 행동이라도 카메라 위치에 따라 목표 잠재가 달라지기 때문이에요. 행동만 넣으면 컨트롤러가 아무 움직임도 만들지 않는 잠재로 수렴해요.
컨트롤러는 조작 데이터인 DROID와 주행 데이터인 RECON에서 학습했고, 계획은 CEM으로 풀어요. 실제 프랑카 팔을 목표 위치로 옮기는 과제에서, 같은 방식으로 학습하되 실제 행동 라벨을 쓴 V-JEPA 2-AC와 비슷한 성능이 나왔어요. 주행에서는 NWM에 못 미치지만 NoMaD 같은 정책 기반 베이스라인은 넘었어요. 자연 영상만 보고 학습한 모델이 도메인 전용 라벨 데이터로 학습한 모델과 비슷한 자리에 선 거예요.
눈에 띄는 건 자연 영상 예측 오차와 계획 성능이 나란히 가지 않는다는 점이에요. 규제를 가장 세게 건 설정도, 가장 느슨하게 푼 설정도 계획에서는 차선이었고 중간이 가장 좋았어요. 잠재 행동이 정보를 너무 적게 담아도, 미래를 너무 많이 담아도 계획에는 불리하다는 뜻이에요.
남는 조건
정보 제약이 고정 계수라는 점을 저자들이 먼저 짚어요. 영상마다 행동의 복잡도가 다르고 어떤 장면은 사실상 결정적인데도 같은 세기로 규제하고 있어요. 잠재 행동을 인터페이스로 쓰는 대신 그 공간에서 직접 샘플링하거나 계획하는 것은 아직 초기 분석 수준이고, 인코더를 얼린 채 그 위에 세계모델을 올리는 구조라 표현 자체가 예측을 염두에 두고 만들어진 게 아니라는 제약도 남아요. 스케일링에서도 모델과 데이터를 키우면 역동역학 예측은 좋아지지만, 계획 성능에서는 학습 시간을 늘린 쪽만 추세가 뚜렷했어요.
그래도 라벨 없는 영상만으로 행동이라는 축을 세울 수 있고, 그 축이 다른 몸체로 옮겨간다는 것까지는 보여줬어요. 행동 라벨이 병목이라면 그 병목을 우회할 길이 있다는 이야기예요.