NVIDIA GEAR 랩이 공개한 RoboTTT를 정리했어요. 로봇 정책이 볼 수 있는 시각운동 컨텍스트를 8K 스텝까지 늘린 연구인데, 늘리는 방법이 어텐션이 아니라 가중치예요. 입력 의존 상태 전이로 기억 감쇠를 바꾼 상태공간모델 Liquid-S4이 상태 전이를 입력에 따라 바꿔 긴 시퀀스를 다뤘다면, 이 연구는 아예 학습을 추론 중에도 계속 돌려요.
로봇 정책은 방금 전만 기억했어요
최근 로봇 파운데이션 모델은 한 스텝짜리 관측이나 아주 짧은 이력만 보고 행동을 내요. 컵을 집어 옮기는 정도라면 지금 화면만으로 충분해요. 문제는 여러 단계가 쌓이는 과제예요. 조립 도중에 “나사 세 개 중 두 개는 이미 박았다”를 모르면 같은 자리를 또 조이거나, 아직 안 끼운 부품을 건너뛰어요. 지금 화면만으로는 두 상태가 똑같이 보이니까요.
그래서 컨텍스트를 늘려야 하는데, 시각 토큰은 길이가 금방 불어나요. 어텐션으로 과거 전체를 매 스텝 다시 훑으면 길이가 늘어날수록 비용이 가파르게 커지고, 로봇 제어에서 그 비용은 곧 제어 주기예요. 컨텍스트를 늘리다 실시간성을 잃으면 소용이 없어요.
토큰마다 갱신하고 곧바로 써요
RoboTTT는 테스트타임 트레이닝 계층을 시각언어행동 정책 안에 넣어요. 이 계층은 빠른 가중치라고 부르는 파라미터를 들고 있고, 이 가중치는 학습할 때뿐 아니라 추론하는 도중에도 경사하강으로 계속 갱신돼요.
토큰 하나가 들어오면 두 가지 일이 일어나요. 갱신은 자기지도 손실에 경사 한 걸음을 밟아 그 토큰의 내용을 빠른 가중치에 적어 넣는 단계이고, 적용은 방금 갱신된 모델이 그 토큰을 출력으로 옮기는 단계예요. 과거를 저장해두고 나중에 다시 들추는 게 아니라, 들어오는 순간 모델 자체에 반영해버려요. 그래서 컨텍스트가 길어져도 매 스텝 비용이 일정하게 유지돼요.
이렇게 해서 8K 스텝까지 갔어요. 저자들은 이 길이가 기존 최고 수준보다 세 자릿수 큰 규모이고, 그러면서도 추론 속도를 유지한다고 밝혔어요.
사전학습을 무너뜨리지 않으려고
추론 중에 가중치를 바꾼다는 건 사전학습으로 얻은 능력을 망가뜨릴 위험도 같이 진다는 뜻이에요. 여기에 세 가지 장치가 붙어요.
게이트는 학습되는 tanh 값인데 0 근처에서 시작해요. 처음에는 테스트타임 계층의 기여가 거의 0이라 원래 정책 그대로 동작하고, 도움이 되는 만큼만 게이트가 열려요. 시퀀스 행동 강제는 행동 청크마다 노이즈를 독립적으로 뽑아, 시퀀스 길이가 들쭉날쭉해도 학습이 흔들리지 않게 잡아줘요. 행동 예측 자체는 흐름 정합 손실을 쓰고 타임스텝마다 노이즈 수준을 따로 둬요.
절단 시간역전파는 메모리 문제를 맡아요. 긴 시퀀스를 고정 길이 구간으로 자르되, 빠른 가중치는 구간 경계를 넘어 그대로 이어지고 경사만 끊어요. 기억은 8K 내내 이어지는데 역전파는 구간 안에서만 도는 구조예요.
길게 볼수록 좋아졌어요
컨텍스트 길이를 128부터 8K까지 두 배씩 올리며 재보니 성능이 단조롭게 따라 올라갔어요. 어느 지점에서 포화하지 않았다는 게 이 실험의 요점이에요. 8K 스텝으로 사전학습한 모델은 같은 모델을 1K 스텝으로 사전학습한 경우보다 62% 좋았고, 한 스텝 컨텍스트 기준선 대비로는 전체 성능이 87% 올랐어요. 비교 대상은 GR00T N1.7과 그 이력 확장판, GDN이었어요.
비교군 구성이 이 결과를 읽는 데 중요해요. GR00T의 이력 확장판은 같은 백본에 과거 관측을 더 넣은 쪽이라, 격차가 단순히 “과거를 더 봤다”에서 오는 게 아니라 과거를 어떤 형태로 들고 있느냐에서 온다는 뜻이 돼요.
가장 눈에 띄는 결과는 5분짜리 10단계 조립 과제예요. 어떤 기준선도 한 번도 완주하지 못한 과제를 RoboTTT는 해냈어요. 10단계를 이어 붙이면 단계별 성공률이 조금만 낮아도 전체 완주 확률이 급격히 깎이기 때문에, 이런 과제는 평균 성공률보다 이력 유지 능력을 더 날카롭게 드러내요.
사람 영상 한 번으로 따라 해요
컨텍스트가 길어지면서 딸려온 능력이 몇 가지 있어요. 사람 시연 영상에 마스킹된 손실을 걸어 학습시키면, 사람이 한 번 해 보인 걸 그 자리에서 따라 하는 원샷 인컨텍스트 모방이 돼요. 시연이 컨텍스트에 들어와 있으니 가중치를 새로 학습시키지 않아도 되는 거예요.
여기서 마스킹이 하는 일이 있어요. 사람 손과 로봇 팔은 생김새가 다르니까 영상 프레임을 그대로 행동 라벨로 쓸 수 없는데, 손실을 일부 구간에만 걸어 따라 할 것과 무시할 것을 갈라줘요.
비대칭 마스킹을 쓴 DAgger 증류로는 온라인 자기교정을 배워요. 사람이 개입하지 않아도 스스로 어긋난 걸 되돌려요. 에피소드 중간에 이미 조립한 부품을 도로 빼놔도 다시 끼우는 복구 동작이 나와요. 과거를 기억하니까 지금 상태가 예상과 다르다는 걸 알아차릴 수 있는 거예요.
남는 것
공개된 페이지는 한계를 따로 적어두지 않았어요. 그래서 읽는 쪽에서 조건을 달아둘 필요가 있어요. 컨텍스트 확장의 이득은 여러 단계가 누적되는 과제에서 크게 나오는 성질이라, 단발 조작에서도 같은 폭으로 나아진다고 옮겨 읽으면 안 돼요. 추론 중 가중치가 계속 바뀐다는 성질도 양면이라, 잘못된 관측이 들어오면 그 오염 역시 가중치에 적혀요. 게이트와 절단 구간이 그 위험을 얼마나 눌러주는지는 수치로 확인해봐야 할 부분이에요.
그래도 로봇에게 긴 기억을 주는 문제를 저장 용량이 아니라 학습 시점의 문제로 옮겨 놨어요.