위스콘신-매디슨과 ETH 취리히 연구진이 공개한 LOTUS를 정리했어요. 로보틱스 논문은 아니고 언어모델의 추론 방식을 다루는데, 앞의 벡터 양자화가 복잡한 행동을 잃는 문제와 연속 잠재 행동 공간과 같은 질문 위에 서 있어요. 잠재 공간에서 벌어진 일을 어떻게 확인할 것인가라는 질문이에요. 저쪽이 잠재 행동에 진짜 행동이 담겼는지를 물었다면, 이 논문은 잠재 추론에 진짜 추론 단계가 담겼는지를 물어요.
생각을 토큰으로 뱉는 비용
언어모델은 보통 생각의 사슬(chain-of-thought)을 눈에 보이는 토큰으로 하나씩 뱉으면서 추론해요. 중간 단계가 전부 디코딩을 거치니 단계 수만큼 지연이 쌓여요. 잠재 CoT는 그 중간 단계를 은닉 상태 안에서 처리하고 디코딩을 생략하자는 접근이에요.
문제는 지금까지 잠재 CoT가 1B 파라미터를 넘어서면 명시적 CoT보다 성능이 떨어졌고, 규모를 키울수록 격차가 벌어졌다는 점이에요. 3B에서는 기존 방법이 명시적 CoT에 9.2포인트 뒤졌어요. 효율을 얻는 대신 정확도를 내주는 교환이라면 쓸 이유가 약해져요.
반복으로 깊이를 만들어요
논문이 택한 백본은 루프 트랜스포머예요. 같은 가중치를 여러 번 통과시켜 파라미터를 늘리지 않고 계산 깊이만 늘리는 구조라, 은닉 상태에서 다단계 추론을 굴리기에 잘 맞아요.
질문과 답 사이에 학습 가능한 블록 K개를 끼워 넣고 그 전체를 R회 반복해요. 기본 설정은 K=6, R=6이고 블록 하나는 토큰 c개로 이뤄지는데 라마 계열에서는 c=25를 썼어요. 여기서 중요한 건 K개 블록이 순차가 아니라 병렬로 처리된다는 점이에요. 명시적 CoT는 단계가 늘면 지연도 같이 늘지만, 이 구조에서는 단계에 해당하는 블록들이 한 번에 지나가요.
잠재에 정답 단계를 직접 걸어요
두 번째 요소는 감독 방식이에요. 마지막 반복을 마친 잠재를 기반 모델의 언어 헤드로 통과시켜, 그 자리에 와야 할 정답 CoT 토큰과 교차엔트로피를 걸어요. 명시적 CoT를 학습시킬 때 쓰던 감독을 잠재 위치로 그대로 옮긴 셈이에요. 최종 손실은 답에 대한 손실과 이 단계 손실의 합이에요.
절제 실험이 두 요소가 모두 필요하다는 걸 보여줘요. 잠재 감독을 빼면 63.3%에서 멈추고 넣으면 70.0%가 돼요. 반복 횟수도 마찬가지여서 R=2에서 14.6%, R=4에서 52.6%, R=6에서 70.0%로 올라가요. 블록 폭은 c=1이면 49.7%까지 떨어지는데, CoT 한 단계를 토큰 하나에 담기에는 좁다는 뜻이에요.
잠재를 읽어보면
가장 흥미로운 부분은 학습된 잠재가 읽힌다는 점이에요. 반복이 끝난 잠재를 언어 헤드로 투영하면 정답 추론 단계가 복원돼요. 정답 CoT의 음의 로그가능도가 3.07이고, 정답 토큰이 최상위로 나오는 비율이 70.9%, 상위 다섯 개 안에 드는 비율이 85.8%예요.
더 나아가 학습에서 본 적 없는 다른 유효한 중간 단계에도 상당한 확률을 줘요. 학습에 없던 유효한 수의 음의 로그가능도가 4.28인데 무작위 대조군은 8.16이고, 상위 다섯 개 안에 드는 비율이 64.0%예요. 잠재가 불투명한 덩어리가 아니라 CoT와 정렬돼 있다는 근거로 저자들이 내세우는 결과예요.
결과와 지연
라마-3.2-3B에서 LOTUS가 GSM8K 70.0%를 기록해 명시적 CoT의 71.5%와 1.5포인트 차이로 붙었어요. 기존 잠재 방법이 9.2포인트 뒤졌던 걸 생각하면 격차가 크게 좁혀진 거예요. 분포 밖 과제 평균에서는 오히려 63.9%로 명시적 CoT의 62.1%를 넘었어요.
지연은 H100 한 장에 배치 크기 1로 쟀어요. 수식 형태의 CoT에서 사고 단계가 338.8밀리초에서 133.0밀리초로 2.5배 빨라졌고, 추론 단계가 완결된 문장으로 길어지는 자연어 CoT에서는 963.6밀리초에서 140.8밀리초로 6.9배가 됐어요. 정확도는 68.41%와 68.13%로 거의 같았고요. 단계를 말로 풀어 쓸수록 명시적 CoT는 느려지는데 잠재 쪽은 블록을 병렬로 지나가니 크게 변하지 않아서, 격차가 벌어지는 구조예요.
남는 조건
평가가 수학 벤치마크에 한정돼 있다는 점을 저자들이 먼저 밝혀요. 다른 도메인으로 옮겨가는지는 열린 질문이에요. 블록 수 K와 블록 폭 c, 반복 횟수 R이 전부 고정 하이퍼파라미터라는 제약도 있어요. 예상 단계 수를 덮도록 미리 잡아야 하고, K를 넘는 긴 사슬은 꼬리를 자기회귀로 다시 뱉어 처리해요. 이 값들을 문제 난이도에 맞춰 적응시키는 것이 향후 과제로 남아 있어요.
로보틱스 논문은 아니지만 겹치는 자리는 있어요. 언어모델을 몸에 붙이는 VLA 계열에서 추론 지연은 그대로 제어 주기 문제가 되고, 잠재에서 벌어진 일을 사후에 읽어낼 수 있느냐는 잠재 세계모델에서도 같은 형태로 반복되는 질문이에요. 다만 이 연결은 논문이 주장하는 바가 아니라 읽으면서 든 생각이고, 논문 자체가 검증한 범위는 수학 추론까지예요.