지난 한 주 리서치 폴더에 일곱 편을 정리했어요. 주제도 기관도 제각각인데 나란히 놓고 다시 읽으니 같은 문제를 가리키고 있었어요. 무언가를 만드는 비용은 빠르게 떨어지는데, 그게 잘 됐는지를 재는 비용은 그대로라는 문제예요.
모으는 값은 떨어지고 있어요
수집 쪽의 두 편이 하락의 속도를 보여줘요. 실물 리더암으로 Isaac Lab 속 로봇을 조종해 시연을 모으는 LeIsaac은 시연 수집에서 환경 쪽을 통째로 시뮬레이터로 보내, 과제를 차리고 되돌리는 비용을 리셋 버튼 하나로 줄인 오픈소스였어요. 수집 입구도 하나가 아니에요. 리더암을 쥔 사람의 시연, 상태기계로 짠 스크립트 정책의 자동 수행, 영상에서 행동을 뽑는 파이프라인까지 세 갈래가 한 저장소에 들어 있어서, 데이터가 쌓이는 경로 자체가 여럿으로 늘었어요.
임바디드 조작 데이터의 다섯 계층과 층별 한계의 데이터 피라미드는 모으는 값의 차이가 규모에서 몇 자릿수로 벌어지는지를 보여줬어요. 로봇 앞에 사람이 붙어 조종해야 쌓이는 실로봇 데이터는 가장 큰 축이 240만 궤적인데, 사람이 카메라를 쓰고 다니기만 하면 되는 에고센트릭 영상은 3,670시간짜리 데이터셋 위로 96만 7천 시간짜리까지 나와 있어요. 아래층으로 갈수록 모으기 쉬워지는 대신 로봇의 행동과는 멀어진다는 상충이 피라미드 모양 그 자체고요.
다섯 계층별 데이터셋을 연도순으로 늘어놓고 누적 규모 성장 곡선을 얹은 지도(출처: Ye et al., Data Pyramid for Embodied Manipulation)
그런데 두 글 모두 끝에 같은 유보를 달아뒀어요. 시뮬 수집 파이프라인의 문서에는 성공률 같은 성능 수치가 없고, 파이프라인이 끝까지 이어져 있다는 것과 그 끝의 품질은 다른 문제였어요. 피라미드 서베이도 층마다 부족한 방식이 다르다는 걸 나란히 적어요. 손에 드는 그리퍼로 모은 데이터는 로봇에서 실행해보지 않으니 궤적 품질을 검증하기 어렵고, 사람 영상은 손이 정작 접촉하는 부분을 가리고, 시뮬레이션은 접촉과 마찰을 다 담지 못해요. 모으는 값이 떨어질수록 쌓인 것을 확인하는 일이 상대적으로 비싸지는 구조예요.
재는 쪽이 병목이라는 자각
시뮬레이션을 훈련장이 아니라 계측기로 검증한 Real-to-Sim-to-Real는 이 문제를 정면으로 세워요. 정책 개발에서 진짜 비싼 건 학습이 아니라 평가이고, 개발 주기는 GPU가 아니라 로봇 앞에 앉은 사람의 시간에 묶인다고요. 그래서 시뮬레이션을 정책을 기르는 훈련장이 아니라 실기 성능을 미리 읽는 계측기로 놓고, 체크포인트마다 시뮬 2,000회와 실기 100회를 대조해 시뮬 점수가 실기 점수와 실패하는 위치까지 예측하고, 학습이 어느 지점부터 정체하는지도 시뮬만 보고 가늠할 수 있다는 걸 보였어요. 정합을 확인하는 방식도 눈여겨볼 만했어요. 정책을 개입시키면 두 세계가 서로 다른 상태로 갈라져 비교가 어려워지니, 같은 행동 순서를 시뮬과 실기에 나란히 먹여 놓고 벌어지는 차이만 봐요. 그렇게 검증된 파이프라인 위에서 다섯 과제를 사람 개입 없이 한 시간씩 자율 운용하는 실기 시연까지 붙어 있었고요.
실기 대 시뮬 성공률 산점도(왼쪽), 학습 반복에 따른 시뮬·실기 곡선(가운데), 큐브 위치별 성공·실패 지도(오른쪽) — 시뮬이 그린 성공 영역과 실기 점들이 같은 자리에 겹쳐요(출처: World Labs)
평가 설계도 한 덩어리가 아니었어요. 시뮬 2,000회는 학습 분포 안쪽 1,000회와 바깥쪽 1,000회로, 실기 100회도 50회씩 갈라 놓아서, 학습한 범위 안에서만 잘하는 정책과 처음 보는 배치에서도 버티는 정책을 따로 읽을 수 있게 했어요. 재는 일은 횟수를 채우는 문제만이 아니라 무엇을 갈라 재느냐의 설계 문제이기도 하다는 거예요.
계측기라는 관점을 받아들이면 다음 질문은 교정이에요. 발사 없이 9초 상호작용으로 탄성을 추정한 새총 Sim2Real는 눈으로 구분되지 않는 고무줄의 탄성을 발사체 없이 당겼다 놓는 9초, 30Hz로 300 타임스텝짜리 상호작용 한 번으로 추정해 시뮬레이터를 맞추는 연구였는데, 그 한 번을 쓸모 있게 만드는 데 논문 한 편이 들어가요. 점군의 형상만이 아니라 힘과 역학적 일까지 세 항의 손실로 맞추고, 최적점이 여럿 흩어진 파라미터 공간을 전역 탐색과 국소 정제 두 단계로 뒤져요. 그렇게 해서 차선책 대비 손실을 최대 72.5% 줄였는데도, 목표 거리에 따라 절대 오차가 수십 센티까지 벌어지는 구간이 남았어요. 계측기는 공짜로 생기지 않고, 한 번 맞춘 뒤에도 목표가 바뀌면 다시 흔들린다는 게 그 글의 정직한 결과표였어요. 시뮬이 실기를 예측한다는 걸 믿으려면 처음에는 두 세계를 나란히 돌려 대조해야 하니, 그 검증에 드는 실기 시행도 새 과제와 새 현장마다 다시 치러야 할 수 있는 비용으로 남아요.
실행 중에도 판정이 필요해요
재는 문제는 개발이 끝난다고 사라지지 않아요. 정확도 대신 응답 지연을 택한 로봇 두뇌 Gemini Robotics-ER 2에서 저자들이 로보틱스에서 가장 어려운 문제 중 하나로 꼽은 것이 작업이 끝났는지를 아는 것이었어요. 동작을 했는지가 아니라 요구한 수준까지 됐는지를 알아야 다음으로 넘어갈 수 있는데, 영상에서 작업 진행 구간을 분류하는 정확도가 57.4%로 아직 절반을 조금 넘는 수준이에요.
이 모델이 흥미로운 건 평가 축의 선택이었어요. 작업이 넘어가는 프레임을 짚는 순간 찾기에서 91.3% 정확도에 평균 0.96초 오차를 내는데, 그 그래프에서 1등은 아니에요. 대신 더 큰 모델들보다 네 배 빠른 실행 속도를 내세워요. 판단이 정확해도 늦으면 결과가 이미 정해져 있으니, 정확도 한 축이 아니라 정확도와 지연의 교환 위에 자리를 잡은 거예요. 같은 두뇌가 사람의 텔레오퍼레이션을 지휘하면 74.0%, 실제 시각언어행동 정책을 지휘하면 60.0%라는 순서도 지나치기 어려웠어요. 판단층의 성과가 결국 아래층 실행기의 능력에 묶인다는 뜻으로 읽혀서요.
지휘 대상별 작업 성공률 — 사람 텔레오퍼레이션, 실제 정책, 시뮬 정책 순으로 높고, 셋 모두 이전 버전을 앞섰어요(출처: Google DeepMind)
판정의 입력이 바뀐 방향도 눈에 들어왔어요. 성공과 실패 판정이 정지 화면 대신 원본 영상 피드에서 이뤄지도록 바뀌었는데, 액체를 흘리거나 물체가 미끄러지거나 정렬이 어긋나는 것처럼 작업 도중에만 드러나는 실패를 겨눠서요. 끝난 뒤의 정지 화면에는 안 남는 실패가 있다는 뜻이라, 판정도 실행과 같은 속도로 흘러야 한다는 쪽에 무게를 싣는 변화라고 봤어요.
다음 프레임 예측 대신 설명 프로그램을 학습하는 월드모델은 한 층 더 내려가 재는 지표 자체를 의심해요. 다음 장면을 맞히는 일은 입출력 대응을 통째로 외워도 되니, 예측 정확도라는 지표가 세계를 이해했다는 걸 보증하지 않는다는 거예요. 대안으로 내놓은 것이 작은 어휘를 길게 조합해 관측을 설명하는 프로그램을 뽑는 방식인데, 격자 세계에서 기준선이 어휘 36개를 한 번 쓰는 동안 이쪽은 6개를 여러 번 조합해요. 그 대가로 학습 비용이 약 2배고요. 이해를 시험하는 더 좋은 평가에는 그만큼의 값이 붙는다는 것이고, 무엇으로 재느냐가 결국 무엇을 만들게 되는지를 정한다는 이야기로 읽혔어요.
제 작업대에서도 같은 문제가 났어요
이 구도를 지난주에 책상 위에서 그대로 겪었어요. 지금 만들고 있는, 물체를 집어 옮기는 로봇 팔이 물체를 집었는지를 그리퍼 관절 각도로 판정했는데, 하한 문턱만 두면 아예 닫히지 않은 상태가 성공으로 새어 들어왔어요. 물체가 있으면 끝까지 못 닫히니 각도가 크면 물었다는 논리였는데, 명령이 제대로 안 가서 닫히지 못한 상태도 각도가 크거든요. 그래서 물체 두께에 해당하는 구간 안에 있을 때만 성공으로 보는 구간 판정으로 바꿨는데, 그 뒤에도 죠가 물체를 파고드는 걸 막으려고 넣은 장치가 다시 판정을 속였어요. 물체를 집었는지 아는 일이 이 팔을 만들며 가장 오래 붙잡고 있던 문제였어요. 완료 판정이 어렵다는 건 대형 모델의 문제이기 전에 책상 위 팔 한 대의 문제였던 거예요.
글을 발행하는 파이프라인 쪽도 같아요. 에이전트 워크플로의 병목은 컨텍스트 밖 기억과 평가의 배치에 적었듯 이 가든은 리서치 글의 인용 수치가 원문 전사 안에 있는지를 기계 게이트로 검사하는데, 기계가 잡는 건 없는 수치를 만들어내는 실수까지고, 있는 수치만 골라 쓰는 왜곡은 사람 몫의 검증으로 남아요. 글을 쓰는 비용보다 쓴 글이 맞는지 확인하는 비용이 크다는 점에서 이 작은 파이프라인도 같은 병목을 갖고 있어요. 시간당 12개 실험이 밤새 도는 autoresearch 루프가 성립하는 조건도 결국 지표로 검증 가능한 산출과 되돌릴 수 있는 변경이었고요.
만들기 전에 재는 법부터
그래서 이번 주를 한 문장으로 접으면 이래요. 자동화를 설계할 때는 무엇을 만들지보다 무엇으로 성공을 판정할지를 먼저 정해야 해요.
순서를 이렇게 뒤집으면 판단 기준이 단순해져요. 산출을 지표로 검증할 수 있는가, 잘못됐을 때 되돌릴 수 있는가, 피드백이 충분히 잦은가. 이 세 조건이 서는 일은 자동화가 밤새 돌아도 되고, 하나라도 안 서는 일은 사람이 붙어 있어야 해요. autoresearch의 루프가 도는 조건과 이 가든의 발행 게이트가 하는 일이 결국 같은 문장의 두 사례예요.
이 순서는 제 책상에서 먼저 시험할 수 있어요. 만들고 있는 로봇 팔의 남은 단계들부터, 동작을 짜기 전에 무엇으로 성공을 판정할지 정의하고 시작하려고요.