연구진이 공개한 Agentic Real2Sim을 정리했어요. 실제 로봇이 물체를 다루는 영상을 받아 그대로 재생할 수 있는 시뮬레이션으로 바꾸는 작업을, 비전-언어 에이전트에게 맡긴 연구예요. 3D 가우시안 스플랫 디지털 트윈으로 휴머노이드 내비를 제로샷 전이가 로봇이 놓일 공간을 복제했다면, 이쪽은 로봇이 겪은 사건 하나를 통째로 복제해요.
real2sim에서 남는 노동은 조립이에요
real2sim이라고 하면 보통 3D 재구성을 떠올리는데, 실제로 걸리는 시간은 그 뒤예요. 장면의 기하와 물체 상태를 복원하는 것으로 끝나지 않고, 물리 파라미터를 추정하고 액터와 물체, 카메라, 포즈, 궤적을 실행 가능한 시뮬레이션 하나로 조립해야 해요. 논문이 지적하는 현재 상태는 이 조립이 여전히 수작업이라는 점이에요. 시각 파운데이션 모델의 수동 튜닝, 메시 정리, 좌표계 정렬, 그리고 지각 도구와 시뮬레이터 사이를 잇는 잘 깨지는 접착 코드가 매번 반복돼요.
에이전트를 쓰는 이유가 여기서 나와요. 이 조립은 정해진 파이프라인으로 굳히기 어려운 판단의 연속이에요. 어떤 물체가 이 에피소드의 주인공인지, 어느 프레임을 기준으로 삼을지, 세그멘테이션 결과가 쓸 만한지 같은 질문이 매 장면마다 달라져요.
판단을 넷으로 나눠 맡겨요
프레임워크는 에이전트 네 개로 구성돼요. 시각 처리 에이전트는 원본 영상에서 물체를 찾고 키프레임을 고르고 세그멘테이션과 메시 복원, 포즈 추적을 수행하는데, 자기 마스크를 스스로 비평하는 단계가 안에 들어 있어요. 물리 사전지식 추론 에이전트는 시각 증거와 과제 맥락을 시뮬레이터가 받을 수 있는 값으로 옮겨요. 물체 정체성, 재질 분류, 질량 힌트, 접촉과 관련된 속성 같은 것들이에요.
씬 준비 에이전트는 로봇 초기 상태와 카메라, 복원된 기하를 시뮬레이터 장면으로 초기화하면서 로봇 베이스 포즈와 물체 배치, 지면 기준 좌표계를 맞춰요. 마지막은 시뮬레이터를 루프 안에 넣은 파지 최적화로, 조작 대상의 위치를 조정하며 실제로 잡히는 배치를 찾아요. 시뮬레이터는 MuJoCo를 쓰고, 지각 쪽 도구로는 SAM 3와 SAM 3D, FoundationStereo, FoundationPose를 조합해요.
결과물을 논문은 에피소딕 트윈(episodic twin)이라고 불러요. 관측 스트림과 액터, 조작 대상, 기하, 시간에 따른 상태, 물리 파라미터, 그리고 성공 판정에 쓰는 평가 근거까지 보존해서 원래 에피소드를 다시 재생하거나 질의할 수 있는 시뮬레이터 산출물이라는 뜻이에요.
오픈웨이트 모델이 3% 비용으로 앞섰어요
평가는 실제 로봇 데이터셋 DROID에서 뽑은 100개 에피소드로 했어요. 백엔드 VLM을 바꿔가며 변환을 돌린 결과가 흥미로워요. 오픈웨이트인 Gemma 4 31B가 성공 48건, 부분 성공 8건, 실패 44건에 총비용 2.62달러를 기록했어요. Qwen 3.6 35B가 45건에 13.10달러, GPT-5.4가 43건에 82.30달러, Claude Haiku 4.5가 37건에 9.17달러였어요.
오픈웨이트 모델이 성공 건수에서 가장 앞서면서 비용은 GPT-5.4 대비 최대 31.4배 낮았어요. 대략 3% 비용이에요. 이 파이프라인에서 VLM이 맡는 일이 도구 호출을 순서대로 엮고 중간 결과가 쓸 만한지 판정하는 오케스트레이션이라, 최상위 추론 능력이 병목이 아니라는 해석이 자연스러워요.
절반을 못 넘긴다는 사실이 가리키는 것
가장 정직한 숫자는 성공률 자체예요. 어떤 백엔드를 써도 재생 성공률이 50%를 넘지 못했어요. 논문은 이 결과를 실패로 접지 않고, 남은 여지가 VLM 선택이 아니라 상류의 시각 처리와 시뮬레이션 구성 요소에 있다는 근거로 읽어요. 실제 실패 원인도 세그멘테이션 누락과 포즈 추적 실패로 정리돼 있고, 대표 그림에 실패 사례를 하나 이상 일부러 포함했다고 밝혀요.
한계도 분명히 적혀 있어요. 정량 평가는 강체 물체를 다루는 DROID 에피소드에 한정돼 있고, 변형체나 휴머노이드 장면은 정성 결과만 보여줘요. 파이프라인 전체가 상류 지각 오류와 시뮬레이터 피드백에 민감하다는 점도 함께 언급해요.
조립을 자동화하면 조립이 가리고 있던 병목이 드러나요. 사람이 손으로 좌표계를 맞추던 동안에는 지각 오류를 사람이 그때그때 메워주고 있었던 셈이라, 그 손을 빼고 나서야 남은 문제의 크기가 숫자로 보여요.