로봇 조작에서 접촉은 물체를 찾는 단계와 손끝이 닿은 뒤를 가르는 사건이에요. 그런데 시연 파일에는 촉각·힘·관절 상태가 따로 저장되고, 정책은 이 신호를 모든 시점에 같은 비중으로 읽고, 평가는 최종 성공률 하나로 끝나는 경우가 많습니다. 이번 주 다섯 편을 함께 보면 접촉 정보를 늘리는 일보다 먼저 필요한 것은 접촉 단계 계약이에요. 같은 계약이 있어야 수집한 시연의 한 프레임, 정책이 신호를 쓴 시점, 실패 뒤 복구의 결과를 한 실행으로 이어 읽을 수 있습니다.
수집 기록은 같은 시각의 접촉을 가리켜야 해요
이동 조작 시연 데이터를 다룬 M3-Tele은 접촉 정보가 센서 목록으로 끝나지 않는 사례예요. 촉각과 힘을 동기화한 이동 조작 시연 데이터 M3-Tele처럼 카메라는 30 Hz, 촉각은 25 Hz, 힘 센서는 100 Hz, 높은 수준 명령은 10 Hz로 움직입니다. 이 주기들은 한 줄짜리 로그만으로 같은 순간을 뜻하지 않으므로, 어느 명령이 어느 촉각·힘·관절 상태에 대응하는지와 빠진 프레임을 함께 남겨야 합니다.
이 조건에서 힘 추종 오차가 4.132 N에서 0.346 N으로 줄었다는 결과는 접촉을 잘 맞췄다는 근거이지만, 모든 조작의 일반 성능을 뜻하지는 않아요. 시뮬레이션 정책 평가는 관측 조합마다 독립적인 100회 실행으로 했고, 원격 조작 300회와는 평가 단위도 다릅니다. 계약에는 센서 시각뿐 아니라 수집 조건, 제어 구성, 포함·제외 판정까지 들어가야 숫자가 무엇을 비교했는지 남습니다.
정책은 접촉 전과 후에 다른 정보를 써야 해요
DeCAL은 촉각을 모든 순간에 더하는 대신, 실제 접촉 구간에서 비중을 높입니다. DeCAL의 접촉 게이트가 촉각을 늦게 쓰는 이유처럼 접근 단계에서는 카메라가 물체와 손의 상대 위치를 읽는 근거이고, 접촉 뒤에는 손끝 변형과 힘이 미끄러짐·삽입·회전의 근거가 됩니다. 이 구분이 접촉 단계 계약의 정책 쪽입니다. 어떤 신호가 존재하는지가 아니라, 어느 상태에서 행동에 영향을 줬는지가 남아야 합니다.
DeCAL은 여섯 과제에서 평균 성공률 71%, 진행률 83.4%를 보고했지만 전구 끼우기 성공률은 40%였습니다. 낯선 물체 조건의 마지막 단계 성공률은 75%였고, 가장 좋은 비교 모델보다 30퍼센트포인트 높았어요. 평균을 남기는 것만으로는 어느 접촉 단계가 어려웠는지 보이지 않습니다. 센서 잡음·보정 오차·모델 변화가 촉각 인식을 흔들 수 있다는 한계도 같은 실행의 상태값으로 남겨야, 게이트 오류와 행동 오류를 나눌 수 있어요.
구조와 보정은 같은 단계 판정을 공유해야 해요
GIFT는 행동에 필요한 기하·물체 역할·목표 영역을 중간 표현에 남기는 쪽을 택했습니다. GIFT가 중간 표현에 구조를 학습해 교란 내성을 높인 로봇 조작에서 바뀐 조건의 학습 데이터를 넣지 않은 일곱 교란 평가의 GIFT-VLA는 75.0%에서 79.6%로, 빠른 행동 예측 구성은 60.0%에서 72.6%로 올랐습니다. 이 결과는 접촉 자체를 측정한 것은 아니지만, 행동에 필요한 구조를 입력에 덧붙이는 대신 내부 판정에 남겨야 한다는 점에서 접촉 단계 계약과 같은 방향을 가리킵니다.
접촉 추정을 행동과 균형 보정에 함께 쓰는 FWBC-VLA은 이 판정을 제어로 연결합니다. 5,000회가 넘는 원격 조작 에피소드에서 200 Hz 관절 데이터와 15 Hz 이동 조작 시연을 함께 쓰고, 추정한 접촉 신호를 행동과 몸체 보정에 나눠 보냅니다. 문 열기의 밀기·통과 단계는 모두 52%로 보고됐습니다. 마지막 단계의 값이 더 낮다면 계약에는 “접촉을 추정했다”는 표시만이 아니라, 어느 단계에서 어떤 보정이 들어갔고 몸체와 팔 중 어디가 실패했는지도 남아야 해요.
복구 평가는 계약이 끊긴 곳을 찾아야 해요
LIBERO-RECOVER는 성공한 시작 상태에서 끝까지 가는 평가만으로는 이 계약을 검증할 수 없다고 보여줍니다. LIBERO-RECOVER가 실패 복구를 별도 평가로 만드는 방식에서 자연 발생 실패에 놓인 모든 모델이 50% 넘는 성능 하락을 겪었고, 혼합 학습을 쓴 GR00T N1.5의 복구 성공률은 17.8%에서 21.2%로 올랐지만 일반 LIBERO 성공률은 86.5%에서 87.2%로만 바뀌었습니다. 같은 최종 성공률 근처에서도 실패 뒤 상태를 다시 읽고 원래 과제를 끝내는 능력은 다른 값이라는 뜻이에요.
그래서 접촉 단계 계약의 최소 단위는 센서 프레임이 아니라 실행입니다. 접근·접촉·이탈·실패 뒤 복구마다 시각, 접촉 판정, 사용한 관측, 제어 보정, 종료 사유를 같은 실행 식별자에 연결해야 해요. 그래야 촉각을 더 모을지, 게이트를 고칠지, 몸체 보정을 바꿀지, 실패 상태를 평가셋으로 따로 만들지를 결과가 가리키는 근거로 정할 수 있습니다.
출처 — https://arxiv.org/abs/2609.03889 · https://arxiv.org/html/2609.05178v1 · https://arxiv.org/abs/2609.04193 · https://arxiv.org/abs/2609.07859 · https://arxiv.org/abs/2609.09119