시연 데이터를 많이 모았다는 사실만으로 로봇이 접촉을 잘 다룬다고 말할 수는 없어요. 수집 뒤 카메라나 행동 표현을 바꿔도 같은 과제를 복원할 수 있는 기록과, 접촉이 바뀌는 순간에 명령을 늦지 않게 고치는 제어는 서로 다른 일을 합니다. 이번 주 네 편은 이 둘을 한 데이터 파일이나 하나의 모델에 섞기보다, 재생 경로와 접촉 제어 경로로 나눠야 한다는 기준을 보여줍니다.
수집 기록은 나중에 다시 구성할 수 있어야 해요
가상환경에서 시연을 모은 가상현실 시연 재생으로 모방학습 데이터 수집을 4.4배 높인 구조는 조작 중의 끝단 움직임과 장면 변화를 남긴 뒤, 같은 궤적을 재생해 확인하고 관절 명령으로 바꿉니다. 수집 시점에 카메라 위치와 관측 형식을 고정하지 않아도 되지만, 끝단 목표·장면 상태·그리퍼가 닫히는 순서가 재생에서도 같아야 데이터의 뜻이 이어집니다.
이 논문은 30분에 가상환경 시연 약 200개, 실제 환경 시연 45개를 기록해 조작자 시간 기준 약 4.4배의 수집률 차이를 제시합니다. 그러나 재생 가능한 궤적이 곧 과제 성공을 뜻하지는 않습니다. 두 카메라 관측으로 학습한 정책의 무작위 블록 적층은 30회 중 3회, 10%만 전체 과제를 끝냈습니다. 빠른 수집과 학습 결과를 같은 처리량으로 합치지 말고, 재생 통과율과 단계별 실패를 별도의 결과로 남겨야 하는 이유입니다.
접촉 정보도 모두 같은 속도로 쓰지 않아요
STAR를 다룬 STAR의 촉각 희소성 처리로 정교 조작을 높인 방식은 모든 촉각 값을 같은 비중으로 보관하지 않습니다. 65개 과제의 10,576개 궤적을 카메라·촉각·로봇 상태와 함께 30 Hz로 맞췄고, 접촉한 촉각 위치를 중심으로 행동에 필요한 정보를 남깁니다. 다음 촉각 변화도 다섯 시점을 바로 다음 0.17초에 몰지 않고 1.67초에 걸쳐 예측해, 접촉의 순간값보다 전이를 읽으려 했습니다.
두 과제에서 구성 요소를 뺀 비교는 전체 구성을 쓴 조건의 평균 성공률과 과제 완료율이 60%, 78%였고, 이 구성을 뺀 조건은 35%, 46%였습니다. 미래 촉각 예측만 뺀 조건은 53%, 69%였습니다. 다만 일부 과제에서는 촉각이 시각 정보를 쓰는 데 방해가 될 수 있다고 저자들이 적었으므로, 이 차이를 촉각을 더 넣는 일반 효과로 읽을 수는 없습니다. 기록 경로에는 센서 값만이 아니라 어느 구간의 신호를 남기고 어떤 범위의 미래 변화를 비교했는지도 들어가야 합니다.
즉시 반응하는 경로에는 시간 예산이 있어요
Touch2Trace를 다룬 Touch2Trace의 촉각 모방학습으로 케이블 추적을 높인 방식는 접촉 제어가 재생 경로와 다른 시간 조건을 가진다는 사례입니다. 촉각을 넣은 조건은 평균 20.1 ± 4.6 cm를 추적했고 10 cm 성공률은 93%였지만, 이 수치는 한 번의 명령을 60 Hz로 내는 흐름 안에서 나온 결과입니다. 비교한 여러 계산 단계로 행동을 다듬는 정책의 추론은 32 ms, 가벼운 정책은 3.4 ms였고, 60 Hz의 한 주기는 16.7 ms입니다. 입력의 종류보다 새 관측을 받고 명령을 보내기까지의 시간이 먼저 맞아야 접촉 변화를 행동으로 바꿀 수 있습니다.
XRoboToolKit-T를 다룬 XRoboToolKit-T의 촉각 보조가 시연 안정성을 높인 구조는 빠른 반응과 느린 보정을 한 경로로 합치지 않았습니다. 접촉 불안정을 읽어 조작자 명령을 줄이는 안정화는 20 Hz, 과제 문맥을 보고 자세를 조금 고치는 보정은 약 7 Hz로 갱신합니다. 기준 시스템의 분당 성공 조작 수는 8.5건이었고, 안정화와 보정을 함께 둔 조건은 9.6건이었습니다. 이 차이는 모든 장비에 옮길 수 있는 임계값이 아니라, 급한 접촉 반응과 느린 행동 보정의 결과를 따로 기록하고 평가해야 한다는 근거입니다.
하나의 시연에는 두 종류의 검증이 남아야 해요
이 네 편을 함께 읽으면 시연 데이터의 최소 단위는 파일 하나가 아니라 두 경로의 교차점입니다. 재생 경로에는 끝단 목표, 장면 상태, 관측 구성, 행동 변환 결과와 재생 판정을 남겨야 합니다. 접촉 제어 경로에는 접촉 변화 시각, 해당 시점의 관측, 명령 갱신 간격, 명령 억제·보정의 발생 여부와 지연을 남겨야 합니다.
그래야 수집률이 높아진 이유가 장면 복구 비용 감소인지, 접촉 성공이 늘어난 이유가 센서 입력인지 시간 예산 충족인지 분리할 수 있어요. 시연을 더 모으기 전에 같은 궤적이 다시 재생되는지 확인하고, 제어를 더 복잡하게 만들기 전에 접촉 변화가 명령 지연보다 먼저 기록되는지 확인하는 순서가 필요합니다. 두 경로를 나눠야 다음 데이터 수집과 제어 변경이 어떤 실패를 고쳤는지 같은 실행 기준에서 비교할 수 있습니다.
출처 — https://arxiv.org/abs/2609.12549 · https://arxiv.org/abs/2609.15921 · https://arxiv.org/abs/2609.16437 · https://arxiv.org/abs/2609.19040