접촉 조작에서 데이터가 부족하다고 느끼면 카메라, 힘 센서, 촉각 센서를 더 붙이는 쪽으로 생각하기 쉽습니다. 하지만 이번 주의 세 연구는 같은 결론을 다른 자리에서 보여줍니다. 접촉 정보는 한 줄의 추가 입력이 아니라, 사람이 시연을 고칠 수 있게 하는 신호, 시각 모델이 접촉을 배우게 하는 표지, 실제 힘을 반영해 동작을 바꾸는 근거로 나눠야 합니다. 어느 역할인지 정하지 않으면 더 많은 신호를 모아도 수집·학습·실행의 실패 원인을 서로 구분하기 어렵습니다.
수집 단계에서는 사람이 힘의 결과를 느껴야 해요
FOMI는 사람 손잡이와 그리퍼의 움직임을 기구로 연결해, 물체에 닿을 때의 반발을 조작자가 느끼게 합니다. 이 힘은 정책에 넣는 센서값이 아니라, 시연을 만드는 사람이 지금 더 밀어야 하는지 멈춰야 하는지 고르는 되먹임이에요. 따라서 수집 단계의 질문은 “힘 신호가 있나”가 아니라 “조작자가 그 신호로 다음 행동을 바꿀 수 있나”가 됩니다. FOMI가 힘 되먹임으로 접촉 시연 수집량을 높인 방식에서 수집 장치와 평가 조건을 더 볼 수 있어요.
원문은 네 접촉 과제에서 로봇 없이 시연을 모을 때 10분당 평균 17.8건을 기록했고, 가장 높은 비교 방법은 13.8건이었습니다. 원격조작에서는 8.4건과 7.1건이었어요. 각각 약 29%와 18% 차이지만, 같은 종류의 성공률이 아닙니다. 경험이 없는 조작자 세 명이 조건마다 10분 세션을 세 번 수행한 평균 수집 효율이에요. 수집량이 늘었다는 결과를 정책이 힘을 이해했다는 결과로 바꾸어 읽으면 안 됩니다.
저가 그리퍼로 시연을 남길 때도 이 구분은 쓸 수 있습니다. 손끝의 힘을 아직 읽지 못하더라도, 닫기 명령·실제 위치·모터 부하·카메라 시각을 같은 실행 번호로 맞추고, 사람이 멈추거나 되돌린 시점을 표시할 수 있어요. 이 기록은 힘을 정확히 재지 못해도 수집자가 접촉을 어떻게 판정했는지 남깁니다. 다만 이 표지가 곧바로 접촉력의 정답은 아니므로, 센서값과 사람의 판단을 같은 열에 섞지 않아야 합니다.
학습 단계에서는 접촉을 시각이 배울 표지로 써요
Spark-0는 촉각을 두 역할로 나눕니다. 학습할 때는 촉각 장갑에서 얻은 접촉 위치를 영상 위의 표지로 바꿔 시각 표현이 손이 닿는 곳을 배우게 합니다. 이 표지는 실행 때 제거할 수 있어요. 별도의 경로는 손바닥과 손가락 부위의 힘 변화와 촉각점 상태를 행동 모델에 넣습니다. 같은 촉각이라도, 하나는 시각을 가르치고 다른 하나는 현재 동작을 고르는 데 쓰입니다. Spark-0가 촉각 사전학습으로 시각 조작 성공률을 높인 방식은 두 경로의 평가를 구분해 설명합니다.
원문은 사람 손 조작 1,000시간의 촉각 자료를 남긴 조건에서, 낯선 형태의 휴머노이드 평가가 52.45%에서 71.72%로 올랐다고 보고합니다. 차이는 19.27퍼센트포인트예요. 이 비교는 같은 카메라 영상 관측과 사전학습 계산량을 두고 촉각을 남겼는지 비교한 것입니다. 실제 로봇 촉각 평가도 44.00%에서 52.00%로 올랐지만, 실행 때 촉각을 함께 넣은 다른 조건입니다. 두 수치를 같은 원인 하나로 묶기보다, 학습용 표지와 실행용 입력이 분리된 설계의 두 결과로 읽어야 합니다.
이 결과가 새 촉각 장갑을 먼저 사야 한다는 뜻은 아닙니다. 이미 있는 시연에도 접근·첫 접촉·안정 파지·이탈 같은 구간 표지가 없다면, 시각 모델은 무엇을 배워야 하는지 알기 어렵습니다. 카메라 프레임과 그리퍼 명령, 실제 위치와 부하를 맞춘 뒤 사람이 확인한 접촉 구간을 별도 열에 두면, 나중에 센서를 바꿔도 학습용 표지의 뜻을 유지할 수 있어요.
실행 단계에서는 접촉에만 힘을 맡겨요
DEFT-VLA는 접근과 정렬에는 기존 전문가를 두고, 물체를 누르거나 끼우는 접촉 주변 구간에는 힘·토크 이력을 받는 별도 전문가를 둡니다. 힘 신호가 유용한 순간을 접촉 전후의 짧은 구간으로 좁힌 셈이에요. 접촉 전에는 물체 위치와 접근 경로가 더 중요할 수 있는데, 이때 힘을 모든 구간에 같은 비중으로 넣으면 관계없는 변화까지 따라갈 수 있습니다. DEFT-VLA가 접촉 구간에 힘 전문가를 분리한 방식은 이 구간 분리가 과제별 결과와 어떻게 연결되는지 다룹니다.
세 실물 과제에서 제안 방법의 전체 성공률은 파이펫 팁 결합 70%, 양팔 파이펫 흡입 50%, 화이트보드 닦기 90%였습니다. 각 과제에서 가장 높은 비교 방법은 30%, 30%, 70%라서 차이는 20~40퍼센트포인트였습니다. 과제당 20회라는 작은 평가 범위와 특정 힘·토크 센서 구성을 함께 봐야 합니다. 파이펫 두 과제의 전환은 학습한 구간 판별기가 맡았지만, 화이트보드 닦기는 사람이 전환을 정했습니다. 따라서 세 과제 모두에서 자동 전환을 검증한 결과는 아닙니다. 이 결과는 모든 로봇에 힘 센서를 달면 같은 폭으로 좋아진다는 보증이 아니라, 접촉 구간을 따로 정의하고 그때만 힘을 학습하게 한 구성의 결과예요.
실행 기록에는 접촉 여부만 남기면 부족합니다. 접근 단계에서 낸 목표, 접촉을 시작했다고 판단한 근거, 접촉 중 바꾼 명령, 그 뒤의 완료·되돌림·중단을 같은 실행 번호에 묶어야 해요. 그래야 실패했을 때 물체를 찾지 못한 것인지, 닿은 뒤 힘을 잘못 조절한 것인지, 접촉 판정이 너무 늦거나 빨랐는지를 가를 수 있습니다.
같은 신호라도 역할별로 다른 검증이 필요해요
세 연구를 한 흐름으로 놓으면 접촉 데이터의 경로는 수집자에게 닿은 힘, 학습용 접촉 표지, 실행 중 힘을 반영한 행동으로 이어집니다. 그러나 이 경로는 한 센서값을 끝까지 전달하는 관이 아닙니다. FOMI의 수집 효율, Spark-0의 시각 학습과 촉각 실행, DEFT-VLA의 접촉 구간 전문화는 서로 다른 분모와 과제로 평가됐습니다. 숫자를 평균 내 성능 순위를 만드는 대신 각 역할에 맞는 검사를 둬야 해요.
| 역할 | 남겨야 할 것 | 확인할 질문 |
|---|---|---|
| 수집 | 조작자의 되돌림·중단·재시도와 그때의 관측 | 사람이 접촉 결과를 보고 행동을 바꿀 수 있었나? |
| 학습 | 카메라·명령·실제 상태에 맞춘 접촉 구간 표지 | 표지가 시각 표현에 필요한 접촉 위치와 시점을 가리키나? |
| 실행 | 접촉 판정 근거, 보정 명령, 보정 뒤 결과 | 힘을 쓴 구간이 접근 실패와 접촉 실패를 분리해 주나? |
작은 로봇팔에서는 이 표의 세 역할을 한 번에 완성할 필요가 없습니다. 먼저 실행 번호 하나에 카메라 시각, 그리퍼 명령, 실제 위치, 읽을 수 있는 부하를 맞추고 접촉·보정·완료의 표지를 남길 수 있어요. 다음에는 표지와 실패 유형을 분리해 수집과 학습에서 빠진 정보를 찾습니다. 마지막으로 힘이나 부하를 행동에 넣을 때는 모든 구간에 추가하기보다, 접촉 판정이 확인된 구간에서만 바꾼 조건과 비교해야 합니다. 접촉 데이터의 가치는 많이 모았는지가 아니라 어느 판단을 위해 남겼는지에서 결정됩니다.
출처 — https://arxiv.org/abs/2610.14854