사람이 물체를 옮기는 영상을 한 편 얻어도 로봇이 그대로 따라 하기는 어렵습니다. 손의 모양과 관절 수가 다르고, 물체의 시작 위치나 목표 위치가 조금만 달라져도 영상 속 궤적은 맞지 않기 때문입니다. Dex-One2Many는 영상 속 손 움직임을 정답 궤적으로 삼는 대신, 과제에서 반드시 성립해야 하는 물체 관계와 그 순서를 남깁니다.
영상에서 남길 것은 손의 길이 아니라 과제의 순서예요
방법은 사람 영상을 단계별 장면 그래프로 바꿉니다. 예를 들어 손이 물체에 닿기 전, 잡고 있는 상태, 물체가 용기 안에 들어간 상태처럼 관계가 바뀌는 지점마다 단계를 나눕니다. 그래프에는 잡기·접촉·안쪽에 있음 같은 관계와 순서가 들어가지만, 그때의 물체 좌표·손 모양·움직인 경로는 고정하지 않습니다.
이 구분이 필요한 이유는 한 번의 동작이 과제를 정의하지는 않기 때문입니다. 같은 물체를 다른 자리에서 잡거나 다른 파지 자세를 써도, 물체를 잡아 목표 위치에 넣는 과제의 관계와 순서는 남습니다. 논문은 이 관계를 지켜야 하는 조건으로 쓰고, 어떤 경로와 파지 자세로 채울지는 학습이 찾게 둡니다.
관계 그래프는 시뮬레이션의 출발점과 보상을 함께 정해요
그래프의 각 단계는 시뮬레이션에서 초기 상태를 만드는 제약이 됩니다. 물체 위치와 여러 손가락 파지 상태를 무작위로 뽑되, 그 단계의 관계를 만족하고 시뮬레이터 검사도 통과한 상태만 남깁니다. 그래서 마지막 단계의 접촉을 먼저 연습할 수 있고, 처음부터 모든 단계를 우연히 통과해야만 보상을 받는 탐색보다 짧은 경로가 됩니다.
또한 그래프의 관계는 보상 항목으로 바뀝니다. 잡기 전에는 손과 물체의 거리, 넣기 전에는 물체와 목표 영역의 거리처럼 다음 관계에 가까워지는 신호를 줍니다. 논문은 이 과정을 강화학습으로 시뮬레이션에서 학습했고, 실물 로봇에 옮길 때 추가 학습이나 미세 조정을 하지 않았습니다.
절제 실험은 이 두 장치가 단순한 설명용 단계가 아니라는 근거를 줍니다. Sweep 과제의 시뮬레이션에서 단계별 시작 상태를 빼면 2천 번의 PPO 갱신 뒤 성공률이 90% 이상에서 약 16%로 내려갔습니다. 관계에서 만든 조밀 보상을 빼면 성공률은 0%에 머물렀고, 파지를 닫는 명령을 빼면 약 48%였습니다. 이 값은 다섯 실물 과제의 평균이 아니라, Sweep 하나에서 구성 요소를 하나씩 뺀 시뮬레이션 결과입니다.
보지 않은 구성에서만 차이가 커졌어요
저자들은 방법마다 과제별로 시뮬레이션 30회와 실물 30회를 평가했습니다. 실물 30회는 사람 영상에 있던 초기·목표 자세 10회와, 영상에 없던 초기·목표 자세 20회로 나뉩니다. 다섯 과제의 영상 밖 구성에서 Dex-One2Many는 60~85%의 실물 성공률을 냈고, 비교 방법은 모두 15% 이하였습니다.
그림의 평균은 제안 방법 75%, 최고 기준 방법 4%로 71%포인트 차이입니다. 다만 이 비교는 과제별 최고 기준 방법을 그래프에 놓은 것이며, 한 기준 방법 하나를 다섯 과제에 반복한 결과는 아닙니다. 실험 장비도 저가 로봇팔이 아니라 UR3 팔과 20개 관절 움직임을 제어하는 Wuji 1 손입니다. 또한 물체의 위치 세 값과 회전 세 값을 함께 나타낸 자세를 추정할 때 생기는 오차, 시뮬레이션과 실물 형상 차이, 강체만 다룰 수 있는 재구성 과정은 저자들이 밝힌 전이 한계입니다.
지금 작업과 만나는 지점
이 논문은 프로필의 저가 로봇팔 모방학습과 양팔·조작 주제에 만납니다. 사람 시연을 모을 때 관절 궤적을 하나의 답으로 보관하기보다, 물체에 다가감·잡음·목표 영역에 도달함·놓음처럼 과제 관계가 바뀌는 시점을 함께 남기면 다른 시작 자세에도 쓸 수 있는 검증 기준이 생깁니다. 바로 시험할 수 있는 범위는 기존 시연 영상과 관절·그리퍼 기록에 이 단계 표지를 붙인 뒤, 각 단계가 충족됐는지와 최종 성공을 분리해 세는 일입니다. 이 기록만으로 논문의 시뮬레이션 전이를 재현할 수는 없지만, 어느 단계에서 궤적 복제가 아닌 관계 제약이 필요한지 가르는 출발점은 됩니다.
TACROSS가 접촉 사건으로 이종 촉각 시연을 연결한 방식은 센서값 대신 접촉 사건을 남기는 기준을 다뤘습니다. Dex-One2Many는 손과 물체의 관계를 과제 단계로 남겨, 그 기록을 시뮬레이션의 시작 상태와 보상으로 연결합니다.