연구진이 공개한 See2Act를 정리했어요. 모방학습 정책이 물체가 가려진 상황에서 무너지는 문제를, 카메라를 어디로 옮길지까지 정책이 정하게 만들어 다뤄요. 관측을 로봇 좌표계로 옮겨 VLA 시점 취약성을 줄인 로봇 중심 포인트맵이 들어온 관측을 로봇 좌표계로 바꿔 넣는 쪽이었다면, 이쪽은 관측을 만드는 카메라 자체를 움직여요.
완전 관측 가정이 깨지는 지점
대부분의 모방학습 연구는 테이블탑 환경에서 필요한 것이 다 보인다고 가정해요. 실제로는 물체가 다른 물체 뒤에 있거나 선반 안쪽에 들어가 있어서, 로봇이 찾는 동작과 집는 동작을 함께 해야 해요. 문제는 이 둘이 결합된 행동을 적은 시연만으로 배우기 어렵다는 데 있어요. 시점을 고르는 규칙을 따로 라벨링해 두지 않으면 정책이 배울 근거가 없고, 그렇다고 시연마다 사람이 좋은 시점을 표시하는 건 비용이 커요.
기존 접근은 이 문제를 쪼개서 풀었어요. 여러 후보 시점을 미리 찍어두고 정보량이 큰 것을 고르거나, 관심 영역을 확대해 보는 식이에요. 시점 선택이 행동과 분리돼 있으니 지금 하려는 동작에 필요한 각도가 후보에 없으면 방법이 없어요.
카메라 포즈가 곧 행동의 좌표계예요
See2Act의 출발점은 표현 방식이에요. 행동을 카메라 프레임 기준으로 표현하면, 카메라 포즈가 그 행동이 적히는 좌표계가 돼요. 그러면 행동을 디노이징하는 일과 카메라를 옮기는 일이 한 궤적을 보는 두 관점이 돼요. 논문은 이 성질을 이용해 디퓨전 정책의 디노이징 단계마다 카메라 포즈를 함께 정제해요.
훈련은 시연의 키프레임 행동에 카메라 포즈를 묶어 만들어요. 앵커가 둘인데, 하나는 키프레임 행동에서 유도한 대상 중심 시점이고 다른 하나는 장면 전체를 보는 고정된 개요 시점이에요. 대상 중심 시점은 행동 위치에서 접근 방향으로 일정 거리만큼 물러난 자리에 놓여요. 중간 단계의 포즈는 두 앵커 사이를 보간해 채우는데, 위치는 선형보간이고 자세는 SLERP를 써요. 노이즈가 많은 초기 단계는 개요 시점에, 행동이 또렷해진 후기 단계는 대상 근처에 대응되는 구조예요.
추론은 개요 시점에서 시작해 행동과 카메라 포즈를 번갈아 정제해 나가요. 시점 라벨을 따로 만들지 않고도 어디를 볼지가 학습되고, 만들어진 카메라 궤적이 SE(3)에서 연속이라 실제 팔이 그대로 따라갈 수 있어요.
가려질수록 격차가 벌어져요
Ravens의 가림 과제 네 개를 각각 50회 시행한 결과가 차이를 잘 보여줘요. See2Act는 place-red-in-green 96%, bin-picking 96%, put-within-shelf 72%, box-search 100%를 기록했어요. 확대만 하는 C3DM은 88%, 8%, 0%, 0%였고, 후보 중에서 시점을 고르는 Diff-MV-Entropy는 54%, 22%, 2%, 64%였어요. 선반 안쪽처럼 기존 시점에서 아예 보이지 않는 과제에서 기준선이 0%로 주저앉는 게 능동적으로 시점을 만드는 것과 고르는 것의 차이예요.
가림이 심하지 않은 RLBench 아홉 개 과제에서도 평균 81.1%로 직전 최고인 RVT-2의 77.9%를 넘겼어요. 초록이 말하는 최대 34% 향상은 sort-shape 과제에서 나오는데, RVT-2가 35%인 자리에서 69%를 기록했어요.
실기체 검증은 UR10 팔에 손목 장착 Zivid M60 깊이 카메라를 달아서 했어요. 과제당 시연 50개를 서로 다른 물체 배치 50가지에서 모았고, 시뮬레이션과 현실 사이 카메라 캘리브레이션은 평가 전 한 번만 맞춘 뒤 모든 시행에서 고정했어요. 1~2mm 공차를 요구하는 선반 키팅에서 95%를 기록했고 같은 조건에서 기준선은 25%였어요. 정리 과제는 95% 대 50%였어요.
값을 치르는 곳
비용은 명확하게 적혀 있어요. 디노이징 단계마다 새 관측이 필요하니 실행 속도가 카메라 지연에 묶이고, 시점을 고정한 방식보다 느려요. 초기 카메라 포즈가 훈련 분포를 벗어나면 place-red-in-green 성공률이 97.5%에서 86.7%로 내려가요. 장면이 정적이라는 가정도 깔려 있어요.
그래도 카메라 배치는 보통 시스템을 세울 때 정하고 학습 내내 상수로 두는 값인데, 그 상수를 정책 안으로 들여보내면 가림이라는 문제 자체가 다르게 보여요. 안 보이면 못 한다가 아니라, 보이게 만드는 것까지가 조작의 일부가 돼요.