TUM RGB-D의 두 held-out 영상 묶음에서 input-confidence ICP는 Huber ICP보다 translation error를 줄이지 못했어요. 점마다 매긴 신뢰도를 더 정교하게 만드는 일과 위험한 정합 결과를 미리 알아채는 일은 같은 문제가 아니었습니다.
평균 오차가 비슷해도 실패의 비용은 같지 않아요
Frame-to-frame registration은 두 깊이 화면의 대응점을 맞춰 상대 회전과 이동을 구해요. 이 추정이 틀리면 한 화면의 오차로 끝나지 않고 odometry와 지도에 누적됩니다. 그래서 평균 relative pose error(RPE)만 낮추는 방법은 드문 큰 실패를 놓칠 수 있어요.
공개 성능 비교 시험은 방법 조정에 쓴 fr1/xyz와 겹치지 않게 held-out 영상 조각 30개를 만들었어요. Held-out은 fr1/desk 15개와 fr3/structure_texture_near 15개이며, 영상 조각 하나는 5개 화면으로 구성했어요. 영상 조각 안의 네 상대 자세를 한 묶음으로 bootstrap했지만, 두 영상 묶음 자체를 독립 모집단으로 보지는 않았습니다.
Huber ICP의 평균 벌점 포함 이동 RPE는 48.826밀리미터, input-confidence ICP는 49.569밀리미터였어요. 짝지은 차이를 Huber - input-confidence로 두면 -0.743밀리미터이고 95% 영상 조각 재표집 구간은 [-2.514, 0.810]밀리미터였습니다. 0을 가로지르므로 이동 오차 우월성 조건은 기각됐어요. 회전·실패율·유효 깊이 비율의 비열등 조건이 통과했어도 주효과 하나가 실패하면 전체 우월성 주장을 살리지 않았습니다.
영상 묶음별 방향도 달랐어요. fr1/desk에서 Huber - input-confidence는 -2.612밀리미터였지만 fr3/structure_texture_near에서는 1.127밀리미터였습니다. 결과를 본 뒤 나눈 하위 집단이라 새 가설 검정으로 쓰지는 않았지만, 하나의 평균이 장면 조건을 대표하지 못한다는 신호는 남았어요.
점마다 매긴 신뢰도와 실패 확률은 다른 출력이에요
점군 정합에서 신뢰도는 보통 correspondence에 줄 가중치로 쓰여요. CVPR 2024의 대응점 신뢰도 보정 연구도 부분 중첩 점군에서 대응점의 inlier confidence를 보정한 뒤 weighted SVD로 변환을 계산합니다. 이런 방법은 대응점 선택을 개선하지만, 최종 위치 갱신이 catastrophic failure인지 확률로 알려 주는 장치와 같지는 않아요.
현재 성능 비교 시험에서도 이 경계가 보였어요. 신뢰도의 공간 위치만 섞은 대조군은 48.759밀리미터로 input-confidence의 49.569밀리미터보다 낮았어요. 현재 신뢰도 지도의 공간적 보정 이점이 확인되지 않았다는 뜻입니다. 반대로 신뢰도 크기를 뒤집자 이동 RPE는 97.883밀리미터, 실패한 영상 조각 비율은 0.867, 적용 가능 비율은 0.167이 됐어요. 잘못된 신뢰도가 정합을 망칠 수 있다는 민감도는 보였지만, 올바른 신뢰도가 실패를 예측한다는 근거는 아직 없어요.
Calibration은 예측한 확률과 실제 빈도가 맞는지를 묻습니다. 비슷한 실패 점수를 받은 정합 결과를 모았을 때 실제 실패 빈도도 그 점수에 가까워야 해요. 정합 뒤 남은 오차가 작거나 올바른 대응점 비율이 높다는 사실만으로 이 조건이 자동으로 성립하지 않습니다.
보류는 정확도와 적용 비율을 함께 바꿔요
Selective prediction은 불확실한 입력에서 답을 내지 않는 보류 선택지를 둬요. 이 틀을 점군 정합에 옮기면 위험도는 수용한 위치 갱신의 오류, 적용 비율은 전체 후보 중 실제로 반영한 비율이 됩니다. 임계값을 높이면 위험한 갱신을 더 많이 막을 수 있지만 정상 갱신도 함께 버려 적용 비율이 줄어요.
여기서 기존 그림의 effective valid-depth coverage를 선택적 적용 비율로 바꾸어 부르면 안 돼요. 전자는 유효 깊이 화소의 비율이고, 후자는 정합 결과를 수용한 비율입니다. 이름이 비슷해도 분모와 결정 단위가 다릅니다.
앞선 합성 유효성 관문 실험도 같은 비용을 보여 줬어요. 30개 시드에서 깊이값 누락·물체 경계의 잘못된 깊이값·다중 경로 반사라는 방해 조건을 줬을 때, 제안 관문의 잘못된 수용은 0이었지만 경계 위치 오차와 잘못된 거부 비용이 남았어요. 시드별로 짝지은 경계 위치 오차 차이의 95% 구간이 0을 가로질렀고, 잘못된 거부 증가 구간은 미리 정한 0.10 한계를 넘었습니다. 일부 지표가 좋아도 전체 가설은 기각했어요.
후속 실험은 실패를 먼저 정의해야 해요
다음 질문은 residual, inlier ratio, Hessian spectrum, 불확실성 추정값, 두 점군이 겹치는 정도로 catastrophic failure를 예측할 수 있는지예요. 단순한 잔차 임계값, 올바른 대응점 비율 임계값, 계산 불안정도, 로지스틱 예측기를 최소 비교 기준으로 두고, 복잡한 모델은 그 뒤에 비교해야 해요. 가장 단순한 기준보다 좋아지지 않으면 독립 방법 논문으로 이어갈 이유가 없습니다.
큰 실패의 판정 기준은 예측기 점수와 held-out 결과를 보기 전에 고정해야 해요. 장면과 영상 묶음을 방법 조정용과 held-out으로 나눠 같은 장면이 양쪽에 섞이지 않게 하고, 기존 결과를 이미 연 TUM 영상 묶음은 새 최종 확인 후보로 재사용하지 않습니다. 평가도 실패 AUROC 하나로 닫지 않고 위험도와 적용 비율의 관계, 확률 보정 오차, 최소 적용 비율, 최대 실행 시간을 함께 잠가야 해요.
로봇 파이프라인에는 결정 근거까지 남겨야 해요
실제 로봇에 적용하려면 추정 자세만 발행해서는 실패 분석이 끊겨요. 정합 노드는 추정 자세와 함께 잔차, 올바른 대응점 비율, 계산 안정성 요약, 겹침 정도, 실패 점수, 수용 여부, 보류 사유를 같은 기록 시각과 시험 식별값으로 남겨야 합니다. 보류했을 때는 마지막 추정 자세를 무기한 재사용하지 말고, 속도를 낮추거나 바퀴 이동량·IMU 예측으로 짧게 전환한 뒤 재관측하는 조건을 따로 정해야 해요.
관측을 어느 좌표계로 넘길지 먼저 고정하는 문제는 관측을 로봇 좌표계로 옮겨 VLA 시점 취약성을 줄인 로봇 중심 포인트맵에서도 다뤘어요. 여기서는 표현 좌표계보다 앞단에서, 등록 업데이트 자체를 적용할지 보류할지 판단하는 데 범위를 좁혔습니다.
포트폴리오 증거도 성공 궤적 한 장보다 이 결정 구조가 더 설명력이 있어요. 한 rosbag에서 입력 화면, 정합 결과, 실패 점수, 수용·보류, 대체 경로 전환을 연결하고, 정상 사례와 잘못 수용한 사례, 불필요하게 거부한 사례를 같은 지표로 보여 주면 됩니다. 다만 이 구현은 아직 수행 결과가 아니라 다음 실험의 설계안이에요.
현재 확인된 결론은 input-confidence ICP의 이동 오차 우월성이 기각됐다는 데까지예요. 선택적 정합은 그 실패에서 나온 새 연구 질문이며, 신규성 검토와 장면이 겹치지 않는 held-out 평가를 통과하기 전에는 개선 방법이라고 부를 수 없습니다. 실패를 적게 만드는 것과 실패할 때 위치 갱신을 멈추는 것은 따로 검증해야 해요.
출처 — https://cvg.cit.tum.de/data/datasets/rgbd-dataset
출처 — https://doi.org/10.1109/IROS.2012.6385773