NeoteAI Research가 N0 시리즈 기술 보고서 3편을 한꺼번에 공개했어요. 촉각 데이터 기반을 만든 N0-Foundation, 그 위에 올린 정책 N0-VTLA, 촉각까지 예측하는 세계모델 N0-TWAM이에요. 세 편을 관통하는 건 촉각을 시각처럼 규모로 밀어붙이려면 먼저 합칠 수 있는 표현이 필요하다는 문제의식이에요. 전류-토크 선형 모델을 신경망으로 갈아끼운 NeuralActuator이 센서 없이 힘을 추정하는 쪽이었다면, 이쪽은 센서는 있는데 제품마다 말이 달라서 못 모으던 문제를 다뤄요.
촉각 데이터는 합칠 수가 없었어요
플러그를 꽂거나 케이블을 끼우는 작업에서 로봇은 자주 실패해요. 카메라로는 정렬이 맞아 보이는데 실제로는 몇 밀리미터 어긋나 있고, 그 어긋남은 닿아봐야 알 수 있어요. 시각으로 안 되는 부분을 촉각이 맡아야 한다는 진단 자체는 오래된 이야기예요.
막힌 곳은 데이터였어요. 시각 기반 촉각 센서는 젤 표면을 카메라로 찍어 변형을 읽는데, 젤의 색과 두께, 조명, 장착 각도가 제품마다 달라요. 같은 힘을 줘도 센서가 다르면 완전히 다른 이미지가 나와요. 그래서 A 센서로 모은 데이터를 B 센서 로봇의 학습에 쓸 수가 없었어요. 시각 데이터가 카메라 종류를 넘어 쌓이는 동안 촉각은 기기마다 고립돼 있었던 거예요.
힘장이라는 공통 표현으로 옮겨요
N0-Foundation의 답은 NeoForce라는 모델이에요. 센서가 뱉은 이미지를 그대로 쓰지 않고, 조밀한 3축 힘장으로 변환해요. 접선 방향 전단 두 성분과 법선 방향 압력 한 성분이에요. 젤이 어떻게 생겼는지가 아니라 어디에 얼마만큼의 힘이 걸렸는지를 남기는 표현이라, 기기 고유의 겉모습이 여기서 걸러져요.
학습은 패치로 쪼갠 RGB 프레임과 힘장을 공유 트랜스포머에 함께 넣고, 복원 목적과 교차 모달 정렬 목적을 같이 걸어요. 서로 다른 센서의 신호가 같은 힘장 공간에서 만나니까 그때부터 데이터를 합칠 수 있어요.
3만 시간을 한 데이터셋으로 묶었어요
그렇게 모은 규모가 3만 시간이 넘는 시각·촉각 상호작용 데이터예요. 에피소드 140만 개, 타임스텝 33억, RGB 프레임 80억 장에 촉각 프레임 100억 장이에요. 450개 넘는 과제를 여덟 범주로 나눠 담았고 100명 가까운 작업자가 모았어요. 임바디먼트는 6종인데 그중 다섯이 Franka Research 3와 Piper, ARX X5, UR5e, Flexiv Rizon 4s 같은 로봇 플랫폼이고, 나머지 하나가 사람이 손에 드는 수집 장치 N0-TacUMI예요. 로봇 없이 사람이 들고 모은 이 장치가 궤적의 57%를 담당했어요. 촉각 센서 두 개와 160도 어안 손목 카메라, 적외선 6자유도 추적, 자기식 그리퍼 개도 센싱을 한 몸에 넣은 기기예요.
효과는 직접 비교로 나왔어요. 자체 실기 벤치마크 NeoReal에서 시각만 쓴 정책이 평균 성공률 26.5%에 진행 점수 38.1인데, NeoForce 힘장을 조건으로 넣으면 32.5%에 47.5로 올라가요. 성공률보다 진행 점수가 더 크게 오른 점이 눈에 띄어요. 촉각이 과제를 끝내게 해준다기보다 중간까지 더 멀리 가게 해준다는 신호예요.
공개된 건 이 중 5,000시간이에요. 로봇 6종에 250개 넘는 과제, 200개 넘는 스킬을 담은 부분집합이에요.
닿은 감각이 아니라 곧 닿을 감각을 봐요
N0-VTLA는 그 위에 올린 정책이에요. 사전학습된 시각언어 백본에 흐름 정합 행동 전문가를 붙인 구조인데, 촉각을 다루는 방식이 특이해요. 지금 들어온 촉각에 반응하는 대신, 잠재 촉각 토큰이 현재 프레임부터 행동 구간 끝까지의 촉각 변화량을 담아요. 활성화된 촉각 시점들에 대해 평균 낸 값이에요. 정지 상태의 젤 겉모습과 장착 위치에서 오는 편향은 누르고 공간 구조만 남긴다고 설명해요.
수치로는 NeoReal 9개 과제에서 평균 성공률 47.2%로 π0.5의 29.4%를 앞섰고, 진행 점수는 56.8 대 42.3이었어요. 과제별로는 소켓 꽂기가 85% 대 60%, 수건 접기가 95% 대 90%였어요. 가장 두드러진 건 보드 삽입으로, 비교한 기준선 둘이 모두 0%인 과제에서 25%를 냈어요. 시뮬레이션 NeoSim 12개 과제에서는 π0.5 대비 50.8% 대 45.8%, 외부 벤치마크 UniVTAC에서는 InternVLA-A1 대비 83.1% 대 67.1%였어요.
세계모델도 촉각을 같이 그려요
N0-TWAM은 미래 영상과 미래 촉각, 행동 세 흐름을 함께 생성해요. 먼저 시각 전문가와 촉각 전문가가 장면을 그려두고 그다음에 행동 전문가가 말단 행동을 디노이징하는 예측 후 행동 구조예요.
구성은 비대칭 전문가 혼합 트랜스포머이고 전체 학습 파라미터가 71.6억 개예요. 영상 전문가가 50억 규모에 폭 3,072, 행동 전문가가 폭 1,024에 11.3억, 촉각 전문가가 같은 폭에 10.3억이에요. 폭이 다른 전문가들을 전체 폭짜리 공유 자기어텐션 한 층으로 묶어요. 학습은 로봇 6종 450개 과제에서 나온 약 750만 클립으로, H800 128장에서 3만 스텝을 돌렸어요.
실기 8개 과제 평균 성공률은 46.3%예요. 같은 조건에서 π0.5가 30.0%, LingBot-VA가 21.9%, FastWAM이 14.4%였어요.
남는 것
절대 수치를 그대로 봐야 해요. 가장 좋은 실기 성능이 46.3%면 두 번에 한 번도 성공하지 못한다는 뜻이에요. 촉각을 넣어 상대적으로 크게 올랐다는 것과 실사용 가능한 수준이라는 건 다른 이야기예요.
평가 무대가 대부분 자체 제작이라는 점도 걸러 읽어야 해요. NeoReal과 NeoSim은 이 팀이 만든 벤치마크라, 외부 벤치마크인 UniVTAC 결과가 상대적으로 더 무게가 있어요. 공개 범위도 전체 3만 시간 중 5,000시간이에요.
수치를 옮겨 적을 때도 주의가 필요해요. 이 보고서들을 다룬 중문 기사 하나를 원문과 대조해보니, 시뮬레이션 성적과 외부 벤치마크 성적이 섞여 있고 비교 기준선도 가장 낮은 쪽이 골라져 있었어요. 84.5%는 시뮬레이션이 아니라 UniVTAC 성적이고, 실기 46.3%의 최강 기준선은 21.9%가 아니라 30.0%예요. 요약본이 아니라 원문 쪽 수치를 그대로 적었어요.