알리바바 DAMO 아카데미가 공개한 RynnBrain 1.1을 정리했어요. 2B, 9B, 122B-A10B 세 규모로 나온 임바디드 파운데이션 모델인데, 1.0에서 달라진 핵심은 얼마나 잘 맞히느냐가 아니라 답을 어떤 형식으로 내느냐예요. 관측을 로봇 좌표계로 옮겨 VLA 시점 취약성을 줄인 로봇 중심 포인트맵이 관측 표현을 로봇 기준으로 바꾸는 이야기였다면, 이 모델은 그 변환을 사전학습 목표 안으로 끌고 들어와요.
잘 맞혀도 로봇이 쓸 수 없는 답이 있어요
시각언어모델은 “컵이 탁자 왼쪽에 있어요”까지는 잘 해요. 그런데 로봇 팔이 그 문장으로 할 수 있는 일은 없어요. 픽셀 좌표의 바운딩 박스도 사정이 크게 다르지 않아요. 깊이를 모르면 팔을 어디까지 뻗어야 하는지 안 나오고, 박스 중심이 실제로 잡을 수 있는 자리라는 보장도 없어요. 서랍 이미지에서 박스 중심은 서랍 앞판 한가운데지 손잡이가 아니에요.
그래서 인식과 행동 사이에는 늘 별도 단계가 끼어 있었어요. 좌표계를 맞추고, 깊이를 붙이고, 잡을 자리를 따로 고르는 파이프라인이에요. 이 단계는 로봇마다 카메라마다 다시 짜야 하고, 여기서 생긴 오차는 정책이 배우지 못한 채 그대로 실패로 나타나요.
RynnBrain 1.1이 1.0 위에 더한 두 기능은 정확히 이 지점을 겨눠요.
접촉점과 파지 각도를 같이 내요
첫째는 접촉점 예측이에요. 물체를 통째로 가리키는 대신 과제와 관련된 상호작용 지점을 직접 찍어요. 서랍이면 손잡이, 컵이면 실제로 손이 닿아야 하는 자리예요. 여기에 평면 내 파지 방향까지 함께 나와요. 어디를 짚을지와 손을 어느 각도로 돌릴지가 한 출력에 담기니까, 그 값이 그대로 그리퍼 목표가 돼요.
이 기능은 2B부터 122B-A10B까지 모델 계열 전체에 들어갔어요. 크기를 바꿔도 출력 규약이 같다는 뜻이라, 같은 다운스트림 코드로 큰 모델과 작은 모델을 갈아 끼울 수 있어요.
픽셀 평면이 아니라 미터 공간에 그라운딩해요
둘째는 네이티브 3D 그라운딩이에요. 2B와 9B 모델은 언어 지시를 이미지 평면이 아니라 미터 단위 물리 공간에 직결해요. “왼쪽 서랍”이라는 말이 3차원 위치로 떨어지니까 그 값이 곧 팔의 목표 자세가 돼요. 깊이를 나중에 붙이는 게 아니라 처음부터 3차원으로 답한다는 게 차이예요.
수치로는 9B 모델이 SUN RGB-D에서 41.12 AP@15, WildDet3D-Bench에서 23.44 AP3D를 냈어요. 규모를 올린 122B-A10B는 VSI-Bench와 MMSI, RefSpatial-Bench에서 함께 평가한 상용·오픈소스 모델을 모두 앞섰다고 보고했어요.
이 네 갈래 능력, 그러니까 임바디드 인식과 공간 추론, 위치 파악, 그라운딩은 하나의 시공간·물리 기반 학습 틀에서 같이 훈련돼요. 단일 시점 이미지와 다시점 관측, 영상, 지시문을 같은 디코더가 받아요. 다시점을 따로 다루지 않고 같은 입력 통로로 넣는다는 점이 3차원 답을 내는 쪽과 맞물려요. 한 장으로는 모호한 깊이가 여러 시점에서 좁혀지니까요.
규모 축은 디코더 구성으로 갈려요. 작은 쪽은 조밀한 디코더를 쓰고 가장 큰 122B-A10B는 전문가 혼합 구조라, 전체 파라미터는 122B지만 한 토큰이 실제로 지나는 건 10B 규모예요. 벤치마크 상단을 노리면서도 추론 비용을 조밀 모델 수준으로 눌러두려는 선택이에요.
몸이 달라도 행동 공간은 하나예요
행동 쪽은 RynnBrain-VLA로 이어져요. 81차원짜리 크로스 임바디먼트 행동 공간을 하나 정해두고, 특정 로봇에 없는 자유도는 임바디먼트별 마스킹으로 꺼요. 팔 개수도 손 구조도 다른 기체를 출력 헤드 하나로 묶는 방식이에요. 로봇을 추가할 때 헤드를 새로 붙이는 대신 마스크만 정의하면 되고, 기체별 데이터가 서로 다른 차원으로 흩어지지 않아요.
이 구조의 실익은 데이터 쪽에 있어요. 기체마다 행동 차원을 따로 정의하면 어느 로봇의 시연도 그 로봇에서만 쓰여요. 차원을 공유하면 겹치는 관절에 대해서는 한 기체의 데이터가 다른 기체의 학습에도 기여해요. 마스킹은 없는 자유도에 억지 라벨이 흘러드는 것을 막는 장치예요.
실제로 Unitree G1과 Astribot-S1, Tianji-Wuji 세 플랫폼에 올려서 돌렸어요. 휴머노이드와 상체형 로봇이 섞여 있어서 관절 구성이 서로 꽤 달라요.
따로 학습보다 같이 학습이 나았어요
실기 평가는 가구 조작과 조리, 상차림에 걸친 9개 과제를 과제당 20회 시행으로 봤어요. 여러 과제와 여러 기체를 함께 학습시킨 제너럴리스트가 평균 과정 점수 94.14%에 최종 성공률 91.67%로, 과제별 개별 학습보다 좋았어요. 멀티 과제 학습이 서로를 갉아먹는 대신 도왔다는 뜻이에요.
초기화의 효과도 따로 봤어요. 같은 조건에서 Qwen 기반 VLA와 비교하면 과정 점수가 91.28% 대 68.33%, 성공률이 86.67% 대 60.00%였어요. 과정 점수 격차가 성공률 격차보다 작다는 점이 눈에 띄어요. 두 정책 모두 초반 단계는 어느 정도 해내지만 끝까지 완주하는 비율에서 갈린다는 신호예요.
남는 것
평가 규모는 넉넉하지 않아요. 9개 과제에 과제당 20회면 성공률 한 칸이 시행 한 번에 흔들리는 해상도예요. 소수점 둘째 자리까지 적힌 수치를 그 정밀도로 읽으면 안 되는 크기예요.
수치가 서로 다른 모델에서 나온다는 점도 같이 봐야 해요. 3D 그라운딩과 접촉점 수치는 2B·9B 계열이고 벤치마크 석권은 122B-A10B의 결과라, 두 축을 한 문장으로 합치면 과장이 돼요.
그래도 인식 결과를 로봇이 소비할 수 있는 형식으로 바꾸는 일을 후처리 파이프라인이 아니라 사전학습 목표로 올렸어요. 모델 가중치와 코드, 평가에 쓴 벤치마크가 함께 공개돼 있어요.