MIT CSAIL의 Liquid-S4를 정리했어요. 2022년에 공개된 논문인데, 상태공간모델(SSM)이 트랜스포머의 대안으로 떠오르던 시기에 “상태 전이를 입력에 따라 바꾼다”는 아이디어를 먼저 보여준 연구라 지금 읽어도 자리가 뚜렷해요. 저자는 액체 신경망(liquid neural network) 계보를 만들어온 Ramin Hasani와 Daniela Rus 그룹이에요.
상태공간모델은 기억을 압축해요
SSM은 시퀀스를 처리할 때 지나간 입력 전부를 들고 다니지 않아요. 고정 크기의 은닉 상태 하나에 과거를 압축해 두고, 새 입력이 올 때마다 상태를 갱신해요. S4는 이 갱신 규칙(상태 전이 행렬)을 대각+저랭크로 분해해 아주 긴 시퀀스에서도 효율적으로 계산하게 만든 모델이고, Long-Range Arena 같은 장거리 의존성 벤치마크에서 트랜스포머를 앞서며 주목받았어요.
다만 S4의 전이 규칙은 학습이 끝나면 고정돼요. 어떤 입력이 오든 기억이 같은 속도로 감쇠하고 같은 방식으로 섞여요. 중요한 신호가 왔을 때 오래 붙들고, 잡음이 올 때 빨리 흘려보내는 식의 조절이 구조적으로 없어요.
시간상수를 입력이 정하게 해요
이 연구가 가져온 재료가 액체 시간상수(LTC, liquid time-constant) 네트워크예요. 뉴런의 시간상수, 즉 상태가 얼마나 빨리 변하고 감쇠하는지가 입력에 따라 달라지는 연속시간 모델이에요. 액체라는 이름이 여기서 나와요. 구조가 굳어 있지 않고 들어오는 신호에 따라 동역학 자체가 출렁여요.
Liquid-S4는 이 LTC의 입력 의존 전이를 S4의 효율적인 커널 계산 위에 얹었어요. 결과적으로 상태 갱신에 입력과 상태의 곱 항이 생기는데, 이 항이 입력 시퀀스 안에서 함께 나타나는 패턴들의 유사성을 커널에 반영해요. 같은 장거리 처리 능력을 유지하면서, 어떤 입력이 왔는지에 따라 기억의 모양이 달라지는 SSM이 된 거예요.
수식으로 보면 바뀐 곳은 한 항이에요. S4의 상태 미분이 ẋ(t) = Ax(t) + Bu(t)라면, Liquid-S4는 전이 행렬 자리에 A + Bu(t)를 넣어 ẋ(t) = [A + Bu(t)]x(t) + Bu(t)로 만들어요. 입력이 상태에 곱해지는 쌍선형(bilinear) 항 하나가 늘어난 것뿐인데, 이것 때문에 전이 행렬이 매 시점 입력에 따라 달라져요.
이 곱셈 항을 시퀀스 전체로 펼치면 과거 입력 샘플들 사이의 상관(correlation) 항이 커널 안으로 들어와요. 몇 차 상관까지 반영할지는 하이퍼파라미터 p로 두는데, p를 키울수록 ListOps와 IMDB 성능이 일관되게 올라간다는 절제 실험이 붙어 있어요. 입력끼리의 관계를 길게 볼수록 이득이 커진다는 뜻이에요.
숫자로 확인한 이득
Long-Range Arena 여섯 과제에서 ListOps 62.75%, Text(IMDB) 89.02%, Retrieval(AAN) 91.20%, Image(CIFAR) 89.50%, Pathfinder 94.8%, Path-X 96.66%를 기록해 평균 87.32%가 나왔어요. 같은 표에서 S4-LegS는 86.09%, S4D-LegS는 84.89%, S5는 82.46%예요. 구조를 크게 손대지 않고 전이 항 하나를 입력 의존으로 바꾼 대가치고는 격차가 또렷해요.
효율 쪽 수치가 더 눈에 띄어요. Speech Commands 원신호 35개 라벨 분류에서 224K 파라미터로 96.78%를 냈는데, 같은 조건의 S4는 307K를 써요. 파라미터를 30% 줄이면서 정확도는 올라갔어요. 의료 시계열인 BIDMC 생체신호 회귀에서도 심박 RMSE 0.303(S4-LegS 0.332), 호흡수 0.158(0.247), 산소포화도 0.066(0.090)으로 세 항목 모두 앞섰고, sCIFAR는 92.02%로 S4-LegS의 91.80%를 넘겼어요.
한계도 같이 적혀 있어요. 16kHz로 학습한 모델을 8kHz로 내려 제로샷 평가하면 Liquid-S4 쪽이 오히려 조금 불리해지는데, 논문은 커널이 공분산 항까지 함께 학습한 것이 이 상황에서는 역효과일 수 있다고 봐요. 입력 통계에 맞춰 기억을 조절하는 구조라서, 입력 통계 자체가 바뀌면 그 적응이 잘못된 방향을 가리킬 수 있다는 이야기예요.
이 논문이 놓인 자리
지금 시점에서 보면 이 논문의 의미는 성능 수치보다 방향이에요. 이후 SSM 계열이 Mamba처럼 입력에 따라 전이를 고르는 선택적(selective) 구조로 넘어갔는데, 입력 의존 상태 전이가 실제로 이득이라는 걸 먼저 보인 사례 중 하나가 이 연구예요. 로봇 쪽에서 보면 관절 텔레메트리나 센서 스트림처럼 연속시간으로 흐르는 신호를 다루는 모델 계보이기도 해서, 제어 입력의 성격에 따라 동역학이 적응하는 모델이라는 관점으로 읽어두면 쓸 곳이 보여요. 추론 중에 가중치를 갱신해 긴 이력을 담는 관측을 어텐션 대신 가중치 갱신으로 저장하는 RoboTTT의 빠른 가중치도 같은 질문, 그러니까 기억을 어디에 어떤 형태로 둘지를 다른 축에서 다룬 연구예요.