앨런인공지능연구소(Ai2)가 트랜스포머 모델과 하이브리드 모델이 각각 어떤 종류의 토큰을 더 잘 예측하는지 토큰 단위로 분석한 연구 결과를 공개했다. 비교 대상은 7B 규모의 순수 트랜스포머 모델 ‘Olmo 3’와 같은 규모의 하이브리드 모델 ‘Olmo Hybrid’다. 연구진은 두 모델에 동일한 텍스트 구절을 입력하고, 각 토큰에 대해 두 모델의 손실(loss) 차이를 계산하는 방식으로 어느 쪽이 해당 토큰을 더 잘 맞히는지를 측정했다. 하이브리드 모델은 모든 층에서 어텐션을 쓰는 트랜스포머와 달리 일부 층을 순환(recurrent) 구조로 대체해, 일부 기억 능력을 내주는 대신 순차적 상태 추적 능력을 강화한 구조다.
분석 결과 하이브리드 모델은 명사·동사·형용사처럼 의미를 담은 단어 토큰에서 가장 강했다. 의미를 담은 단어의 손실 격차는 약 0.04로 하이브리드에 유리했던 반면, 기능어에서는 약 0.02에 그쳤다. 특히 대명사가 어떤 인물을 가리키는지처럼 앞 맥락을 따라가야만 예측할 수 있는 토큰에서 하이브리드의 강점이 두드러졌다. 이는 순환 구조가 문맥의 흐름을 누적해 추적하는 데 유리하다는 점을 시사한다.
반대로 트랜스포머는 입력에 이미 등장한 내용을 그대로 반복하는 토큰에서 상대적으로 우위를 보였다. 연구진에 따르면 단순 반복 토큰에서는 하이브리드의 이점이 거의 사라졌고, 반복되는 구간이 길어질수록 하이브리드의 우위는 0에 수렴했다. 코드에서 닫는 괄호(여는 괄호는 제외)와 같이 앞선 입력을 그대로 받아 적어야 하는 경우는 트랜스포머가 더 잘 맞혔다. 연구진은 1B 규모의 트랜스포머·하이브리드·순수 RNN 세 모델도 함께 비교해 이러한 경향을 교차 확인했다.
이번 분석은 하이브리드 아키텍처가 단순히 ‘더 빠르고 가벼운 대안’이라는 통념을 넘어, 어떤 작업에 어떤 구조가 적합한지를 토큰 수준에서 구체적으로 보여준다. 긴 맥락을 따라가야 하는 의미 중심 과제에는 순환 구조가, 직전 입력을 정확히 복원해야 하는 과제에는 어텐션이 유리하다는 점은 모델 설계자가 작업 특성에 맞춰 구조를 선택하거나 둘을 조합할 근거가 된다. 효율과 성능을 동시에 추구하는 차세대 언어 모델 설계에서 하이브리드 구조의 강·약점을 정밀하게 이해하는 일이 점점 중요해지는 흐름이다.
