GPT, 라마(LLaMA), 미스트랄(Mistral), 팔콘(Falcon) 등 기존 모델 계열과 구조적 연관이 전혀 없는 새로운 소형언어모델(SLM) 아키텍처 ‘위올라(Wiola)’가 공개됐다. 연구진은 처음부터 완전히 독자적으로 설계한 아키텍처라는 점을 강조하며, 다섯 가지 독립적인 신규 구성요소를 함께 제시했다고 밝혔다.
위올라의 첫 번째 구성요소는 ‘나선형 회전 위치 인코딩(Spiral Rotary Positional Encoding, SRPE)’으로, 토큰의 위치 정보를 3차원 나선형 구조 위에 표현해 절대적·상대적·계층적 위치 신호를 함께 담아낸다. 두 번째는 ‘게이트형 계층 간 어텐션(Gated Cross-Layer Attention, GCLA)’으로, 각 디코더 레이어가 앞선 두 레이어의 압축된 요약 정보에 소프트 크로스 어텐션으로 접근할 수 있게 해 레이어 간 일관성을 높인다.
세 번째 구성요소인 ‘적응형 토큰 병합(Adaptive Token Merging, ATM)’은 네트워크 중간 레이어에서 의미상 중복되는 인접 토큰을 동적으로 병합해, 정보 손실 없이 어텐션 연산의 복잡도를 줄이는 방식이다. 네 번째는 ‘이중 스트림 피드포워드(Dual Stream Feed-Forward, DSFF)’로, 기존의 단일 MLP 구조 대신 두 개의 병렬 스트림을 학습된 차원별 게이트로 융합한다. 다섯 번째는 표현 붕괴를 방지하는 차원별 학습 오프셋 벡터를 도입한 정규화 기법 ‘위올라RMS노름(WiolaRMSNorm)’이다. 이런 시도는 대규모 MoE 모델의 에이전트 강화학습 훈련을 지원하는 최근 오픈소스 흐름과 맞물려, 효율적인 소형 모델 설계에 대한 연구 관심이 이어지고 있음을 보여준다.
연구진은 완전한 수학적 유도 과정과 아키텍처 블록 다이어그램, 복잡도 분석을 함께 제공하며, GPT-2·라마-2·미스트랄과의 체계적인 비교 실험도 수행했다고 밝혔다. 위올라는 1억2000만·3억6000만·7억·15억 파라미터 등 네 가지 크기로 공개됐으며, 허깅페이스(HuggingFace) 트랜스포머 생태계와 완전히 호환된다. 연구진은 아키텍처를 구성하는 22개 단위 테스트가 모두 통과했다고 명시했다.
기존 대형 모델의 축소판이 아니라 완전히 새로운 설계 원리에서 출발한 소형 모델이라는 점에서, 온디바이스 추론이나 자원 제약 환경에서의 활용 가능성에 관심이 모일 것으로 보인다. 다만 이번 공개 자료에는 실제 다운스트림 태스크에서의 정량적 성능 비교 수치가 상세히 제시되지 않아, 실용성 검증은 추가 연구를 지켜봐야 할 부분으로 남아 있다.
