뉴욕대와 카네기멜런대 연구진이 신경망을 파라미터 비트로 저장하는 대신 학습 과정의 정보 전달량으로 부호화하는 리퀀셜 코딩을 제안했다. 양자화는 모델 크기에 비례하고 기존 프리퀀셜 코딩은 실제 데이터의 높은 엔트로피까지 지불한다. 새 방식은 모델이 무엇을 배웠는지에 가까운 코드 길이를 목표로 한다.
학생 모델은 공유 난수로 자신의 분포에서 후보 학습 배치를 생성한다. 더 강한 교사가 상대 엔트로피 코딩으로 후보 하나를 선택하면 전송되는 것은 그 인덱스뿐이며 평균 비용은 교사와 학생 분포 사이 KL 발산에 가깝다. 디코더는 교사 없이 메시지와 난수만으로 같은 학생 학습 궤적을 재현한다. 교사 EMA와 동일 손실 투영은 성능을 유지하며 KL을 더 줄인다.
비교 실험은 OpenWebText·FineWeb 텍스트와 CIFAR-5M 이미지에서 약 1억 파라미터 모델을 최대 20억 학생 토큰까지 압축했다. 부록의 스케일 실험은 FineWeb에서 1400만~10억 파라미터를 200억 실제 토큰으로 학습했고, 앙상블은 7690만 파라미터 모델 1·2·4·8개를 비교했다. 같은 손실에서 큰 모델과 큰 앙상블이 오히려 더 짧게 부호화되는 경향을 보였다.
코드를 PAC-Bayes 경계에 넣으면 계산 최적 조건 D=20N에서 무손실 4비트 양자화 가정보다 경계가 더 촘촘해졌다. OpenWebText 고정 데이터 실험에서는 모델이 170만에서 2억4700만 파라미터로 커질 때 경계가 1.51에서 1.38 nat로 낮아졌고, 가장 큰 모델의 인증 간극은 0.26 nat였다. 여러 에폭에서는 코드가 점진적 과적합도 예측했다. arXiv:2607.11883은 현재 동료검토 전 프리프린트이므로 압축의 실용성은 후속 검증 대상이다.
| OpenWebText 모델 규모 | PAC-Bayes 경계 |
|---|---|
| 170만 파라미터 | 1.51 nat |
| 2억4700만 파라미터 | 1.38 nat |
이 압축은 교사·학생 학습을 함께 돌려 일반 학습보다 약 2.33배 FLOPs와 두 배 메모리를 요구하며, 실제 REC 메시지를 생성하지 않고 누적 KL로 길이를 평가했다. 따라서 저장·전송 제품의 즉시 대안이라기보다 정보론적 분석 도구에 가깝다.
저작권자 © STORIUM 무단전재 및 재배포 금지
