트랜스포머가 어떤 계산을 표현할 수 있다는 존재 증명은 훈련으로 그 해를 찾을 수 있다는 보장이 아니다. arXiv:2607.11760은 C-RASP 프로그램으로 기술되는 계산을 좁은 교사 트랜스포머에 연결해, 표현력 연구를 표본 복잡도 문제로 옮긴 이론 원고다.
C-RASP는 비교·논리연산과 위치까지의 토큰 수 세기 같은 제한된 연산으로 문자열 계산을 기술한다. 연구팀은 고정 정밀도 모델과 PAC 학습 틀에서 좁은 교사를 넓은 학생 네트워크가 구현할 수 있는 조건을 세고, 좋은 해가 손실 지형에서 차지하는 확률을 이용해 표본 수의 상계를 구성했다.
논문은 Dyck-1과 aⁿbⁿ처럼 상수 크기 C-RASP 구성이 가능한 예를 들어 좁은 교사 관점이 학습 가능성 분석에 어떻게 쓰이는지 보인다. 핵심 결과는 벤치마크 점수나 실제 훈련 곡선이 아니라, 수작업 표현력 구성을 통계적 일반화 조건으로 번역하는 예비 경계다.
따라서 “모든 표현 가능한 트랜스포머 회로가 쉽게 학습된다”는 결론은 나오지 않는다. 경계는 정해진 정밀도와 교사 존재, 모델 규격 등 가정 아래의 충분조건이며 실제 필요한 표본 수와 얼마나 가까운지도 확인되지 않았다.
현대 대규모 언어모델의 깊이와 폭, 자연어 말뭉치의 잡음, 확률적 경사하강의 전체 경로는 분석 범위 밖이다. 논문 스스로 결과를 preliminary bounds로 규정한 동료검토 전 프리프린트다. 이 연구의 현재 의미는 상용 모델 성능 예측이 아니라 표현력과 학습 가능성을 분리해 묻는 이론적 출발점에 있다. 트랜스포머가 어떤 계산을 표현할 수 있다는 사실과 훈련으로 그 해를 찾을 수 있다는 사실은 다르다. 새 이론 연구는 수작업 가중치로 표현력을 보이는 기존 접근에서 한 단계 나아가, C-RASP 프로그램으로 기술되는 과제를 좁은 교사 트랜스포머가 생성할 때 학생 모델의 표본 복잡도를 분석했다.
저작권자 © STORIUM 무단전재 및 재배포 금지
