생물의 자기조직화는 각 구성 요소가 국소 정보만으로 상호작용해 전체 구조를 만들어내는 현상이다. Meet Barot, Daniel Berenberg, Sina Khajehabdollahi는 이 발상을 인공신경망의 학습에 옮긴 Meta Neural Cellular Automata, 즉 MetaNCA를 제안했다. 목표는 특정 구조의 가중치를 직접 최적화하는 대신, 계산 그래프 주변의 정보만 보고 여러 신경망의 가중치를 스스로 조직하는 규칙을 학습하는 것이다.
MetaNCA에는 과업을 수행할 네트워크와 그 가중치를 반복 갱신하는 규칙 네트워크가 있다. 연구진이 제안한 Weight Transformer는 선형 어텐션으로 이웃 가중치와 은닉 상태의 신호를 모은다. 규칙 네트워크가 한 번 학습되면 다양한 구조의 과업 네트워크를 역전파 없이 생성한다. 즉 완성된 한 모델이 아니라 서로 다른 계산 그래프에서 가중치가 형성되는 국소 절차를 메타학습한다.
논문은 MNIST와 CIFAR-100에서 피드포워드 MLP, CNN, ResNet의 가중치를 생성했으며 최대 200만 매개변수 규모까지 다뤘다고 보고한다. 특히 메타학습 때 보지 못한 아키텍처에도 규칙이 일반화됐고, 학습 단계에 더 다양한 구조를 포함할수록 이 일반화가 강해졌다고 밝혔다. 이는 구조별로 독립 학습하는 관행과 달리, 여러 네트워크에 공통인 가중치 형성 원리를 학습할 가능성을 제시한다.
이번 원고는 2026년 7월 8일 arXiv에 제출됐고 ALIFE 2026 학술대회 논문집에 실릴 예정이라고 명시됐다. 다만 실험은 두 이미지 데이터셋과 세 계열의 비교적 제한된 구조를 중심으로 한다. 200만 매개변수는 현대 대형 모델과는 큰 격차가 있으며, 역전파 없이 생성한다는 사실이 계산비용 전체의 감소를 뜻하는지도 초록만으로 판단할 수 없다. 더 큰 모델과 복잡한 과업에서의 확장성이 다음 검증 대상이다.
원문: arXiv 2607.07743
저작권자 © STORIUM 무단전재 및 재배포 금지
