신경망 구조 탐색은 효율이 높아졌지만 어떤 연산과 연결을 탐색할지 사람이 미리 정한 공간에 갇히기 쉽다. 과제가 바뀔 때마다 전문가가 탐색 공간을 다시 설계해야 한다는 뜻이다. 반대로 언어모델은 열린 공간에서 새로운 구조를 제안할 수 있지만, 여러 후보를 체계적으로 조합하고 검증하는 데는 전통적인 탐색 알고리즘의 장점이 있다. 연구진은 두 방식을 경쟁시키는 대신 역할을 분담하는 AgentNAS를 제안했다. 언어모델이 과제에 맞는 출발 구조를 만들고, 기존 탐색기가 그 구조 안에서 정밀한 조합 탐색을 맡는다.
연결 고리는 ‘슬롯 구조’다. 언어모델은 초기 신경망을 만든 뒤 이를 이름이 붙은 교체 가능 모듈 슬롯으로 분해한다. 이 틀이 곧 과제별로 제한된 탐색 공간이 되므로 사람이 연산 후보와 조합 규칙을 일일이 설계할 필요가 줄어든다. 파이프라인은 세 단계로 구성돼 각 구성 요소의 기여를 따로 측정할 수 있다. 분류, 밀집 회귀, 분할, 다중 레이블 태깅을 아우르는 여러 과제에서 언어모델이 만든 초기 구조 자체가 강한 출발점이 됐고, 슬롯 간 조합을 수행한 탐색 단계가 추가 개선을 만들었다.
이 결과는 언어모델이 자동화된 설계자를 완전히 대체한다기보다 탐색 문제를 정의하는 상위 설계자로 쓰일 수 있음을 보여준다. 독립적인 언어모델 샘플을 여러 번 뽑는 방식은 슬롯을 가로지르는 조합 탐색과 같지 않다. 반면 전통 탐색만 사용하면 사람이 만든 경계 밖으로 나가기 어렵다. AgentNAS는 개방적 아이디어 생성과 제한된 공간의 효율적 최적화를 이어 붙인다. 서로 다른 능력 수준의 언어모델에서도 역할 분담의 경향이 유지됐다는 점도 중요하다. 향후에는 생성된 슬롯이 왜 특정 과제에 적합한지, 계산 비용과 재현성까지 포함해 자동 설계 과정 전체를 감사하는 방법이 과제로 남는다.
원문: arXiv 2607.07984
저작권자 © STORIUM 무단전재 및 재배포 금지
