많은 기계학습 모델은 크기가 서로 다른 입력을 다룬다. 점의 개수가 다른 점군, 길이가 다른 토큰 시퀀스, 노드 수가 다른 그래프가 그런 예다. 그런데 이런 모델은 필연적으로 크기가 제한된 유한한 예제만으로 학습된다. 그렇다면 작은 크기의 입력으로 배운 모델이 학습 때 보지 못한 더 큰 입력에도 잘 일반화될까. 또 큰 입력을 평가하는 비용이 클 때, 비슷한 값을 내는 더 작은 입력으로 어떻게 압축해낼 수 있을까. 최근 arXiv에 공개된 한 논문(동료심사 전 공개본)이 이 두 물음을 하나의 틀로 다뤘다.
두 질문의 핵심에는 크기가 다른 입력을 서로 비교하고, 큰 입력을 작은 입력으로 근사해야 한다는 공통 과제가 놓여 있다. 저자들은 랜덤 샘플링 사상을 이용해 서로 다른 크기의 입력을 비교하는 통합적 접근을 제시한다. 여기서 다루는 샘플링 사상은 복원 추출, 랜덤 비닝, 종 샘플링을 일반화한 것이다. 연구진은 각 유형의 샘플링이 어떤 응용 영역에 적합한지를, 그 영역에서 크기가 다른 문제 사례들 사이의 대칭성과 관계를 기준으로 규정한다.
이 틀은 선택한 샘플링 개념에 대해 연속적인 함수 부류에 대해 명시적인 일반화율과 스케치율을 내놓는다. 시퀀스, 그래프, 서로 다른 크기의 텐서 위에 정의된 폭넓은 함수군을 아우른다는 것이다. 구체적으로는 측도 위의 모멘트 다항식, 그래프의 준동형 밀도와 개수, 순열 불변 트랜스포머, 그래프 신경망 같은 사례가 포함된다.
이 논문은 실험 결과나 수치 벤치마크를 제시하는 실증 연구가 아니라, 크기를 넘나드는 학습과 근사를 하나의 수학적 관점으로 묶어내는 이론 연구에 가깝다. 서로 다른 크기의 입력을 어떻게 견줄 것인가라는, 여러 딥러닝 모델에 공통으로 깔린 근본 문제를 정면으로 다뤘다는 점에 의의가 있다. 자세한 내용은 원문 초록 보기에서 확인할 수 있다.
저작권자 © STORIUM 무단전재 및 재배포 금지
