고전적인 연속 공간 신경망이 가진 수학적 추론의 구조적 한계를 양자 물리 원리로 극복하려는 시도가 arXiv에 공개됐다. 연구진은 ‘범용 양자 트랜스포머(UQT, Universal Quantum Transformer)’를 제안하며, 큐비트 시스템의 물리적 특성을 정확한 대수 추론을 위한 귀납적 편향(inductive bias)으로 활용하는 것이 핵심이라고 밝혔다.
고전 신경망은 모듈러 산술(modular arithmetic)이나 비가환 대수(non-commutative algebra)와 같이 이산적이고 정확한 수학적 규칙에 수렴하는 데 근본적인 어려움을 겪는다. 이 규칙들을 근사하기 위해 대규모 파라미터 확장에 의존하면서도 수렴 지연 현상인 ‘그로킹(grokking)’ 이후에도 불안정한 일반화가 나타난다고 논문은 지적한다. UQT는 고전적인 신경 메커니즘을 양자 환경으로 단순 이식하는 대신, 파라미터화된 기하학적 위상 임베딩과 SU(2) 파동 간섭만을 사용해 설계됐다. 연구팀은 5큐비트 기판에서 동작하는 양자 어텐션 회로가 순환 모듈러 산술(Z₁₁)과 비가환 대수(S₄ 치환군)라는 두 가지 질적으로 다른 수학적 구조를 완벽하게 학습함을 보였다. 이를 고전 어텐션 기반 네트워크는 수렴 시 불안정성을 보이는 데 반해, UQT는 수학적으로 정확하고 결정론적인 일반화를 달성했으며, 연구진은 이 현상을 그로킹을 넘어서는 단계인 ‘결정화(crystallization)’라 명명했다.
계산 효율 측면에서도 이론적 이점이 주장된다. UQT는 고전 셀프 어텐션의 이차 병목(quadratic bottleneck)을 이론적으로 우회하고, 표현 차원을 로그 수준으로 압축해 고전 네트워크의 과잉 파라미터화를 제거할 수 있다고 논문은 제시한다. 또한 연구진은 이 아키텍처를 IBM 양자 컴퓨터인 잡음 있는 중간 규모 양자(NISQ) 하드웨어에서 실제로 배포해 현재 양자 하드웨어에서의 실행 가능성을 확인했다.
이 연구는 파라미터화된 양자 위상 기하학이 정확한 수학적 추론을 위한 보편적으로 우월한 물리적 기반이 될 수 있다는 주장을 담고 있다. 아직 소규모 실험에 그치고 있어 실용적인 대규모 적용까지는 상당한 기술적 간극이 존재하지만, 양자 머신러닝이 고전 AI의 구조적 한계를 보완할 수 있다는 가능성을 구체적인 실험 결과로 제시한 사례로 주목받는다. 양자 컴퓨팅 하드웨어가 빠르게 발전하는 시점에서 이 방향의 연구가 계속 활성화될 전망이다.
