신경 연산자는 편미분방정식의 입력 조건에서 해로 가는 대응을 학습해 수치 시뮬레이션을 가속한다. 트랜스포머는 계산 영역의 먼 지점 사이 관계를 학습할 수 있지만 표준 어텐션의 비용은 노드 수의 제곱으로 늘고, 가까운 지점의 상호작용을 우선하는 구조도 명시적이지 않다. Oded Ovadia와 Eli Turkel은 이를 보완한 Local Linear Transformer, LLT를 제안했다. 2026년 7월 4일 arXiv에 제출된 프리프린트다.
LLT는 선형 전역 어텐션과 국소 공간 혼합을 한 아키텍처에 결합한다. 좌표와 형상 정보도 모델에 넣어 계산 격자의 구조를 반영한다. 전역 의존성을 유지하면서 가까운 공간의 물리적 상호작용을 효율적으로 처리하고, 표준 어텐션의 계산 병목을 줄이려는 설계다.
연구진은 탄성, 소성, 에어포일 유동, 파이프 유동, Darcy 유동 등 여러 PDE 문제에서 LLT를 평가했다. 참조 데이터는 구조·비구조 격자의 유한요소, 유한체적, 유한차분 이산화를 아우른다. 기존 신경 연산자와 트랜스포머 기준선에 비해 상대 L2 오차가 경쟁력 있거나 더 낮았다고 보고했다.
동일한 구조 격자 조건에서 학습 반복당 실제 시간은 Transolver보다 1.8배에서 2.5배 줄었다. 샘플당 비구조 격자점 3만2186개를 지닌 3차원 자동차 공기역학 데이터에도 적용했다. 여러 문제와 격자에서 정확도와 효율을 함께 추구했다는 의미가 있다. 다만 비교 수치는 연구진의 실험 환경에 의존하며 모든 PDE나 하드웨어에서 같은 가속을 보장하지 않는다. 실제 공학 설계에 쓰려면 물리적 보존성과 분포 밖 조건에서의 신뢰성도 별도로 검증해야 한다.
원문: arXiv 2607.07718
