arXiv에 등록된 논문 “Evaluating Transformer and LSTM Frameworks for Prediction in Ungauged Basins”가 비계측 유역(ungauged basins)에서의 수문 시퀀스 추론 과제를 놓고 두 아키텍처를 비교 평가한 결과를 발표했다. 비계측 유역이란 직접적인 유량 관측 데이터가 없어 예측 불확실성이 높은 수계를 말하며, 여기서 극단적 기상 사건을 사전에 파악하는 능력은 수자원 관리의 핵심 과제 중 하나다. 연구팀은 미국 국립해양대기청(NOAA) 국가수자원모델(National Water Model)의 소급 시뮬레이션 데이터를 기반으로 실험을 진행했다.
연구 결과 상류 전용 구성과 상하류 통합 구성 모두에서 LSTM이 인코더 전용 트랜스포머보다 전반적으로 더 나은 성능을 보였다. 이는 상류 수문 재구성이라는 특정 과제에서 순환 기억 구조가 인코더 전용 트랜스포머의 귀납적 편향(inductive bias)보다 더 잘 맞는다는 점을 시사한다. 주목할 만한 발견은 하류 수문 정보를 보조 제약으로 추가할 경우 두 모델 모두 중앙값 NNSE(정규화 내쉬-서트클리프 효율) 기준으로 60% 이상의 성능 향상이 나타났다는 점이다. 연구팀은 이 실험이 단순한 리더보드식 경쟁이 아닌 아키텍처별 귀납적 편향의 적합성을 검토하는 것임을 강조했다.
이 연구는 대규모 언어 모델(LLM)에 힘입어 트랜스포머가 다양한 분야로 확산되는 추세 속에서, 도메인 특화 시계열 예측 과제에서는 적절한 귀납적 편향을 가진 아키텍처 선택이 여전히 중요함을 환경·수문 분야를 통해 보여준다는 점에서 의미가 있다. 하류 문맥 정보가 큰 성능 향상을 이끌어 낸 결과는 향후 다중 위치 통합 예측 모델 설계에도 참고할 만한 단서를 제공한다.
