어휘 함의나 문장 함의, 온톨로지 계층 구조, 논문 인용 관계처럼 방향성이 뚜렷한 관계를 다루는 표현 학습(representation learning) 문제를 개선하려는 새 연구가 아카이브(arXiv)에 공개됐다. 논문 “Role-Aware Neural Convex Divergence Heads for Asymmetric Representation Learning”은 기존에 널리 쓰이던 유클리드, 코사인, 마할라노비스 거리 측정 방식이 모두 대칭적이라는 점에 주목했다.
연구진은 이런 대칭적 거리 측정 방식이 “A가 B를 함의한다”처럼 방향이 있는 관계를 표현하는 데 근본적인 한계가 있다고 지적했다. 대칭적 거리는 A에서 B로 향하는 관계와 B에서 A로 향하는 관계를 구분하지 못하기 때문이다. 이를 해결하기 위해 연구진이 제안한 방법이 ‘역할 인식 신경 볼록 발산 헤드(role-aware neural convex divergence head)’다.
이 방법은 데이터가 맡은 역할, 즉 소스(출발점)인지 타깃(도착점)인지에 따라 서로 다른 투영을 적용한 뒤, 입력-볼록 신경망(input-convex neural network) 기반의 브레그만 발산(Bregman divergence)을 계산해 비대칭적인 점수를 산출하는 방식으로 작동한다. 연구진은 이렇게 산출된 점수가 역할이 투영된 공간에서 항상 음수가 아닌 값을 갖도록 설계했으며, 관측된 음의 발산 비율을 0으로 유지하는 특성도 확인했다고 설명했다.
연구진이 10개의 서로 다른 무작위 시드를 활용해 실험한 결과, 이 방법은 기존의 ICNN-Bregman 헤드보다 방향 예측 정확도에서 개선된 성능을 보였다. 다만 대규모 인용 예측 작업에서는 대칭 또는 쌍곡선 기하학에 특화된 기존 모델이 더 우수한 성능을 내는 경계 사례도 함께 발견됐다고 연구진은 밝혔다. 이는 방향성 있는 관계를 다루는 문제에서 만능 해법은 아직 없으며, 과제 특성에 맞는 모델 선택이 여전히 중요하다는 점을 시사한다. AI 에이전트 커널 개발 도구처럼 학습 효율을 높이려는 다양한 시도와 함께, 표현 학습의 근본 구조를 다시 들여다보는 연구도 이어지는 모습이다.
저작권자 © STORIUM 무단전재 및 재배포 금지
