여러 상충하는 목표를 동시에 만족해야 하는 분자 최적화 문제에서 새로운 다중 에이전트 프레임워크가 제안됐다. Zhang 등 연구진이 발표한 논문(arXiv:2606.00008)은 ATOM(Agents on a Tree for Optimization of Molecules)이라는 방법론을 통해 분자 설계 과정을 트리 구조 탐색으로 정형화했다. 신약 후보 발굴에서는 활성, 합성 가능성, 약동학적 특성(ADMET) 등 복수의 목표를 동시에 충족해야 하는데, 초기 설계 결정이 이후 탐색 방향을 크게 제한한다는 문제가 오랫동안 지적돼 왔다.
ATOM은 트리의 각 노드를 원자 단위 연산에 대응시키고, 노드마다 특정 목표나 결정 맥락에 특화된 에이전트를 배치한다. 기존 단일 정책이나 고정된 스칼라화 방식과 달리, 에이전트들은 전역 합의를 강요하지 않고 트리의 서로 다른 경로를 따라 독립적으로 협력한다. 이를 통해 다양한 분자 진화 경로를 병렬로 유지·비교할 수 있다. 또한 과거 최적화 이력을 저장하는 전역 메모리를 통해 여러 목표 간 균형 잡힌 탐색과 활용을 지원한다. 연구진은 이 트리 구조 상호작용 방식이 분자 설계에 내재된 장기 의존성에 대한 추론을 가능하게 한다고 설명했다.
논문은 활성도, 합성 가능성, ADMET 관련 속성을 포함한 다목적 벤치마크에서 ATOM을 평가했다. 그 결과, 파레토 커버리지(Pareto coverage)와 하이퍼볼륨(hypervolume) 지표 모두 기존 강력한 기준선 방법 대비 일관된 개선을 보였다. 연구진은 경로별 다중 에이전트 협력이 분자 최적화에 효과적임을 확인했다고 밝혔으며, 코드를 공개 저장소를 통해 제공하고 있다.
이 연구는 생성형 AI와 강화학습이 신약 개발 파이프라인에 실질적으로 기여할 수 있는 방향을 보여준다. 분자 공간은 무한에 가까운 탐색 공간을 가지는 탓에 단일 에이전트 방식으로는 다양한 트레이드오프 해를 충분히 포괄하기 어렵다. 트리 기반 경로 분리를 통해 상충하는 목표를 동시에 탐색하는 이 접근법은 항체 설계, 재료 과학 등 유사한 다목적 최적화 문제로 확장될 여지가 있다.
