잠재적 소분자 의약품으로 평가받는 화학 화합물 후보의 수는 최소 10의 20승에서 많게는 10의 60승에 달할 것으로 추산된다. 이 방대한 공간을 실험으로 하나하나 탐색하는 것은 불가능하므로, 연구자들은 AI를 활용해 가능성 있는 후보를 솎아내려 한다. MIT 화학공학·전기공학·컴퓨터과학 겸임 부교수 코너 콜리(Connor Coley)가 이 분야의 최전선에 있다. 그의 연구실은 방대한 화합물 공간을 분석하고, 새로운 분자를 설계하며, 그 분자를 합성할 반응 경로를 예측하는 계산 모델을 개발·적용하는 데 집중한다.
연구실에서 개발한 주요 모델 가운데 ShEPhERD는 신약 후보 분자가 표적 단백질과 어떻게 상호작용하는지를 3차원 구조 기반으로 평가하는 생성 AI 모델이다. 이 모델은 현재 복수의 제약사가 신약 탐색에 실제로 활용하고 있다. 또 다른 모델 FlowER는 서로 다른 화학 물질을 결합했을 때 생성될 반응 산물을 예측하는 생성 AI다. FlowER의 설계 과정에서 연구팀은 물질 보존의 법칙과 같은 기본 물리 원리를 모델에 내장하고, 반응물에서 생성물로 이어지는 중간 단계의 실현 가능성도 고려하도록 구조를 설계했다. 이러한 제약 조건이 모델의 예측 정확도를 실질적으로 끌어올렸다. 콜리 교수는 “화학자들이 반응 메커니즘과 중간 단계를 자연스럽게 고려하는 방식을 머신러닝 모델도 이해하도록 만드는 데 많은 시간을 쏟아왔다”고 설명했다.
콜리 교수는 칼텍에서 화학공학을 전공한 뒤 MIT에서 클라브스 옌센(Klavs Jensen), 윌리엄 그린(William Green) 교수 지도하에 박사학위를 받았다. 이후 브로드 연구소에서 박사후 연구원으로 DNA 인코딩 라이브러리의 소분자를 탐색하는 연구를 수행하고, 2020년부터 MIT 교수로 재직 중이다. 연구실은 구조 해석, 실험실 자동화, 최적 실험 설계 등 화학 반응 최적화와 관련된 다양한 연구 과제를 병행하고 있으며, DARPA 지원 프로그램 Make-It에서 시작된 케모인포매틱스(cheminformatics, 화학 데이터 계산 분석)와 AI의 융합 작업이 그 뿌리다.
AI와 화학의 융합은 신약 개발 기간과 비용을 단축하는 핵심 경로로 주목받고 있다. 딥마인드의 AlphaFold가 단백질 구조 예측 문제를 사실상 해결한 뒤, 그 이후 단계인 ‘어떤 화합물이 그 단백질에 효과적으로 결합할 것인가’를 다루는 소분자 설계 AI에 업계의 관심이 모이고 있다. 콜리 교수 연구실의 접근법은 단순한 패턴 인식을 넘어 화학적 원리와 전문가 직관을 AI 아키텍처 안에 직접 구현하는 방향으로, 약물 발견의 효율과 신뢰성을 동시에 높이려는 시도다.
