생물학 언어모델용 데이터셋 ‘TheBioCollection’을 소개한 프리프린트가 공개됐다. 연구진은 소분자·단백질·유전체 서열·세포·경로에 흩어진 공개 생물학 자원을 공통 언어 형식으로 바꿔 총 526억 토큰 규모의 사전학습 말뭉치를 구성했다. 논문은 2026년 7월 9일 arXiv에 제출됐다.
말뭉치에서 소분자가 282억 토큰으로 53.6%를 차지했고 단백질은 145억 토큰(27.5%), 유전체 서열은 71억 토큰(13.5%), 세포·경로는 28억 토큰(5.3%)이었다. 형식별로는 자유 텍스트 338억 토큰과 지시 데이터 189억 토큰으로 나뉜다. PubMed·bioRxiv·medRxiv 문헌도 학습에 썼지만, 이 문헌은 526억 토큰 집계에서 제외했다.
연구진은 원자료를 모으는 데 그치지 않고 RDKit 같은 도구로 계산한 분자 특성과 생물학적 속성을 레코드에 덧붙였다. 지시 데이터 약 30%에는 퓨샷 예시를 넣고 나머지는 제로샷으로 구성했다. 평가 세트 TheBioCollection-Eval은 분자, 단백질, 유전체, 세포·경로와 영역 간 관계에서 인식·생성·예측을 함께 측정한다.
효과를 분리해 보기 위해 기본 구조를 Gravity-16B-A3B로 고정한 뒤 말뭉치 추가 학습 전후를 비교했다. 전체 점수는 두 배 이상으로 높아졌고, 소분자 영역 평균은 0.223에서 0.513, 단백질은 0.159에서 0.407, 유전체는 0.175에서 0.468, 세포·경로는 0.335에서 0.609로 올랐다고 연구진은 보고했다.
다만 이 결과는 연구진이 함께 만든 말뭉치와 대응 평가 세트에서 측정됐다. 데이터 구성과 평가 문항이 같은 설계 철학을 공유하므로 외부 생물학 벤치마크나 실제 실험 설계에서 같은 폭의 향상이 재현되는지는 별도 검증이 필요하다. 공개 데이터의 품질 편차와 잔여 중복·누수 가능성도 완전히 배제할 수 없다.
| 영역 | 토큰 수 | 비중 |
|---|---|---|
| 소분자 | 282억 | 53.6% |
| 단백질 | 145억 | 27.5% |
| 유전체 서열 | 71억 | 13.5% |
| 세포·경로 | 28억 | 5.3% |
이 연구는 동료 검토를 거치지 않은 arXiv v1 프리프린트다. 생물학 전 영역을 하나의 모델이 이해했다는 결론보다, 서로 다른 생물학 자료를 대규모 학습 형식으로 통합하고 고정된 기본 모델에서 말뭉치 효과를 측정한 데이터 공학 연구로 보는 편이 정확하다.
저작권자 © STORIUM 무단전재 및 재배포 금지
