의학은 본래 여러 갈래의 데이터를 종합해 판단하는 다중모달 영역이지만, 그런 인공지능 모델을 키우려 해도 대규모 고품질 임상 데이터를 구하기가 어렵다는 벽이 있었다. 연구진은 공개 라이선스로 풀린 의학 논문에서 이미지와 텍스트 쌍을 자동으로 뽑아내는 프레임워크 ‘MedPMC’를 arXiv에 사전 공개했다. 동료심사 전 공개본이다.
연구진은 논문 저장소 펍메드 센트럴(PMC)이 전문가가 쓴 이미지-텍스트 자료의 보완적 원천이 될 수 있지만, 기존에 여기서 파생된 자료들은 충실도와 재현성, 임상적 검증 면에서 한계가 있었다고 지적했다. MedPMC는 이 문제를 겨냥해 허가된 라이선스의 문헌을 자동으로, 그리고 지속적으로 갱신 가능한 형태로 의료 다중모달 모델용 인프라로 바꾼다. 연구진은 610만 편의 PMC 논문에 이를 적용해 1,100만 개의 의료 이미지-텍스트 쌍을 정제했다.
각 구성 요소의 성능도 검증됐다. 초기 선별에서 F1 93.2, 여러 패널로 나뉜 그림 탐지에서 F1 96.5, 그림 분리에서 mAP 89.8을 기록했고, 캡션 분리·정렬과 의료 그림 분류에서도 높은 수치를 냈다. 의학 훈련을 받은 세 명을 포함한 다섯 명의 검토자가 수작업으로 살펴본 결과, MedPMC 이미지의 95.3%가 의학적으로 관련성이 있다고 판정됐다. 기존 PMC 파생 데이터셋의 19.7%와 크게 대비되는 수치다.
이 데이터로 학습한 CLIP 계열 모델은 11개 전문 분야에 걸친 26개 벤치마크에서, 구조가 비슷한 가장 강력한 생의학 CLIP 기준 모델보다 이미지-텍스트 쌍을 절반도 안 쓰고도 평균 제로샷 성능을 7.1퍼센트포인트 끌어올렸다. 다중모달 대규모 언어모델의 시각 인코더로 쓰였을 때는 의료 시각 질의응답 성능이 두 벤치마크에서 각각 1.9와 16.9퍼센트포인트 향상됐고, 예일 뉴헤이븐 병원 시스템의 피부과 사진 1만여 장에서는 형태-이미지 검색 성능이 11.7퍼센트포인트 올랐다. 연구진은 프레임워크와 말뭉치, 벤치마크, 사전학습 모델을 모두 공개한다고 밝혔다. 원문 초록 보기
