소아 진단 이력만으로 미래 질병과 내원 시점을 예측한 184만 매개변수 모델 TEDDY

소아 전자의무기록은 성장 단계에 맞춘 임상 궤적을 담고 있지만, 이를 생성형 기초모델에 활용한 연구는 아직 많지 않다. arXiv 프리프린트로 공개된 TEDDY는 단일 소아기관의 160만 명 아동에서 수집한 약 7,300만 건의 ICD-10 진단을 바탕으로 학습한 184만 매개변수 디코더 트랜스포머다. 이 모델은 진단의 시간적 흐름과 방문 간격을 함께 다루며, 방문 코드가 드러나기 전에 예측을 수행하고 첫 발생만 평가 대상으로 삼았다.

검증은 16개 ICD-10 장을 가로지르는 797개 질병 발병 예측 과제로 이뤄졌다. TEDDY의 중앙값 AUC는 72.0%였고, 같은 데이터로 학습한 DenseNet 50.0%, CNN 57.2%, RNN 60.1%, LSTM 62.7%보다 높았다. 과제의 96~99%에서 이들 기준선을 앞섰고, 성별과 연령을 맞춘 대조군과 비교했을 때 성능은 연령과 성별 전반에 걸쳐 유지됐다.

소아 진단 이력만으로 미래 질병과 내원 시점을 예측한 184만 매개변수 모델 TEDDY 논문의 Figure 1 — Figure 1. Figure 1: TEDDY forecasts pediatric diagnosis risk from longitudinal visit histories. (A) Example de-identified diagnostic trajectory for a child with Rett syndrome. Each bar summarizes ICD-10 diagnoses within a 60-day age window from approximately 2 to 13 years, stacked by ICD-10 chapter. Outlined segments mark first recorded occurrences of diagnoses, whereas filled segments indicate repeat events. The annotated milestones illustrate how early neurodevelopmental, genetic-confirmation, neurologic, and later skin or autonomic features appear along the same child’s longitudinal record. (B) Overview of the visit-boundary prediction task. A child’s history is represented as a sequence of hospital visits, where each visit groups same-day ICD-10 diagnosis codes between a visit-start (VS) and visit-end (VE) token. Given the observed visit history, TEDDY predicts both the time to a future visit and the diagnosis probability distribution over the closed ICD-10 vocabulary at the start of that visit. Scoring at the visit boundary means predictions are made before any same-day diagnosis codes are visible, preventing within-encounter leakage while preserving the co-occurrence structure of diagnoses recorded during the same clinical visit. 출처: arXiv:2607.14191

희귀 질환에서의 신호도 분명했다. 가장 드문 225개 질환 중 202개, 즉 90%는 95% 신뢰구간이 우연 수준을 넘어섰다. 제한 없는 분석에서 첫 진단 2년 이상 전부터도 예측 신호가 감지됐고, 중앙값 AUC는 59.7%였다. 고정 코호트 민감도 분석에서는 같은 지점의 중앙값 AUC가 64.4%로 나타났다.

대표 벤치마크 두 개에서도 결과가 이어졌다. 천식에서는 TEDDY가 AUC 79.3%를 기록해 가장 강한 비교모델의 62.7%를 넘었고, ADHD에서는 84.7%로 가장 강한 비교모델 71.7%보다 높았다. 특히 ADHD 비교에서는 일반 목적 언어모델 Gemma-3-4b가 함께 제시됐는데, 이 모델은 TEDDY보다 약 세 자릿수 규모가 큰 것으로 설명되며 천식과 ADHD에서 각각 62.7%, 51.2%에 그쳤다.

항목	값	근거 위치
학습 데이터	단일 소아기관의 약 73 million ICD-10 diagnoses, 1.6 million children	p.1 abstract; p.11 source_excerpt
핵심 성능	797개 발병 예측 과제에서 median AUC 72.0%; DenseNet 50.0%, CNN 57.2%, RNN 60.1%, LSTM 62.7%	p.1 abstract; p.4 source_excerpt
희귀 질환 결과	225개 중 가장 드문 202개(90%)가 95% CI above chance	p.1 source_excerpt; p.4 source_excerpt
방문 시점 예측	365일 기준 mean absolute restricted mean survival-time error 3.0 days	p.1 source_excerpt; p.9 source_excerpt

자료: STORIUM 정리

방문 시점 예측에서는 365일 범위에서 평균절대 restricted mean survival-time 오차가 3.0일이었다. 반면 생존 보정 곡선은 초기 구간에서 더 잘 맞았고, 긴 꼬리 구간으로 갈수록 어긋났으며, 중앙값과 장기 재방문 간격은 여전히 보정이 충분하지 않았다. 전체적으로는 소아 진단 이력만으로도 대규모 인구 데이터나 10억 단위 매개변수 없이 넓은 범위의 위험 경보를 탐색할 수 있음을 보여주는 결과다.