구글 리서치가 표 형식(테이블) 데이터를 다루는 새로운 파운데이션 모델 ‘탭FM(TabFM)’을 공개했다. 고객 이탈 예측이나 금융 사기 탐지처럼 표 데이터를 다루는 작업은 그동안 XGBoost, 랜덤포레스트 등 트리 기반 모델이 주로 담당해 왔다. 하지만 이런 모델은 새 데이터셋마다 하이퍼파라미터 튜닝과 피처 엔지니어링에 상당한 시간을 들여야 한다는 단점이 있었다. 탭FM은 이 병목을 없애는 것을 목표로 설계됐으며, 허깅페이스와 깃허브를 통해 공개됐다.
탭FM의 핵심은 대규모 언어모델이 익숙하게 쓰는 ‘인컨텍스트 러닝(문맥 내 학습)’ 방식을 표 데이터에 그대로 적용한 데 있다. 별도의 가중치 업데이트 없이, 학습용 예시와 예측 대상 데이터를 하나의 프롬프트로 묶어 한 번의 순전파만으로 결과를 내놓는 방식이다. 다만 표는 텍스트와 달리 이차원적이고 행과 열의 순서가 바뀌어도 의미가 변하지 않는다는 특성이 있다. 구글은 이 문제를 풀기 위해 기존 연구인 탭PFN의 행·열 교차 어텐션 방식과 탭ICL의 인컨텍스트 러닝 방식을 결합한 하이브리드 구조를 택했다. 표 전체가 다층 어텐션 모듈을 거치며 행과 열 사이의 상호작용을 포착한 뒤, 각 행의 정보가 하나의 벡터로 압축되고, 이 압축된 벡터들을 별도의 트랜스포머가 처리해 최종 예측을 내놓는다.
구글 연구팀은 탭FM 학습에 실제 산업 데이터 대신 수억 개 규모의 합성 데이터셋을 사용했다고 밝혔다. 실제 기업 데이터는 소유권과 민감정보 문제로 대규모 사전학습에 활용하기 어렵다는 판단에서다. 이 합성 데이터는 구조적 인과 모델(SCM)을 이용해 다양한 무작위 함수 조합으로 동적으로 생성됐으며, 연구팀은 이렇게 만들어진 모델이 실제 데이터에도 잘 일반화된다고 설명했다. 성능 평가는 살아있는 벤치마크인 ‘탭아레나(TabArena)’에서 이뤄졌으며, 분류 데이터셋 38개와 회귀 데이터셋 13개를 대상으로 승률 기반의 엘로 점수를 산출했다. 표본 크기는 700개에서 15만 개까지 다양했다. 연구팀은 별도 튜닝 없이 바로 쓰는 기본형 탭FM과, 교차 피처·SVD 피처를 더해 32개 모델을 앙상블하는 ‘탭FM-앙상블’ 두 구성 모두에서 정교하게 튜닝된 업계 표준 알고리즘을 꾸준히 능가했다고 전했다.
구글은 탭FM을 시계열 예측 전용 제로샷 모델인 ‘타임스FM’의 표 데이터 버전으로 소개하고 있다. 두 모델 모두 특정 도메인 데이터에 대해 사전학습 없이 즉시 예측을 내놓는 것을 지향한다는 공통점이 있다. 구글은 조만간 빅쿼리(BigQuery)에서 ‘AI.PREDICT’라는 SQL 명령을 통해 탭FM 기능을 직접 호출할 수 있도록 지원할 계획이라고 밝혔다. 실행 환경은 파이썬 3.11 이상이 필요하며, 사이킷런과 호환되는 분류기·회귀기 인터페이스를 제공해 기존 데이터 과학 워크플로에 쉽게 통합할 수 있도록 설계됐다.
탭FM의 등장은 그동안 딥러닝의 사각지대로 여겨졌던 표 형식 데이터 영역에도 파운데이션 모델 접근법이 본격적으로 침투하고 있음을 보여준다. 고객 이탈 위험 점수화, 신용 위험 평가, 주택 가격 예측 등 실무에서 광범위하게 쓰이는 표 데이터 작업이 별도 학습 없이 즉시 처리 가능해지면, 데이터 과학팀의 반복적인 모델링 부담이 크게 줄어들 것으로 전망된다.
저작권자 © STORIUM 무단전재 및 재배포 금지
