메타 AI(Meta AI)가 공개한 범용 이미지 분할 모델 SAM(Segment Anything Model)이 제로샷 성능에서 뛰어난 일반화 능력을 보여주지만, 쓰레기 분할처럼 특수한 도메인에서는 그 한계도 뚜렷하다. 연구팀은 SAM을 그대로 버려두기보다 도메인별 데이터셋으로 파인튜닝하는 것이 실용적인 출발점이 될 수 있음을 입증했다.
연구팀은 실제 현장에서 수집된 세 가지 쓰레기 분할 데이터셋을 대상으로 SAM의 일반화 성능을 평가하고 파인튜닝을 진행했다. 이 데이터셋들은 폐색(occlusion), 변형 가능한 객체, 투명도, 배경과 혼동하기 쉬운 객체 등 다양한 어려움을 담고 있어 제로샷 모델에 높은 도전을 제기한다. 파인튜닝된 SAM-ViT-H 모델은 Zerowaste와 TACO 데이터셋에서 기존 최고 수준 모델 대비 IoU 기준 30포인트 이상의 향상을 기록했다. TrashCan 1.0 데이터셋에서는 최고 성능 모델과 약 1.44포인트 차이에 불과할 만큼 근접한 성능을 달성했다.
연구팀은 이 결과가 SAM과 같은 기반 모델을 특정 다운스트림 작업에 맞게 파인튜닝하는 과정이 단순한 성능 개선을 넘어 실용화에 필수적인 단계임을 시사한다고 밝혔다. 범용 모델의 강력한 표현 능력을 도메인 지식으로 특화하는 방식이 비용 대비 효율적인 접근법임을 보여주는 사례로 평가된다.
환경 모니터링과 자동화된 쓰레기 선별 시스템에 대한 수요가 증가하는 상황에서 이번 연구는 AI 기반 분리수거 자동화 및 폐기물 관리 인프라에 적용 가능한 기술적 토대를 마련했다는 점에서 의의가 있다. 연구팀은 쓰레기라는 이유로 SAM을 낭비하지 말아야 한다고 결론지었다.
