의미 표현과 픽셀 수준 표현을 함께 활용하는 확산 기반 이미지 압축 방식 SPRDiff가 제안됐다. 기존 극단적 압축 기법 대부분은 화질 충실도보다 지각적 사실성과 시각적 현실감을 우선시해 왔다. 그 결과 복원된 이미지가 원본과 눈에 띄게 달라지는 문제가 반복됐다. 초저비트율 이미지 압축은 극히 압축된 표현을 만드는 동시에 의미적 일관성과 픽셀 수준의 원본 충실도를 함께 확보해야 한다는 점에서 난제로 꼽힌다.
SPRDiff는 이 문제를 해결하기 위해 삼중 인코더 구조를 채택했다. 사전 학습된 왜곡 지향 인코더와 의미 지향 인코더에서 고충실도 특징을 추출해, 동결된 VAE(변분 오토인코더) 인코더가 추출하는 제한적 표현을 보완하는 방식이다. 이를 통해 잠재 압축과 엔트로피 모델링 품질을 높인다. 여기에 더해 이중 특징 추출 구조를 가진 왜곡 인식 복원 모듈을 추가했다. 이 모듈은 주요 구조를 보존하는 거친 복원 결과물을 생성하면서, 확산 모델이 정밀한 복원에 활용할 수 있는 실용적이고 정확한 의미·픽셀 수준 조건 신호를 함께 제공한다.
벤치마크 데이터셋을 대상으로 한 실험에서 SPRDiff는 초저비트율인 0.03bpp(비트 퍼 픽셀) 미만 영역에서 비율-왜곡-지각 균형 측면에 걸쳐 최신 기법들을 뛰어넘었다. 지각 품질과 픽셀 수준 충실도를 동시에 유지하는 성과가 확인됐다. 소스 코드와 학습된 모델은 깃허브(github.com/cshw2021/SPRDiff)에 공개될 예정이다.
위성 이미지, 의료 영상, 저대역 통신 환경처럼 극도로 낮은 전송 용량에서 이미지 품질을 유지해야 하는 분야에서 초저비트율 압축 기술의 수요는 꾸준히 증가하고 있다. SPRDiff는 확산 모델의 생성 능력과 다중 인코더의 특징 보완을 결합한 접근법으로, 이 분야의 기술 수준을 한 단계 높이는 연구로 평가된다.
저작권자 © STORIUM 무단전재 및 재배포 금지
