연구팀이 뇌에서 영감을 받은 스파이킹 뉴럴 네트워크(SNN) 학습 메커니즘을 비주얼 프롬프팅(VP)에 접목한 LoRSP(Low-Rank visual Spike Prompting) 프레임워크를 제안했다. 비주얼 프롬프팅은 대규모 사전 학습된 비전 모델을 입력 수준의 학습 가능한 프롬프트를 통해 하위 과제에 적응시키는 효율적인 방법론이다. 그러나 기존 방법들은 대체로 밀집 픽셀 수준 프롬프트를 사용해 불필요한 섭동, 제한된 일반화 능력, 에너지 비효율 등의 문제를 안고 있다.
LoRSP는 저랭크 분해를 통해 프롬프트 인수(factor) 집합을 구성해 서로 다른 프롬프트 부분 공간을 포착한 뒤, 이를 SNN 구조에 입력해 통합-발화(integrate-and-fire) 과정으로 스파이크를 생성한다. 스파이킹 뉴런은 입력 데이터를 이산 스파이크 트레인으로 변환해 저렴한 정보 처리를 수행하고 희소한 출력을 반환하는 특성이 있다. 이 희소 발화 메커니즘을 활용함으로써 LoRSP는 저랭크 제약을 유지하면서도 인스턴스별로 선택적인 픽셀 수준 희소 프롬프트를 자연스럽게 생성한다.
연구팀은 다섯 가지 이질적인 비전 백본과 복수의 벤치마크에 걸쳐 광범위한 실험을 수행했다. 그 결과 LoRSP는 기존 비주얼 프롬프팅 방법들에 비해 더 적은 학습 가능 파라미터를 사용하면서도 경쟁력 있는 성능을 달성했다. 저랭크 희소 구조는 인스턴스별 선택적 프롬프팅을 가능케 해 다양한 하위 과제에서 더 간결하고 견고한 적응 능력을 이끌어낸다. 대규모 사전 학습 모델을 그대로 두고 입력 단계의 프롬프트만 학습하는 비주얼 프롬프팅은 전체 미세 조정에 비해 비용이 적게 드는 적응 방식으로 주목받아 왔지만, 밀집 프롬프트가 야기하는 불필요한 섭동과 에너지 소모가 약점으로 지적돼 왔다. LoRSP는 뇌의 스파이킹 발화 방식을 차용해 이 약점을 정면으로 겨냥했다는 점에서, 에너지 효율과 일반화 성능을 동시에 확보하는 방향으로 비주얼 프롬프팅의 지평을 넓힌 연구로 평가된다.
저작권자 © STORIUM 무단전재 및 재배포 금지
