로봇에게 과거의 경험을 기억으로 되살려, 지금 무엇을 할지 판단할 때 그 기억이 직접 개입하도록 하는 방식이 제시됐다. 연구진은 시각-언어-행동(VLA) 모델에 두 갈래의 잠재 메모리를 결합한 방법을 arXiv에 사전 공개했다. 동료심사 전 공개본이다.
연구진은 현재의 VLA 모델이 대체로 지금 이 순간의 관측만 보고 행동을 예측한다는 점을 문제로 짚었다. 바로 직전 상태만 참고하는 마르코프 가정 아래 작동하다 보니, 오랜 시간에 걸친 맥락을 따져야 하는 과제에서는 약하다는 것이다. 기억을 덧붙이려는 기존 시도도 있었지만, 그 메모리가 모델이 실제로 사고하는 잠재 공간 바깥에 놓여 있어 시각·언어를 아우르는 추론과 매끄럽게 맞물리지 못했다.
연구진이 내놓은 해법은 과거 경험을 잠재 메모리 토큰으로 재구성해, 이를 모델의 추론 과정 안에 직접 엮어 넣는 방식이다. 이 체계는 네 부분으로 짜였다. 기억을 단기와 장기 저장고로 정리하는 ‘큐레이터’, 필요한 맥락을 찾아오는 ‘시커’, 찾아온 정보를 메모리 토큰으로 압축하는 ‘컨덴서’, 그리고 이 토큰을 현재의 관측 및 지시와 하나의 연속된 임베딩 흐름으로 합치는 ‘위버’가 그것이다.
이렇게 잠재 공간을 하나로 통합한 덕분에 기억은 VLA 추론에 직접 참여해 행동 생성을 이끌 수 있게 된다고 연구진은 설명했다. 연구진은 로봇 조작 실험 환경인 심플러엔브(SimplerEnv)와 리베로(LIBERO)에서 검증한 결과, 기존 방식보다 성능이 향상됐다고 보고했다. 로봇이 오래 이어지는 작업 흐름을 더 잘 다루도록 하려는 연구가 이어지는 가운데, 이번 시도는 기억을 모델 바깥의 부속물이 아니라 사고의 일부로 끌어들였다는 점에서 주목된다. 원문 초록 보기
