리퀴드AI(Liquid AI)가 추론 모델에서 흔히 나타나는 실패 유형을 겨냥한 오픈소스 기법 ‘Antidoom’을 공개했다. 대상이 되는 실패는 ‘둠 루프(doom loop)’로, 모델이 특정 구절을 만든 뒤 그 구절을 계속 반복하다 문맥 창(context window)이 소진될 때까지 출력을 이어가는 현상이다. 작은 추론 모델일수록, 특히 긴 사고 과정이나 어려운 문제에서 이런 현상이 더 자주 생긴다.
리퀴드AI는 둠 루프를 세 가지 메커니즘이 함께 작동한 결과로 봤다. 첫째, 과도하게 학습된 토큰과 불확실성이다. ‘Wait’나 ‘Alternatively’ 같은 담화 표지가 모델이 막혔을 때 매력적인 대체 연속어가 된다. 실제로 초기 LFM2.5-2.6B 체크포인트에서 반복을 시작한 토큰은 ‘the'(11.39%), ‘So'(4.51%), ‘Alternatively'(3.22%), ‘Wait'(2.56%), ‘But'(2.46%) 순이었다. 둘째, 앞선 문맥이 반복을 강화하는데, 이는 의미적 반복이 문자적 반복에 앞선다는 ‘V자형’ 주의(attention) 패턴 연구와 연결된다. 셋째, 낮은 온도에서 가장 확률 높은 토큰만 선택하는 그리디 샘플링으로, 한번 강화된 루프가 빠져나갈 출구를 잃는다.
Antidoom은 샘플링을 통째로 바꾸는 대신 문제의 첫 토큰만 겨냥하는 표적형 수정이다. 루프를 유도하도록 설계된 프롬프트 묶음으로 낮은 온도에서 출력을 생성하고, 한 구간이 최소 60자 이상에 걸쳐 네 번 이상 반복되면 루프로 판정한다. 그런 뒤 첫 반복의 첫 토큰 위치에서 기반 모델의 상위 확률 대안 가운데 최대 20개의 그럴듯한 대체어를 ‘선택(chosen)’ 토큰으로 삼는다. 훈련 알고리즘은 ‘FTPO(Final Token Preference Optimization)’로, DPO와 비슷하지만 생성 도중 시퀀스의 마지막 토큰만 훈련하고, 하나의 대체어로 바꾸는 대신 여러 대안에 확률을 분산하며, 소프트맥스를 생략한 로짓 공간에서 발산을 계산하고, 비대칭 정규화를 적용한다는 점이 다르다.
성능 개선은 뚜렷했다. LFM2.5-2.6B의 초기 체크포인트에서 둠 루프 비율은 10.2%에서 1.4%로 떨어졌고, 반복 성향으로 알려진 Qwen3.5-4B에서는 그리디 샘플링 기준 22.9%에서 1%로 낮아졌다. 두 경우 모두 반복이 줄면서 평가 점수도 전반적으로 올랐다. 훈련 데이터 생성은 MI325 GPU 8장으로 약 한 시간, 훈련 자체는 MI325 GPU 한 장으로 한두 시간이 걸렸다. 리퀴드AI는 생성·탐지·FTPO 훈련기를 모두 공개했으며, 다만 이 기법이 새로운 실패점을 드러내 여러 차례 반복 훈련이 필요할 수 있고 과도한 훈련은 모델 성능을 떨어뜨린다는 한계도 함께 밝혔다.
저작권자 © STORIUM 무단전재 및 재배포 금지
