AI 시스템이 자기 출력을 스스로 다듬고, 배포 중에 동작을 조정하며, 스스로 만든 데이터로 다시 학습하는 사례가 늘고 있다. 이런 ‘자기개선’을 부르는 용어는 자기정제(self-refine)·자기보상(self-reward)·자기대국(self-play)·자기진화(self-evolve) 등으로 제각각이지만, 서로 다른 목표가 한데 뭉뚱그려져 개념이 흐려졌다는 지적이 나온다. 최근 arXiv에 공개된 한 서베이 논문(동료심사 전 공개본)이 2024년부터 2026년 사이 발표된 관련 논문 1250편을 모아 이 분야를 두 축으로 정리했다.
두 축은 ‘무엇을 개선하는가’와 ‘개선 루프가 얼마나 닫혀 있는가’다. 앞의 축은 시스템에서 개선되는 대상이 배포 시 동작인지, 학습된 정책인지, 평가자인지, 아니면 연구 과정 자체인지를 구분한다. 뒤의 축은 사람이 개입하는 단계부터 완전히 자율적인 단계까지 루프의 폐쇄 정도를 나눈다. 이 틀을 통해 논문은 이미 산업 현장에서 쓰이며 수렴하고 측정 가능한 ‘제한된 자기정제(bounded self-refinement)’와, 근거 확보의 필요성·붕괴 현상·연산 한계 탓에 여전히 제약이 큰 ‘열린 재귀적 자기개선’을 갈라놓는다.
이 서베이의 핵심은 자기평가를 별도 범주로 세운 대목이다. 저자들은 모든 개선 루프가 결국 ‘어떤 신호가 사람의 판단을 대신할 수 있다’는 암묵적 가정 위에 서 있다고 본다. 그래서 평가자를 형식 검증기(verifier), 심판(judge), 과정 보상 모델, 채점 기준(rubric), 메타 평가 등으로 나누고, 가장 강한 형식 검증기부터 가장 약한 내재적 자기평가까지 신뢰도 계층으로 줄 세웠다.
분석 결과 자기개선의 성능과 실패 양상이 이 계층과 맞물려 나타났다고 논문은 밝혔다. 약한 평가 신호에 의존할수록 스스로의 답을 반복 확인하며 오류를 굳히는 자기확증 루프, 모델 성능이 무너지는 모델 붕괴, 출력 다양성이 좁아지는 다양성 붕괴 같은 문제가 두드러진다는 것이다. 저자들은 이를 재귀적 자기개선의 이론적 한계, 그리고 첨단 연구소들이 제기한 안전·거버넌스 쟁점과 연결한다. 결론적으로 자기개선을 거버넌스 수준에서 신뢰성 있게 측정하는 방법은 아직 충분히 연구되지 않은 영역이라고 짚는다. 자세한 내용은 원문 초록 보기에서 확인할 수 있다.
