AI 에이전트가 API 호출 중 검증 오류를 만났을 때, 무엇이 잘못됐는지 설명하는 자연어 진단보다 수정 방법을 명시하는 구조화 응답을 제공하는 편이 훨씬 효과적이라는 연구 결과가 나왔다. arXiv에 공개된 논문에 따르면, 오류 발생 시 에이전트가 외부 추론 없이 요청을 스스로 수정·재시도할 수 있도록 기계 판독 가능한 복구 제안(recovery_feedback.suggestions[])을 반환하는 ‘자기반영 API(self-reflective API)’ 설계를 제안했다.
연구팀은 누출 검증(leak-audited) 파일럿 실험을 통해 이 방식의 효과를 측정했다. 3개 대규모 언어 모델(LLM)과 10개 적대적 과제를 대상으로 셀당 30건의 실험을 진행한 결과, 구조화 제안 방식은 앤트로픽(Anthropic) 모델에서 자연어 진단 대비 작업 완료율을 36.7~40.0퍼센트포인트 향상시켰다(피셔 정확 검정 p≤0.0022). 성공 건당 토큰 효율도 1.8~2.2배 개선됐다. 다만 GPT-4o 미니(gpt-4o-mini)에서는 유의미한 차이가 나타나지 않았다(p=0.435). 청구 API를 대상으로 한 두 번째 도메인 복제 실험에서도 같은 패턴이 확인됐다.
연구팀은 또한 LLM 벤치마크에서 흔히 간과되는 두 가지 정보 누출(answer leakage) 유형을 발견하고, 이를 탐지하는 코드 도구(audit_prompt_leakage.py)를 오픈소스로 공개했다. 연구팀은 이 도구를 지속적 통합(CI) 인프라로 재사용할 수 있도록 설계했다고 밝혔다. 이 연구는 API 설계 방식이 에이전트의 자율적 오류 복구 능력에 직접 영향을 미친다는 점을 실증했으며, AI 에이전트가 복잡한 작업 환경에서 안정적으로 작동하기 위한 API 설계 원칙에 관한 논의를 촉발할 것으로 보인다.
저작권자 © STORIUM 무단전재 및 재배포 금지
