AI 에이전트가 API 호출 중 검증 오류를 만났을 때, 무엇이 잘못됐는지 설명하는 자연어 진단보다 수정 방법을 명시하는 구조화 응답을 제공하는 편이 훨씬 효과적이라는 연구 결과가 나왔다. arXiv에 공개된 논문에 따르면, 오류 발생 시 에이전트가 외부 추론 없이 요청을 스스로 수정·재시도할 수 있도록 기계 판독 가능한 복구 제안(recovery_feedback.suggestions[])을 반환하는 ‘자기반영 API(self-reflective API)’ 설계를 제안했다.
연구팀은 누출 검증(leak-audited) 파일럿 실험을 통해 이 방식의 효과를 측정했다. 3개 대규모 언어 모델(LLM)과 10개 적대적 과제를 대상으로 셀당 30건의 실험을 진행한 결과, 구조화 제안 방식은 앤트로픽(Anthropic) 모델에서 자연어 진단 대비 작업 완료율을 36.7~40.0퍼센트포인트 향상시켰다(피셔 정확 검정 p≤0.0022). 성공 건당 토큰 효율도 1.8~2.2배 개선됐다. 다만 GPT-4o 미니(gpt-4o-mini)에서는 유의미한 차이가 나타나지 않았다(p=0.435). 청구 API를 대상으로 한 두 번째 도메인 복제 실험에서도 같은 패턴이 확인됐다.
연구팀은 또한 LLM 벤치마크에서 흔히 간과되는 두 가지 정보 누출(answer leakage) 유형을 발견하고, 이를 탐지하는 코드 도구(audit_prompt_leakage.py)를 오픈소스로 공개했다. 연구팀은 이 도구를 지속적 통합(CI) 인프라로 재사용할 수 있도록 설계했다고 밝혔다. 이 연구는 API 설계 방식이 에이전트의 자율적 오류 복구 능력에 직접 영향을 미친다는 점을 실증했으며, AI 에이전트가 복잡한 작업 환경에서 안정적으로 작동하기 위한 API 설계 원칙에 관한 논의를 촉발할 것으로 보인다.
