여러 LLM 가운데 추론 단계별 담당자를 경매로 정하는 Agora가 제안됐다. 버밍엄대학교 연구진은 질문을 작업 단위로 나눈 뒤 후보 모델이 보정된 성공 확률과 비용을 반영해 입찰하도록 했다. 사용자는 비용 민감도 β를 바꿔 품질 우선과 비용 우선 사이의 배분을 조절한다.
입찰값은 모델의 원래 자신감을 그대로 쓰지 않는다. 사전 보정기와 온라인 사후 보정기가 비슷한 과제의 실제 정답률에 맞춰 자신감을 조정하고, 이 값에서 정규화된 비용을 뺀다. 계획기는 최대 네 단계의 그래프를 만들지만 MuSiQue·SciCode·SPIQA는 데이터셋이 제공한 구조를 사용했고 MMLU-Pro만 LLM 계획기를 썼다.
평가는 MuSiQue 500개 개발 표본, MMLU-Pro 계층화 무작위 2,000개, SciCode 전체 테스트, SPIQA Test-A, MathVision testmini에서 진행됐다. 벤치마크마다 후보 모델 풀이 달랐고 같은 과제 안의 모든 비교법에만 후보 풀을 맞췄다. 서로 다른 과제의 수치를 하나의 모델 순위로 읽을 수 없는 이유다.
| 평가 | Agora | 비교 기준 | 조건 |
|---|---|---|---|
| MMLU-Pro 정확도 | 71.9% | 정적 보정 70.7% | 온라인 정답 피드백 포함 |
| SciCode Sub / Main | 44.4% / 13.8% | 최고 45.4% / 14.1% | Consistency Cascade |
MMLU-Pro 71.9%는 정답 피드백으로 온라인 보정기를 갱신한 값이다. 연구진은 자동 검증 가능한 피드백이 없으면 이를 상한 분석으로 보고 배포 기본값은 정적 보정기라고 적었다. 정적 보정은 70.7%였다. SciCode에서는 Agora의 하위 문제 44.4%와 주 과제 13.8%가 최고가 아니었고 Consistency Cascade가 45.4%와 14.1%를 기록했다.
MathVision에서 β를 0.001에서 0.5로 높이자 저비용 Grok 배분은 21.5%에서 78.5%로 늘고 정확도는 55.26%에서 51.06%로 낮아졌다. 이 곡선은 비용·품질 교환을 보여주지만 실제 API 가격 변동, 지연, 병렬 입찰 호출 비용까지 포함한 운영 총비용을 보장하지는 않는다.
Agora의 이점은 정확한 작업 분해와 후보 모델의 서로 다른 강점에 의존한다. 분포가 바뀌면 보정값이 틀릴 수 있고 강하게 연결된 단계를 독립 입찰하면 오류가 전파된다. 논문은 2026년 7월 공개된 동료검토 전 프리프린트이며, 다섯 벤치마크 결과를 장기 운영 환경의 성능으로 확대할 근거는 아직 없다.
저작권자 © STORIUM 무단전재 및 재배포 금지
