대규모 언어 모델(LLM)이 정보 추출, 도구 호출, 에이전트 계획, 지식 그래프 구축 등에서 정해진 스키마에 맞춰 생성한 JSON 출력이 정답과 얼마나 비슷한지 정교하게 측정하는 오픈소스 파이썬 라이브러리가 나왔다. 연구진은 이 도구를 ‘오브젝트 얼라이너(Object Aligner, OA)’라 이름 붙이고, 관련 내용을 담은 논문 “Object Aligner: A Configurable JSON Schema Similarity Score for Graphs, Applied to LLM Prompt Optimization”을 아카이브(arXiv)에 공개했다.
연구진은 기존에 널리 쓰이던 정확 일치, 텍스트 유사도, LLM을 심판(judge)으로 활용하는 방식이 구조화된 JSON 데이터의 유사도를 판단하기에는 한계가 뚜렷하다고 지적했다. 정확 일치는 지나치게 엄격해 사소한 차이도 완전한 오답으로 취급하고, 텍스트 유사도나 LLM 심판은 판단 기준이 일관되지 않거나 비용이 많이 든다는 문제가 있다. 오브젝트 얼라이너는 이런 한계를 보완하기 위해 두 JSON 객체의 트리 구조를 재귀적으로 정렬해 결정론적인 점수를 산출한다. 정렬되지 않은 컬렉션에는 헝가리안 알고리즘을, 순서가 있는 컬렉션에는 시퀀스 정렬 기법을 적용하는 방식이다.
이 라이브러리의 핵심 기여는 ‘참조 정렬(referential alignment)’이라는 개념이다. 정답과 후보 출력 사이의 식별자 대응 관계를 전단사 함수로 추론해, 그래프나 하이퍼그래프처럼 복잡하게 얽힌 구조 데이터도 다룰 수 있게 한 것이 특징이다. 이렇게 하면 항목의 이름표(라벨)가 바뀌어도 점수가 흔들리지 않는다. 다만 이 전단사 함수를 정확히 복구하는 문제는 계산 이론적으로 그래프 동형(isomorphism) 문제에 해당해 계산이 까다로운데, 연구진은 바이스파일러-레만(Weisfeiler-Leman) 색상 정제 기법을 활용해 근사적으로 풀어냈다고 설명했다. 순서에 민감한 시퀀스 방식은 순위 매기기나 계획 수립 같은 작업에 별도로 적용된다.
연구진은 오브젝트 얼라이너가 JSON 스키마 확장을 활용해 별도의 코드 작성 없이 스키마 주석만으로 설정할 수 있도록 설계했다고 밝혔다. 같은 정렬 알고리즘으로 정답과 후보 출력 간 불일치 지점을 짚어낼 수 있어, 추가 계산 비용 없이도 순위가 매겨진 수정 제안을 함께 제공하는 것이 강점이다. 연구진이 이 점수를 프롬프트 최적화 도구 GEPA의 보상 함수로 적용해 실험한 결과, 테스트한 모든 데이터셋에서 성능에 도움이 되거나 최소한 손해를 끼치지 않는 결과를 보였다고 전했다. 구조화된 출력을 다루는 LLM 애플리케이션 개발자들에게 평가 지표의 새로운 선택지가 될 것으로 보인다.
저작권자 © STORIUM 무단전재 및 재배포 금지
