대규모언어모델을 바꾸지 않고 추론 시점의 제어 구조를 분리해 신뢰성을 높이려는 CogniConsole이 제안됐다. 리자이나대학교와 Orbital Sea 연구진은 역할, 입력, 판단 순서, 출력 계약을 프로그램식 조정과 제한된 프롬프트 추론으로 나눴다. 논문은 모델 능력과 실행 제어의 영향을 구분하려는 2026년 4월 arXiv 프리프린트다.
평가는 Canonical Execution(P1), Constraint Enforcement(P2), State Awareness(P3), Robustness(P4), Competing Constraints(P5) 등 5개 프로브로 구성됐다. 비구조화 C1, 반구조화 C2, 완전 스캐폴딩 C3 조건을 비교했다. C3는 P1·P2·P3·P5에서 C1과 C2보다 높은 평균을 보였지만, 오타와 잡음 입력을 다룬 P4에서는 C1보다 낮았다.
논문에는 표본 수를 해석할 때 확인해야 할 내부 불일치가 있다. 초록과 방법 절은 전체 N=489라고 적었지만, 동시에 각 프롬프트 조건에서 169개를 평가했다고 서술한다. 세 조건에 169개씩이면 산술 합계는 507개다. 공개 저장소의 최종 실행 단위와 제외 기준을 확인하기 전에는 489개를 확정 표본 수로 단정하기 어렵다.
| 논문 위치 | 기재 수치 | 검토 결과 |
|---|---|---|
| 초록·방법 절 | 전체 N=489 | 논문 기재값 |
| 조건별 설명 | 169개 × 3조건 = 507개 | N=489와 불일치 |
| P4 | C3-C1 = -0.01 | 잡음 입력 유연성 저하 |
저자들은 낮은 점수를 50 미만으로 정의해 C3에서 실패 비율이 줄었다고 설명한다. 그러나 P4의 C3-C1 차이는 -0.01로, 강한 제약이 오타나 불완전 입력을 유연하게 해석하는 능력을 낮출 수 있음을 보여준다. 구조화 제어는 일관성과 제약 준수에 유리할 수 있지만 모든 입력 유형에서 성능을 높인다는 결론은 성립하지 않는다.
이 결과는 고정 모델과 연구진이 설계한 단일 다단계 환경에서 나온 동료검토 전 보고다. 모델 종류, 평가자 일치도, 표본 제외 과정, 전체 실패율의 원자료를 독립적으로 재검증해야 한다. CogniConsole을 범용 신뢰성 해법으로 보기보다, 실행 제어의 이득과 유연성 비용을 함께 측정해야 한다는 사례로 읽는 편이 정확하다.
저작권자 © STORIUM 무단전재 및 재배포 금지
