투명한 교육용 질의응답은 정답만 맞히는 것으로 끝나지 않는다. Can Tho University와 Tay Do University 연구진의 CoTu 팀은 동료검토 전 arXiv 프리프린트에서, 이런 요구를 8B 이하 오픈웨이트 모델만 쓰는 EXACT 2026 과제로 풀었다고 설명한다. 과제는 대학 규정에 대한 논리 추론과 다단계 물리 문제 풀이로 나뉘며, 모든 답변에는 자연어 설명이 붙어야 했다.
이 팀이 택한 방식은 신경-기호 결합형 Program-of-Thought였다. 4B 기반 모델이 답을 바로 내놓는 대신 프로그램을 작성하고, 규정 질의에는 Z3 제약식을, 물리 문제에는 수치 Python 코드를 생성한 뒤 실행 결과로 결론을 정한다. 두 갈래는 자기수정 루프와 하나의 설명형 JSON 출력 형식을 공유해, 답변·단위·설명·근거 문항·추론 내용을 한 번에 맞물리게 했다.
논리 과제에서는 질문 유형을 MCQ, YNU, OE로 나눈 뒤, 형식이 불완전한 항목은 억지 추론 대신 Uncertain으로 처리했다. 또 Dense encoder와 BM25를 결합한 RRF 검색으로 Task 1의 Z3 예시를 찾아오되, 이는 1차 평가 라운드에만 쓰고 최종 제출 체계에서는 뺐다. 물리 과제 쪽은 검색 없이, 전기회로·정전기에서 시작해 역학·열역학·기하광학까지 이어지는 수치 계산을 Python으로 풀었다.
실행 안정성과 속도도 별도로 손봤다. SGLang의 RadixAttention과 DFLASH speculative decoding을 써서 60초 per-query 한도를 지키도록 했고, 자가 수정은 최대 2회 재시도까지만 허용했다. Task 1은 thinking을 켠 주 실행기가 54초 안에 응답하지 않으면, thinking을 끈 self-consistency runner가 3개 경로를 샘플링해 다수결로 대체했다. BF16 서빙을 고수한 점도 함께 적었다.
데이터 구성은 공식 EXACT 2026 공개셋을 정리하고 다시 주석을 붙이는 방식이었다. Task 1은 808개에서 clarity filter 후 722개를 남기고, Z3로 검증한 합성 OE 333개를 보태 총 1,055개를 만들었다. Task 2는 1,352개 공식 물리셋에 Qwen3.6-27B로 합성한 MCQ 100개를 더해 1,452개로 늘렸다. 두 과제 모두 DeepSeek-V4-Pro의 추론 흔적을 재주석으로 쓰고, LoRA로 GRM-2.5를 미세조정했다.
| 구성 | 수치 | 근거 |
|---|---|---|
| Task 1 공식 데이터 | 808 → 722 → 1,055개 | Table 1 |
| Task 2 공식 데이터 | 1,352 → 1,452개 | Table 1 |
| Round 1 Task 1 P1+P2 | 21.24/25 | Table 3 |
| Round 2 Task 2 P1 | 25.00/25 | Table 3 |
| 최종 라운드 기술점수 | 13.44/15 | Table 4 |
자료: STORIUM 정리
결과는 수치로도 분명했다. 자동 선택 라운드 1과 2에서 Task 2는 각각 25/25를 기록해 만점을 받았고, Task 1의 P1+P2는 21.24/25에서 23.10/25로 올랐다. 최종 라운드에서는 자동 API 점수 10.24/11, reasoning depth 3.20/4를 더한 기술점수 13.44/15를 얻었고, 발표 점수까지 합친 전체 순위는 3위였다. 논문은, symbolic solver에 근거를 두면 4B 규모에서도 검증 가능한 추론이 가능하며 남는 어려움은 추론 자체보다 전제 선택에 가깝다고 정리한다.
저작권자 © STORIUM 무단전재 및 재배포 금지
