화학 추론형 언어모델이 내놓는 chain-of-thought(CoT)는 종종 사람이 검토할 수 있는 근거처럼 보인다. 그러나 이 arXiv 프리프린트는 그 직관이 화학 영역에서는 쉽게 흔들릴 수 있음을 보여준다. 연구진은 4개 모델 계열과 12개 화학 과제를 함께 살펴본 뒤, 정답의 맞고 틀림과 무관하게 추론 과정 안에서 잘못된 구조 주장, 곧 환각이 널리 나타난다고 정리했다.
핵심은 “정답이 맞으니 추론도 믿을 수 있다”는 단순한 해석이 성립하지 않는다는 점이다. 캡션-분자 과제에서 Chem-R 응답의 13%는 정확히 맞았지만 동시에 적어도 하나의 허위 기능기 주장을 포함했다. 또한 fabrication score와 exact match의 선형 상관은 |r|<0.02로 거의 없었다. 즉 정답과 허위 주장 생성은 분리되어 있었다.
그렇다고 추론 흔적이 계산적으로 무의미한 것도 아니었다. 귀속 분석은 모델마다 다른 형태의 ‘분자용 스크래치패드’를 가리켰다. Chem-R과 ether-0은 SMILES 초안을 조각난 형태로 남기는 경향이 있었고, ChemDFM-R은 골격, 위치, 명명 단서를 더 많이 썼다. 특히 Chem-R에서 SMILES 스케치를 교란하면 생성이 나빠졌는데, 이는 언어적 구조 주장이 대부분 비활성처럼 보여도 초안 자체는 결과에 인과적으로 얹혀 있음을 뜻한다.
정답만으로 평가하면 이 차이를 잡아내기 어렵다. 같은 캡션-분자 설정에서 원래 정답이 맞았던 예시 가운데 기능기 주장을 추론문에서 바꾸어도 정답이 틀릴 확률은 7%에 그쳐, 동의어 통제와 비슷했다. 반대로 같은 사실을 입력 쪽에서 교란하면 16–79%로 훨씬 큰 영향을 보였다. 또한 정답과 환각 사이의 Pearson 상관은 −0.02(n=3300)로, 맞은 답과 틀린 답의 fabrication 분포가 거의 겹쳤다.
| 대상 | 주요 관찰 | 수치·범위 | 근거 위치 |
|---|---|---|---|
| Chem-R 캡션-분자 응답 | 정확한 답과 허위 기능기 주장이 함께 나타남 | 정답이면서 fabricating인 비율 13%; fabrication score와 exact match의 |r|<0.02 | p.2 / source_excerpt |
| 입력 교란 vs 추론문 교란 | 추론문의 사실 주장보다 입력 사실이 더 강하게 답을 바꿈 | 추론문 주장 교란 시 originally-correct answer의 1–11%가 오류로 전환, 입력 교란은 16–79% | p.2 / source_excerpt; p.7 / source_excerpt |
| 화학 CoT의 역할 | 모델별 분자용 scratchpad로 작동 | Chem-R·ether-0는 조각난 SMILES 초안, ChemDFM-R은 scaffold·positional·naming cues | p.1 / abstract; p.9 / source_excerpt |
| SMILES 초안의 인과성 | 초안 교란이 생성 성능을 저하시킴 | Chem-R에서 SMILES sketches perturbation 시 generation degradation | p.1 / abstract; p.8 / source_excerpt |
자료: STORIUM 정리
이 결과는 화학 CoT를 충실한 설명으로도, 단순한 사후 합리화로도 보기 어렵다고 결론짓는다. 오히려 이는 환각에 취약한 분자용 스크래치패드에 가깝다. 연구진은 답변만 보는 평가로는 같은 정답에 도달한 서로 다른 근거를 구분할 수 없다고 보고, 과정 수준의 감독이 필요하다고 제안했다. 다만 이러한 논의는 동료검토 전 단계의 예비 결과이며, 표본과 과제 범위도 논문에 제시된 화학 벤치마크와 생성형 태스크들에 한정된다.
저작권자 © STORIUM 무단전재 및 재배포 금지
