2024년 튜링상 수상자이자 강화학습 연구의 선구자인 리처드 서튼(Richard Sutton)이 현재의 순수 생성형 AI가 실제 과학적 발견을 수행할 수 없다는 주장을 공개적으로 펼쳤다. 서튼은 대규모 언어 모델, 이미지 생성 모델 등의 한계를 지적하며 “새로운 것을 만들어내더라도 그것이 좋은지 나쁜지를 스스로 판단하지 못한다”고 말했다. 그는 연구자들 사이에서 널리 인용되는 농담을 인용해 “이 작업은 새롭고 훌륭하다. 그런데 훌륭한 부분은 새롭지 않고, 새로운 부분은 훌륭하지 않다”는 표현이 현행 생성 AI에도 정확히 적용된다고 설명했다.
서튼은 진정한 발견이 가능하려면 세 단계가 충족돼야 한다고 설명했다. 바로 변이(variation), 평가(evaluation), 선택적 보존(selective retention)이다. 생성 AI는 다양한 출력물을 만들 수 있지만 자체적으로 결과를 검증하고 더 나은 것을 선택하는 평가 루프가 없다는 점이 본질적 한계라고 짚었다. 반면 알파고(AlphaGo), 알파폴드(AlphaFold), 클로드 코드(Claude Code), 알파프루프(AlphaProof) 같은 시스템은 바둑 승률, 단백질 구조 예측 정확도, 코드 실행 성공 여부, 수학 증명 검증 등 명확한 평가 기준을 갖추고 있어 이 세 단계를 모두 충족한다고 평가했다. 도구, 검색, 검증기를 결합한 언어 모델은 발견 가능 시스템에 근접할 수 있지만, 이를 게임이나 프로그래밍 이외의 분야로 얼마나 확장할 수 있는지는 여전히 열린 질문이라고 밝혔다.
서튼은 신경망 학습 구조 자체에도 근본적 문제가 있다고 지적했다. 표준 신경망은 초기 무작위 가중치에서 시작해 학습하지만, 시간이 지날수록 내부 구조가 굳어져 새로운 지식을 흡수하는 능력이 떨어진다는 것이다. 그는 AI가 장기적으로 스스로 변이·평가·보존을 반복하며 학습하는 방향을 지향해야 한다는 ‘오크(Oak) 아키텍처’ 개념을 제시하며, 신뢰 가능한 지속 학습(continual learning)이 그 선결 조건이라고 말했다. 국내 연구 현장에서도 생성 AI를 과학 연구 보조 도구로 적용하려는 움직임이 활발해지는 만큼, 서튼의 비판은 AI 도구 설계 방향을 재점검하는 데 중요한 시각을 제공한다.
