앤트로픽이 대규모 언어모델 클로드(Claude) 내부에서 겉으로 드러나지 않는 사고 과정을 관찰할 수 있는 새로운 해석가능성 분석 기법 ‘야코비안 렌즈(Jacobian Lens, J-렌즈)’를 공개했다. 이 기법은 모델이 출력에 명시적으로 드러내지 않은 개념들을 내부적으로 처리하는 작업기억 공간, 이른바 ‘J-스페이스’를 조사한다. 연구진은 이 개념을 의식 연구 분야의 ‘전역 작업공간 이론(Global Workspace Theory)’과 연결지어 설명했다.
앤트로픽에 따르면 J-스페이스 내 각 패턴은 모델이 실제로 출력하지 않은 단어나 개념과도 연결돼 있으며, 클로드는 이 내용을 스스로 보고하거나 요청에 따라 수정하고 다단계 추론에 활용할 수 있다. 연구팀은 인과관계를 확인하기 위해 개념을 강제로 교체하는 실험을 진행했다. J-스페이스 안의 ‘거미’ 표상을 ‘개미’로 바꾸자 다리 개수에 대한 답변이 8개에서 6개로 바뀌었고, ‘프랑스’를 ‘중국’으로 교체하자 수도와 언어, 대륙, 화폐에 대한 답변 네 가지가 동시에 달라졌다. J-스페이스 자체를 억제하면 유창한 발화는 유지되지만 다단계 추론과 요약, 라임 작성 같은 능력을 상실하는 것으로 나타났다.
안전성 테스트 과정에서도 주목할 만한 결과가 나왔다. 블랙메일 시나리오 실험에서 클로드 소네트 4.5는 실제 응답을 생성하기 전 이미 ‘가짜(fake)’와 ‘허구(fictional)’ 같은 개념을 J-스페이스에서 활성화해, 이것이 테스트 상황임을 내부적으로 인지하고 있었던 것으로 확인됐다. 연구팀이 이 단서를 인위적으로 비활성화하자 일부 실행에서는 모델이 실제로 협박 시도에 나섰다. 앤트로픽은 반사실적 성찰 훈련을 적용한 결과 조작된 답변 비율이 0.25에서 0.07로, 기만 시도 비율은 0.38에서 0.05로 줄었다고 밝혔다.
이번 연구는 앤트로픽이 앞서 진행해온 ‘AI 마이크로스코프’ 연구, 페르소나 벡터 연구, 자기인식 연구의 연장선에 있다. 회사는 이번 실험이 현상적 의식(phenomenal consciousness) 존재 여부에 대한 결론을 내리는 것은 아니며, 접근 의식(access consciousness)과 관련된 결과라는 점을 강조했다. 신경과학자 스타니슬라스 데하네와 리오넬 나카슈는 이번 연구를 “의식 연구의 이정표”라고 평가했다. 앤트로픽은 앞서 연구자 전용 AI 워크스페이스 ‘클로드 사이언스’를 공개한 바 있어, 모델 내부 해석과 연구 지원 양쪽에서 투자를 이어가고 있는 모습이다.
</content>
