데이터과학 에이전트는 자연어 질문을 해석하고 코드를 실행하며 표와 모델을 만들어 답한다. 하지만 기존 평가는 인과 추론과 실제 데이터 분석을 따로 보는 경우가 많다. 상징적인 인과 문제는 현실의 불완전한 관측과 도구 사용을 담지 못하고, 데이터 분석 과제는 결과를 만든 인과 구조가 명확하지 않다. CausalDS는 두 축을 한 장면 안에 결합해 에이전트가 상관관계 계산을 넘어 원인과 개입을 구분할 수 있는지 평가한다.
각 장면은 표본으로 뽑은 구조적 인과 모델, 그 모델에서 생성한 관측 데이터, 현실적인 영역을 배경으로 한 합성 자연어 이야기로 구성된다. 필요하면 실제 데이터의 경험적 분포를 구성 요소 생성에 반영하되, 인과 구조와 사례는 새로 만들어 기존 예시를 암기한 ‘인과 앵무새’ 문제를 줄인다. 여기서 관측, 개입, 반사실에 해당하는 서로 다른 수준의 과제를 파생한다. 많은 문제는 불완전한 관측 때문에 여러 도구와 코딩 단계를 거쳐야 하며, 불확실성을 정량화하는 능력도 요구한다.
특히 답할 근거가 충분하지 않을 때 기권하는 행동을 독립적인 채점 대상으로 둔 점이 중요하다. 실제 의사결정에서는 그럴듯한 숫자를 만들어내는 것보다 식별 불가능성을 알아차리는 편이 안전하다. CausalDS는 상징 추론, 데이터과학, 코딩, 도구 사용, 불확실성, 기권을 하나의 흐름에서 본다. 합성 장면은 정답과 생성 과정을 정확히 알 수 있다는 장점이 있지만 실제 조직 데이터의 혼란을 모두 재현하지는 못한다. 그럼에도 데이터 에이전트의 평가를 최종 답 하나에서 분석 과정과 판단 한계로 확장하는 기반을 제공한다.
원문: arXiv 2607.08093
저작권자 © STORIUM 무단전재 및 재배포 금지
