연구팀이 파운데이션 모델(Foundation Model, 대규모 사전 학습 모델)의 뉴턴 역학 이해 능력을 평가하기 위한 데이터셋 ‘NewtPhys’를 발표했다. 기존 벤치마크가 단순 합성 이미지에 의존한 것과 달리, NewtPhys는 실제 세계 장면을 다중 시점 카메라로 촬영해 구성한 4D 물리 어노테이션(annotation, 주석) 데이터셋으로, 3D 힘 벡터와 픽셀 단위 다차원 측정값을 포함한다. 이 데이터셋을 활용해 공개 54종과 비공개 2종을 포함한 비전-언어 모델(VLM, Vision-Language Model) 56종, 그리고 비전 파운데이션 모델 10종을 체계적으로 평가했다.
평가 결과는 현재 AI 모델들의 물리 추론 능력에 뚜렷한 한계가 있음을 보여준다. 연구팀은 “저수준 물리 추론에서 한계가 드러났다”고 결론지었다. 이는 모델들이 물체의 운동 방향이나 힘의 크기 같은 세밀한 물리 현상을 파악하는 데 어려움을 겪는다는 의미로, 고수준 물리 개념의 이해와는 구별되는 문제다. 연구팀은 코드와 데이터셋을 프로젝트 웹사이트를 통해 공개했다.
이번 연구는 AI 물리 추론 평가 분야에서 중요한 공백을 채운다. 합성 데이터 기반 벤치마크는 현실 세계의 시각적 복잡성을 반영하지 못한다는 한계가 있었다. NewtPhys는 실제 영상에서 추출한 치밀한 물리 주석을 통해 사실적 복잡도와 엄밀한 물리 근거를 동시에 확보함으로써, 더 현실적인 평가 기준을 제시한다. 로봇 조작, 자율주행, 물리 기반 시뮬레이션 등 실세계 물리 이해를 필요로 하는 응용 분야에서 AI 모델의 실제 역량을 파악하는 데 활용될 것으로 기대된다.
파운데이션 모델이 텍스트와 이미지를 뛰어나게 처리하면서도 물리 법칙의 정교한 적용에서 취약함을 보인다는 사실은 AI 연구 커뮤니티에 중요한 과제를 제시한다. 특히 로보틱스(robotics, 로봇공학)와 같이 물리 환경과의 상호작용이 핵심인 분야에서는 단순한 인식 능력을 넘어 물리적 인과 관계를 추론하는 능력이 필수적이다. NewtPhys 같은 실측 데이터 기반 벤치마크의 등장은 이 간극을 메우기 위한 연구 방향을 구체화하는 데 기여할 전망이다.
