엔비디아가 2026년 8월 4일 Cosmos 3 기반 로봇 정책을 실제 장비에 배포하는 방법을 공개했다. 핵심은 언어 명령을 동작으로 옮기는 VLA(비전·언어·행동 모델) 대신, 장면이 앞으로 어떻게 변할지 함께 예측하는 WAM(월드 액션 모델)을 쓰는 방식이다. 로봇이 컵을 잡거나 물체를 놓을 때 생길 변화를 미리 학습한 기반 모델에서 출발하므로, 개발팀은 작업마다 물리 법칙을 처음부터 다시 가르치는 부담을 줄일 수 있다. 엔비디아는 기반 모델과 데이터 세트, 후속 학습 방법, 가중치, 평가 도구와 서빙 체계를 상업 이용이 가능한 라이선스로 공개했다고 밝혔다.
Cosmos 3는 추론을 맡는 자기회귀 트랜스포머와 이미지·영상·음성·행동을 생성하는 확산 트랜스포머를 결합한 구조다. 제품군은 40억 파라미터의 Cosmos Edge, 160억 파라미터의 Cosmos Nano, 640억 파라미터의 Cosmos 3 Super로 나뉜다. 학습 데이터에는 약 7억6700만 장의 이미지, 현실 세계의 움직임을 담은 영상 3억4800만 개, 로봇 조작·자율주행·카메라 이동·1인칭 움직임을 포괄하는 행동 표본 800만 개가 포함됐다. 이런 물리 세계 데이터가 물체의 모양이나 조명, 배치가 달라진 상황에 대응하는 바탕이 된다.
실제 조작용 Cosmos3-Nano-Policy-DROID는 Franka Panda 로봇 팔과 Robotiq 그리퍼로 구성된 DROID 환경에 맞춰 Cosmos 3 Nano를 후속 학습한 160억 파라미터 모델이다. 언어 명령과 여러 카메라의 관측값을 받아 로봇의 이동 경로를 만들며, 동작과 그 결과로 카메라에 보일 영상도 함께 예측할 수 있다. 같은 학습 방법·데이터·연산량을 쓴 비교에서 다영역 행동 데이터로 학습한 시작점은 RoboLab 성공률을 28.1%에서 36.8%로 높였다. 이는 엔비디아가 공개한 기술 보고서의 자체 평가 결과이므로, 다른 작업장이나 로봇에서도 같은 수치가 재현된다고 단정할 수는 없다.
| 배포 방식 | 모델·장비 | 공개된 동작 조건 |
|---|---|---|
| 워크스테이션 서빙 | Cosmos 3 Nano 160억·RTX PRO 6000 1대 | 로봇이 관측값을 보내고 행동 묶음을 받는 방식 |
| 로봇 탑재형 | Cosmos 3 Edge 40억·Jetson Thor | 640×360 관측값, 추론당 행동 32개, 15Hz 제어 |
현장 도입 방식은 두 갈래다. Cosmos3-Nano-Policy는 RTX PRO 6000 한 대가 있는 워크스테이션에서 실행하고 로봇이 네트워크로 관측값과 행동 묶음을 주고받는다. 더 작은 Cosmos 3 Edge는 Jetson Thor에서 640×360 해상도의 관측값을 처리해 추론 한 번에 행동 32개를 생성하며 15Hz 실시간 제어를 지원한다. 다만 Franka 외에 양팔 로봇, UR, WidowX처럼 몸체가 바뀌면 각 장비에 맞춘 후속 학습을 다시 해야 한다. 따라서 공개 가중치가 기반 모델 재학습 비용을 낮춰도 현장 데이터 수집, 장비별 검증과 안전성 확인까지 없애는 것은 아니다.
저작권자 © STORIUM 무단전재 및 재배포 금지
