엔비디아 리서치가 공개한 로보랩은 고정된 시뮬레이션 과제의 포화, 학습·평가 환경 중복, 성공·실패만 남기는 평가 방식의 한계를 다루는 로봇 평가 도구다. 현실 장면 복원은 사실적일 수 있지만 장면 하나를 준비하는 데 한 시간이 넘을 수 있어 반복 시험을 늘리기 어렵다는 문제의식에서 출발했다.
로보랩은 물체를 배치하고 자연어 지시를 붙여 정책을 실행하는 장면을 몇 분 안에 만들도록 설계됐다. 초기 로보랩-120은 사람이 만든 탁상 집기·배치 과제 120개를 시각·절차·관계 역량으로 태깅한다. 과제와 정책을 특정 몸체에 묶지 않아 프랑카 로봇팔과 휴머노이드처럼 서로 다른 로봇에도 같은 시험을 컴파일할 수 있다.
평가에는 성공률 외에 부분 완료 점수, 경로 길이와 속도 주파수에 기반한 SPARC, 말단장치 속도, 잘못된 물체 집기·낙하·그리퍼 충돌 기록이 포함된다. 플라스틱병을 모두 치웠지만 오렌지까지 함께 넣은 실행은 최종 조건상 성공으로 분류되더라도 과정의 오작동을 별도로 남길 수 있다.
반복 횟수도 결론에 영향을 준다. 관측 성공률 90%가 70회 실행에서 나왔을 때 95% 클로퍼-피어슨 구간은 80.5~95.9%지만, 1,030회에서는 88.0~91.8%로 좁아진다. 이는 논문 간 몇 퍼센트포인트 차이를 비교할 때 시행 횟수와 신뢰구간을 함께 확인해야 함을 보여준다.
| 구분 | 본문 확인 값·항목 |
|---|---|
| 70회 실행 | 성공률 90%, 95% 구간 80.5~95.9% |
| 1,030회 실행 | 성공률 90%, 95% 구간 88.0~91.8% |
| 결과·과정 지표 | 성공률, 부분 완료 점수, SPARC, 말단장치 속도 |
| 오작동 기록 | 잘못된 물체 집기, 낙하, 그리퍼 충돌 |
자료: STORIUM 정리
시뮬레이션 벤치마크는 동일 조건의 반복성과 실패 유형 분석에 유리하다. 반면 센서 노이즈, 마찰 변화, 사람의 예측하기 어려운 움직임, 장비 마모 등 현실 변수는 완전히 재현하기 어렵다. 학습에 사용된 자산이나 지시 표현이 평가 세트와 겹치는지도 별도로 공개돼야 일반화 성능을 판단할 수 있다.
로보랩 기능은 2026년 8월부터 아이작 랩-아레나에 통합될 예정이다. 이 도구 자체가 현실 안전 인증을 제공하는 것은 아니다. 조명·카메라·재질·지시 표현을 바꾼 강건성 시험과 실제 현장의 분리 시험을 병행하고, 평균 성공률과 함께 충돌 빈도, 복구 시간, 사람 개입 횟수를 기록하는 방식이 비교 가능한 배치 근거가 된다.
저작권자 © STORIUM 무단전재 및 재배포 금지
