AI 검색 서비스 퍼플렉시티(Perplexity)가 기기 내 로컬 모델과 클라우드 모델을 자동으로 조율하는 하이브리드 추론 시스템을 발표했다. 이 시스템은 작업의 성격에 따라 어느 환경에서 처리할지를 스스로 결정하는 오케스트레이터 역할을 한다. 회사 측은 정확도, 개인정보 보호, 에너지 효율을 동시에 최적화하는 것이 핵심 목표라고 밝혔다.
이 하이브리드 시스템은 금융 문서, 건강 정보 등 민감한 데이터를 처리할 때는 외부로 전송하지 않고 기기 내에서만 처리하며, 고도의 연산이 필요한 복잡한 작업은 클라우드 모델로 자동 전달하는 방식으로 작동한다. 퍼플렉시티는 이 기술을 인텔(Intel)과 공동 개발했다고 밝혔다. 시스템은 특정 하드웨어에 종속되지 않는 모델 비의존적 프레임워크로 설계되었으며, 엔비디아(NVIDIA)의 RTX Spark 같은 다른 하드웨어에서도 구동된다.
이 하이브리드 추론 시스템은 3월에 발표된 퍼플렉시티의 상시 작동형 에이전트 제품 ‘퍼스널 컴퓨터(Personal Computer)’에 오는 7월부터 통합될 예정이다. 퍼플렉시티는 정기적인 작업을 로컬 기기로 이전함으로써 중앙 집중식 컴퓨팅 인프라에 대한 의존을 줄이고 데이터 주권 문제를 간소화할 수 있다고 설명했다. 또한 회사의 비즈니스 모델이 높은 컴퓨팅 소비가 아닌 정확한 답변에 따른 보상 구조임을 강조했다. 이는 컴퓨팅 효율화가 자연스러운 비즈니스 인센티브와 맞닿아 있음을 의미한다.
온디바이스(on-device) AI와 클라우드 AI의 자동 분배 개념은 엣지 컴퓨팅 분야에서 여러 기업이 탐색해온 방향이다. 퍼플렉시티가 이를 소비자 에이전트 제품에 직접 통합하겠다고 밝힌 것은 AI 인프라 활용 방식의 새로운 패턴을 제시한다. 이 기술이 실제 사용 환경에서 개인정보 보호와 성능을 얼마나 균형 있게 달성할 수 있는지는 7월 출시 이후 검증될 전망이다.
저작권자 © STORIUM 무단전재 및 재배포 금지
