IT 모니터링 기업 와탭랩스가 6월 9일 서울 서초구 본사에서 ‘LLM 옵저버빌리티 미디어 데이’를 열고 거대언어모델(LLM) 기반 서비스의 성능·비용·품질을 추적하는 관측 기능을 정식 출시했다. LLM 옵저버빌리티(Observability)는 사용자 요청이 들어온 순간부터 응답이 반환되기까지의 전 과정을 트레이스 단위로 기록해 벡터 검색, LLM API 호출, 에이전트 반복 실행 등 성능 병목 원인을 식별한다. 모든 LLM 호출의 입출력 토큰도 요청·기능·모델 단위로 집계해 사용량과 비용을 모니터링할 수 있으며, AI 환각(hallucination) 감지 등 답변 품질 평가 기능도 포함됐다.
이번 출시는 지난해 GPU(그래픽처리장치) 모니터링 기능 공개에 이은 후속 조치다. 와탭랩스는 ‘AI 네이티브 옵저버빌리티’ 비전 아래 GPU·LLM·AI 운영을 연결하는 통합 전략을 이번 행사에서 공개했다. 기업의 AI 도입이 실제 서비스 운영 단계로 확산되면서 모니터링 대상이 서버와 애플리케이션을 넘어 GPU 자원, LLM API 호출, 토큰 비용, 답변 품질까지 확대되고 있다는 것이 회사 측 설명이다. AI 서비스는 장애 원인이 인프라·모델·검색·애플리케이션 계층에 걸쳐 발생할 수 있어 기존 IT 모니터링 방식만으로는 운영 리스크 파악이 어렵다는 현장 지적이 반영된 결과다.
와탭랩스는 LLM 옵저버빌리티를 기존 GPU 모니터링 및 AI 기반 자율 운영 도구와 연계함으로써 AI 서비스 운영 전 과정을 단일 대시보드에서 분석할 수 있도록 지원한다는 계획이다. 기존 와탭 고객은 별도 도구 없이 현재 모니터링 환경에 LLM 관측 기능을 추가할 수 있다. 회사는 자사 플랫폼 활용 시 GPU 작업량을 2~3배 늘리고 LLM 운영 비용을 약 30% 절감할 수 있다고 설명했다. 장애 발생 시 탐지부터 조치까지 대응 시간도 최대 70% 단축해 서비스 안정성을 높일 수 있다고 밝혔다.
이동인 와탭랩스 대표는 “AI 시장의 무게중심이 AI 실행에서 AI 운영으로 빠르게 이동하고 있다”며 “LLM 옵저버빌리티를 포함한 AI 내재 제품군을 지속 강화해 기업이 AI를 더 잘 활용하고 운영할 수 있도록 지원하겠다”고 밝혔다. AI 서비스 운영의 복잡성이 높아지면서 관련 모니터링·옵저버빌리티 시장도 성장세에 있으며, 국내 기업들의 LLM 기반 서비스 도입이 가속화됨에 따라 이 분야 수요는 더욱 늘어날 전망이다.
저작권자 © STORIUM 무단전재 및 재배포 금지
