AI 최적화 스타트업 리파이언트(Refiant)가 1000만 토큰 규모의 컨텍스트 윈도를 앞세운 장문 처리 모델군 ‘프로테아(Protea)’를 공개했다. 회사는 이 컨텍스트 크기가 지금까지 공개된 모델 가운데 최대 수준에 든다고 밝혔다. 컨텍스트 윈도는 모델이 한 번에 작업 메모리에 담을 수 있는 정보량을 좌우하는데, 주요 모델 대부분은 수십만 토큰을 넘어서면 성능이 떨어져 개발자들이 대규모 데이터를 조각내 넣는 우회책에 의존해 왔다.
리파이언트는 프로테아가 이 한계를 끌어올린다고 설명했다. 기업의 코드베이스 전체나 규제 문서 전집, 수년치 임상시험 데이터를 조각내지 않고 한꺼번에 넣을 수 있다는 것이다. 1000만 토큰은 약 750만 단어, 15,000쪽 분량에 해당한다. 회사는 이를 한 사람의 5년치 이메일·슬랙 메시지나 수십 년치 보고서·파일에 견주며, 엔지니어링 팀이 코드베이스 전체를 올려 하루 만에 분석을 돌리거나 보험사가 수년치 청구 자료를 잘게 나누지 않고 훑을 수 있다고 소개했다. 아울러 입력의 앞뒤는 정확히 유지하면서 중간에 묻힌 내용을 놓치는 ‘중간 유실(lost in the middle)’ 문제도 함께 다뤘다고 밝혔다.
리파이언트는 2025년 비로샨 나이커, 싯다르트 굿타, 매튜 하스웰이 설립했다. 양자수학자 출신인 나이커를 비롯한 창업진은 현재 AI 모델이 비효율적이며 더 나은 방법이 자연에 이미 존재한다고 보고, 진화적 탐색과 군집 행동에서 접근법을 빌려왔다. 회사는 이 방식을 먼저 모델 압축에 적용해 오픈AI의 GPT-OSS-120B를 램 12기가바이트의 맥북 프로에서 구동할 수 있을 만큼 줄였고, 이 성과를 바탕으로 임페리얼칼리지런던, 유니버시티칼리지런던과 연구 협력을 맺었다. 나이커 최고경영자는 “장문 컨텍스트 AI는 1년 넘게 논의됐지만 실제로 상업적으로 쓸 수 있게 된 적은 없었다”고 말했고, 최고제품책임자 하스웰은 고객들이 또 다른 대기자 명단이 아니라 직접 시험하고 개발할 수 있는 모델을 원한다고 덧붙였다.
리파이언트는 이미 내부적으로 1억 토큰 규모의 시제품을 돌렸다고 밝혔으나, 이를 어떻게 벤치마크하고 제품화할지는 아직 과제로 남아 있다. 이번 출시는 세 단계 계획 중 첫 단계이며 3개월 안에 후속 발표가 이어진다. 프로테아 공개는 회사가 올해 초 마감한 500만 달러 규모 시드 투자에 뒤이은 것이다. 100만·500만·1000만 토큰 버전이 refiant.ai에서 대기자 명단이나 승인 절차 없이 바로 제공된다.
저작권자 © STORIUM 무단전재 및 재배포 금지
