자연어 요구사항만으로 웹 스크래퍼 코드를 생성하는 대규모 언어 모델(LLM) 에이전트가 실무에 곧바로 쓰이기 어려운 이유로 의존성 오류, 깨진 셀렉터, 스키마 불일치, 제각각인 페이지 구조 등이 꼽혀 왔다. 연구자 첸보(Chen, Bo)는 최근 arXiv에 공개한 논문 ‘실패를 안전하게 만들기: 오픈웹 데이터 수집을 위한 제약적이고 검증 가능한 에이전트 프레임워크(Making Failure Safe)’에서 이런 불안정성을 해결하기 위한 새로운 접근법을 제시했다.
논문의 핵심은 LLM의 출력 형태를 자유 형식 코드에서 타입이 지정된 JSON 수집기 설정(collector configuration)으로 전환하는 것이다. 연구진은 여섯 가지 유형의 수집기 분류체계와 템플릿·유틸리티 함수 제약, 정적 에어플로(Airflow) DAG 실행, 규칙 기반 품질 검사, 구조화된 피드백 교정을 결합한 제약적이고 검증 가능한 에이전트 프레임워크를 구축했다. 코드를 직접 생성하게 하는 대신 정해진 형식의 설정값만 산출하도록 제한함으로써, 실행 단계에서 발생할 수 있는 예측 불가능한 오류를 원천적으로 줄이는 방식이다.
연구진은 138개 과제에 대한 실험을 통해 이 분류체계가 요구사항을 설명 기반으로 유형화하는 데 효과적임을 확인했다. 다만 안정적인 인스턴스화를 위해서는 최초 설명만으로는 부족하며, 소스와 필드, 실행 관련 제약 조건을 추가로 충족해야 한다는 점도 함께 드러났다. 이는 자연어 요구사항 자체가 완전한 스펙이 될 수 없고, 시스템이 부족한 정보를 구조적으로 보완하는 절차가 필요함을 시사하는 결과다.
독립적으로 검증된 80개 과제를 대상으로 한 실험에서는 이 프레임워크가 실행 단계에서 LLM 토큰을 전혀 사용하지 않으면서도 가장 짧은 평균 실행 시간을 기록했다. 연구진은 일회성 생성 품질을 다소 희생하는 대신, 반복적으로 예약 실행되는 데이터 수집 작업에 적합한 재사용 가능하고 결정론적이며 검증 가능한 실행 경로를 확보했다고 설명했다. 이런 접근은 반복 실행 비용을 낮추면서도 신뢰성을 높이는 방향으로, <a href=”https://www.storium.io/b44-kimi-k2-7-code-%ed%81%b4%eb%a1%9c%eb%93%9c-fable5-%eb%9e%9c%eb%94%a9%ed%8e%98%ec%9d%b4%ec%a7%80-%eb%b9%84%ec%a7%80-94-%ec%a0%88%ea%b0%90/”>코드 생성 AI의 비용 효율성을 개선하려는 최근 흐름</a>과도 맞닿아 있다. 연구진은 이 프레임워크가 반복적인 오픈웹 데이터 수집 작업에 재사용 가능하고 저비용이며 검증 가능한 실행 경로로 자리매김할 수 있다고 결론지었다.
