파이썬용 웹 크롤링 프레임워크 Crawlee가 RAG(검색 증강 생성) 워크플로우까지 커버하는 엔드투엔드 데이터 파이프라인 구성 방법을 공개했다. 이 파이프라인은 정적 HTML 크롤링부터 자바스크립트 동적 렌더링, 구조화 데이터 추출, AI 학습용 청크 생성에 이르는 전 과정을 단일 코드베이스에서 처리한다. LLM(대규모 언어 모델) 학습이나 RAG 인덱싱에 필요한 고품질 웹 데이터를 수집하는 작업이 늘면서 크롤링 프레임워크에 대한 관심도 높아지고 있다.
Crawlee 파이프라인은 세 가지 크롤러를 목적에 따라 조합한다. BeautifulSoupCrawler는 HTML을 빠르게 파싱해 페이지 제목·메타데이터·링크·제품 정보·문서 헤딩을 재귀적으로 수집하며, robots.txt 규칙을 자동으로 준수한다. ParselCrawler는 CSS 선택자와 XPath를 이용해 특정 페이지에서 정밀 추출을 수행한다. PlaywrightCrawler는 헤드리스 Chromium 브라우저로 자바스크립트가 렌더링한 동적 콘텐츠를 실행 후 캡처하고 전체 화면 스크린샷도 저장한다. 세 크롤러가 수집한 데이터는 하나의 통합 데이터셋으로 병합된다.
AI 활용을 위한 후처리 단계도 파이프라인에 포함된다. 수집된 텍스트를 최대 700자 단위로 분할해 청크 ID·출처 URL·페이지 유형·제목을 함께 저장하는 JSONL 파일을 생성하며, 이 형식은 RAG 시스템의 벡터 데이터베이스에 바로 색인할 수 있는 구조다. 페이지 간 내부 링크 관계는 NetworkX를 이용해 방향 그래프(GraphML)로 저장하고 시각화도 지원한다. 정규화된 제품 카탈로그, JSON·CSV 복합 내보내기, Matplotlib 차트 생성 등 분석용 산출물도 자동으로 만들어진다.
Crawlee는 동시 접속 설정, 요청 재시도, 큐 관리, 키-값 스토어를 공통 인터페이스로 추상화해 제공한다. 관리자 경로를 크롤 범위에서 제외하는 필터링, 비동기 실행, Colab 런타임 자동 재시작 처리 등 실제 운영 환경에서 발생하는 문제들을 프레임워크 수준에서 해결하는 것이 특징이다. 웹 스크레이핑을 통한 AI 학습 데이터 구축 수요가 늘어나면서, 크롤링·구조화·RAG 청크 생성을 한 파이프라인에서 처리하는 Crawlee의 접근 방식이 주목받고 있다.
