연속적으로 수집되는 웹 크롤은 살아 움직이는 URL 집합의 부분 표본으로 볼 수 있다. 이 연구는 같은 크롤 결과를 서로 다른 두 투영으로 읽는다. 하나는 인접한 크롤 사이의 포함관계이고, 다른 하나는 여러 차례 크롤을 가로지르는 누적 발견 곡선이다. 논문은 공개된 크롤 통계만으로 이 둘을 함께 맞추면, 각 라운드의 생존률 α와 커버리지 c뿐 아니라, 정책이 안정적으로 붙잡는 핵심부의 비율 κ까지 추정할 수 있다고 본다. arXiv에 올라온 동료검토 전 원고라는 점에서, 여기의 수치는 아직 검증된 결론이 아니라 프리프린트에서 제시된 내부 적합 결과다.
핵심은 단일한 균질 항아리 모형이 아니라, 핵심(core)과 껍질(shell)을 분리한 2요소 항아리 모형이다. 포함관계는 반복적으로 다시 보이는 URL에 무게가 실리고, 발견 곡선은 새로 드러나는 URL에 더 민감하다. 균질한 경우에는 두 투영이 같은 (α, c)를 되찾아야 하지만, Common Crawl 2020~2025 domain granularity와 German Academic Web의 URL granularity에서는 두 적합이 어긋났다. 이 어긋남을 설명하기 위해 핵심부 κ와 껍질의 매개변수 (α∂, c∂)를 둔 확장이 도입됐다.
Common Crawl 쪽에서는 2020~2025 월별 아카이브에서 공개된 url_last_N 통계를 이용해 51개 크롤 창을 분석했다. 월별 크롤 하나의 규모는 대략 20억~30억 URL 수준으로 소개되며, 2020~2025 구간의 도메인 단위 관측에서 발견 곡선은 창 길이가 늘수록 단조 증가하지만 기울기가 점점 완만해졌다. 정규화한 발견 곡선은 시작 시점이 달라도 거의 같은 형태로 겹쳤고, 포함관계와 발견 곡선의 균질 적합은 서로 분명히 달랐다. 2요소 적합에서는 두 투영이 핵심부 비율 κ(d) ≈ 0.4에 수렴했지만, 껍질의 c∂에는 여전히 잔차가 남았다.
| 대상 | 데이터/범위 | 주요 관측·적합값 | 근거 위치 |
|---|---|---|---|
| Common Crawl | 2020~2025 월별 아카이브, domain granularity, 51-crawl 창 | 두 균질 적합이 포함관계와 발견 곡선에서 불일치; 2요소 적합에서 κ(d) ≈ 0.4 | Fig. 3, Fig. 4, §4.2, §5 |
| German Academic Web (GAW) | 2013~2019 URL 수준 스냅샷, 단일 장기 궤적 | 두 투영이 같은 (κ, α, c) 삼중값으로 수렴; 문단 내 값으로 (0.06, 0.62, 0.51) 제시 | Fig. 5, §4.3, §5 |
| Common Crawl 공개 통계 | url_last_N for N ∈ {1,2,3,4,6,9,12} | 발견 곡선 U(s, T)를 구성하는 관측치로 사용 | §4.1, Fig. 2 |
| 운영자 관점의 파생량 | (α, c)에서 변환 | ℓ=α/ᾱ, η=cℓ, η̄=ċℓ, ν∞=ᾱ/(1−αċ) | §3.5, §6 |
자료: STORIUM 정리
같은 절차를 German Academic Web에도 적용했다. 이 아카이브는 약 150개의 독일 학술 홈페이지에서 시작한 Heritrix 기반 포커스 크롤이며, 2013~2019년의 URL 수준 스냅샷을 제공한다. 여기서는 단일 장기 궤적만 있어 Common Crawl처럼 시작 시점별 가족을 비교할 수는 없지만, 두 투영이 같은 삼중값으로 모이는지 자체가 검증 기준이 된다. 결과는 구조적으로 Common Crawl과 같았다. 수치값은 CC의 도메인 수준 결과와 다르지만, 포함관계와 발견 곡선이 같은 (κ, α, c) 삼중값으로 맞물렸고, 단일 균질 모형만으로는 생기는 편향도 같은 방향으로 나타났다.
연구진은 또 운영자 관점의 해석을 붙인다. c는 매 라운드 얼마나 넓게 샘플링하는지, α는 살아남아 다음 라운드까지 이어지는 비율인지에 해당하며, κ는 정책이 계속 보이게 유지하는 URL 덩어리의 비중으로 읽힌다. Common Crawl 쪽에서는 c가 ≈ 0.78, GAW 쪽에서는 ≈ 0.51로 달랐고, 이는 서로 다른 운영 지점과 크롤 구조를 반영한다고 설명한다. 반면 α는 실제 웹의 생존률이라기보다, 크롤이 관측한 생존률로 해석하는 편이 맞다고 정리한다. 짧게 사라졌다가 다시 나타나는 URL은 긴 숨은 구간으로도, 식별자 재등장으로도 관측될 수 있기 때문이다.
결국 이 논문이 제공하는 것은 웹 크롤을 설명하는 작은 사전이다. 포함관계와 발견 곡선, 커버리지와 churn, unique rate, life expectancy, resolve time, hidden time, core fraction을 같은 틀에 올려놓고 서로 변환하는 방식이다. 한편 shell 내부가 균질하지 않다는 흔적, 특히 c∂의 잔차는 남아 있다. 연구진은 이를 랭크 축에서 더 세분화한 κ(r) 같은 확장으로 이어질 문제로 남겨두었다.
저작권자 © STORIUM 무단전재 및 재배포 금지
