아마존웹서비스(AWS)가 비즈니스 인텔리전스(BI) 도구인 아마존 퀵사이트(QuickSight)에 ‘다중 데이터셋 관계’ 기능을 도입했다. 여러 테이블을 미리 하나의 넓은 데이터셋으로 결합해두는 대신, 데이터셋 사이에 논리적 관계를 정의하고 질의 시점에 실행 시점 조인(runtime join)을 수행하는 방식이다. 기존에는 테이블을 결합하려면 사전에 비정규화된 평면 데이터셋으로 미리 조인해야 했고, 이 과정에서 세 가지 문제가 반복됐다.
첫째는 사전 준비 부담이다. 어떤 질문이 나올지 다 알기도 전에 조인 구조를 먼저 정해야 했다. 둘째는 측정값 중복으로, 사실 테이블을 상위 단위의 차원에 조인하면 측정값이 복제돼 합계가 부풀려졌다. 셋째는 데이터셋 난립이다. 거의 모든 보고 시나리오마다 별도의 맞춤형 평면 데이터셋이 필요했다. 새 방식은 사전 데이터 준비를 줄이고 원본 단위(granularity)를 보존하며, 하나의 토픽(Topic)을 여러 분석에서 재사용하고, 거버넌스를 단순화하며, 테이블별로 독립적인 새로 고침 일정을 두고, 행 수준 보안을 실행 시점 조인에서 적용할 수 있게 했다.
모델은 두 계층으로 구성된다. 데이터셋 내부의 물리 계층에서는 테이블을 조인·SQL·변환으로 병합하고, 토픽 안 데이터셋 사이의 논리 계층에서는 데이터셋을 별개로 유지한 채 정의된 키로 관계를 맺어 여러 데이터셋이 필요할 때만 조인한다. 현재 관계는 내부 조인(inner join) 방식만 지원해, 양쪽 데이터셋에 일치하는 키가 있는 행만 결과에 나타난다는 점은 유의해야 한다. 앞서 STORIUM이 전한 퀵사이트 BI 자산 백업 전략과 함께 보면 데이터 모델의 관리 부담을 줄이는 흐름을 읽을 수 있다.
AWS가 제시한 모범 사례는 사실 테이블과 주변 차원으로 구성되는 스타 스키마를 기본 토대로 삼고, 하나의 데이터셋을 하나의 비즈니스 개념에 대응하는 논리 테이블로 설계하는 것이다. 조인 키는 정수형 대리 키를 쓰고 자료형을 맞추며 널 값을 제거하고 참조 무결성을 검증할 것을 권했다. 또 사실 테이블에 조인되는 데이터셋의 단위를 호환되게 관리하고, 필드 설명·동의어·의미론적 유형·맞춤 지시를 메타데이터로 보강해 자연어 질의 정확도를 높이며, 다중 사실 시나리오에서는 공통 차원의 단위를 확인하도록 안내했다. AWS는 구체적인 테이블 구조와 예제 SQL 질의, 순환 조인 같은 미지원 패턴 우회법을 다루는 후속 글도 예고했다.
저작권자 © STORIUM 무단전재 및 재배포 금지
