무슨 일이 있었나
Google Cloud는 AlloyDB의 ScaNN 인덱스에 대한 아키텍처 개선 사항을 공개했습니다. 현재 미리보기 상태인 4단계 트리로서, 10 billion 벡터 규모에서 효율적인 작동을 가능하게 합니다.
이전의 2단계 및 3단계 트리 설계는 이 규모에서 병목 현상을 겪었습니다. 여기에는 10 billion 벡터에 필요한 샘플링으로 인한 컴퓨팅 집약도 증가와 메모리 제약이 포함됩니다.
새로운 하향식 아키텍처는 Top-K 분기, SOAR, 중심 조정, 균형 잡힌 트리 형태와 같은 개선 사항을 통합하여 정확도와 구축 효율성을 유지합니다.
중요한 이유
에이전틱 AI 애플리케이션은 종종 벡터 데이터베이스를 수십억 개의 벡터로 확장하며, 많은 시스템이 이러한 요구 속에서 효과적으로 확장하는 데 어려움을 겪습니다.
계층적 분할을 통해 컴퓨팅 부하를 줄이고 메모리 사용을 최적화함으로써, AlloyDB는 전례 없는 규모에서 낮은 쿼리 지연 시간과 높은 재현율을 갖춘 엔터프라이즈급 성능을 제공하는 것을 목표로 합니다.
주요 사실
AlloyDB는 까다로운 엔터프라이즈 워크로드를 위해 설계된 완전 관리형 PostgreSQL 호환 데이터베이스 서비스입니다.
ScaNN 인덱스는 이제 4단계 트리 아키텍처 덕분에 10 billion 벡터 규모에서 효율적으로 작동합니다.
내부 성능 테스트에 따르면 10 billion 벡터에서 95% 재현율과 p95 지연 시간이 51 ms 이하입니다.
4단계 계층적 설계는 검색 복잡도를 O(N^1/4)로 줄여 10 billion 이상의 벡터를 지원합니다.
다음에 주목할 점
4단계 트리가 여전히 미리보기 상태에 있으므로, 기업들은 일반 제공 및 프로덕션 준비 상태로의 진행을 주목할 것입니다.
향후 개발은 벡터 데이터셋이 10 billion 벡터를 넘어 계속 성장함에 따라 지연 시간과 재현율을 유지하는 데 초점을 맞출 수 있습니다.