เกิดอะไรขึ้น
Google Cloud เปิดตัวการปรับปรุงสถาปัตยกรรมของดัชนี ScaNN ใน AlloyDB ด้วยโครงสร้างต้นไม้สี่ระดับ ซึ่งขณะนี้อยู่ในสถานะพรีวิว ช่วยให้ทำงานได้อย่างมีประสิทธิภาพในระดับ 10 พันล้านเวกเตอร์
ก่อนหน้านี้ การออกแบบต้นไม้แบบสองระดับและสามระดับเผชิญปัญหาคอขวดในระดับขนาดนี้ ทั้งภาระการประมวลผลที่เพิ่มขึ้นและข้อจำกัดด้านหน่วยความจำจากการสุ่มตัวอย่างที่จำเป็นสำหรับข้อมูลระดับ 10 พันล้านเวกเตอร์
สถาปัตยกรรมแบบบนลงล่างใหม่นี้รวมเอาการปรับปรุงต่างๆ เข้าไว้ด้วยกัน เช่น Top-K branch, SOAR, การปรับจุดศูนย์กลาง (centroid adjustment) และรูปทรงต้นไม้ที่สมดุล เพื่อรักษาความแม่นยำและประสิทธิภาพในการสร้างดัชนี
เหตุใดจึงสำคัญ
แอปพลิเคชัน AI เชิงเอเจนต์มักผลักดันให้ฐานข้อมูลเวกเตอร์ต้องรองรับข้อมูลระดับหลายพันล้านเวกเตอร์ และหลายระบบก็ประสบปัญหาในการขยายขนาดให้รองรับความต้องการเหล่านี้ได้อย่างมีประสิทธิภาพ
ด้วยการลดภาระการประมวลผลผ่านการแบ่งพาร์ทิชันแบบลำดับชั้นและการปรับใช้หน่วยความจำให้เหมาะสม AlloyDB มุ่งมั่นที่จะมอบประสิทธิภาพระดับองค์กรที่มีเวลาแฝงในการค้นหาต่ำและความแม่นยำในการเรียกคืน (recall) สูง ในขนาดที่ไม่เคยมีมาก่อน
ข้อเท็จจริงสำคัญ
AlloyDB เป็นบริการฐานข้อมูลที่จัดการให้แบบครบวงจร รองรับ PostgreSQL และออกแบบมาสำหรับภาระงานระดับองค์กรที่มีความต้องการสูง
ปัจจุบันดัชนี ScaNN ทำงานได้อย่างมีประสิทธิภาพในระดับ 10 พันล้านเวกเตอร์ ด้วยสถาปัตยกรรมต้นไม้สี่ระดับ
ผลการทดสอบประสิทธิภาพภายในรายงานว่ามีความแม่นยำในการเรียกคืน (recall) 95% และเวลาแฝง p95 ไม่เกิน 51 มิลลิวินาที ที่ระดับ 10 พันล้านเวกเตอร์
การออกแบบแบบลำดับชั้นสี่ระดับช่วยลดความซับซ้อนในการค้นหาลงเหลือ O(N^1/4) ทำให้รองรับเวกเตอร์ได้มากกว่า 10 พันล้านรายการ
สิ่งที่ต้องจับตาต่อไป
เนื่องจากโครงสร้างต้นไม้สี่ระดับยังอยู่ในสถานะพรีวิว องค์กรต่างๆ น่าจะติดตามความคืบหน้าสู่การเปิดให้ใช้งานทั่วไป (general availability) และความพร้อมสำหรับใช้งานจริงในระบบโปรดักชัน
การพัฒนาต่อไปในอนาคตอาจมุ่งเน้นไปที่การรักษาระดับเวลาแฝงและความแม่นยำในการเรียกคืน ในขณะที่ชุดข้อมูลเวกเตอร์ยังคงขยายตัวเกินกว่า 10 พันล้านเวกเตอร์