Qué ocurrió
Google Cloud presentó una mejora arquitectónica del índice ScaNN de AlloyDB: un árbol de cuatro niveles, actualmente en vista previa, que permite operar de forma eficiente a una escala de 10 mil millones de vectores.
Los diseños anteriores de árbol de dos y tres niveles se topaban con cuellos de botella a esta escala, incluida una mayor intensidad de cómputo y limitaciones de memoria derivadas del muestreo necesario para 10 mil millones de vectores.
La nueva arquitectura de arriba hacia abajo incorpora mejoras como la rama Top-K, SOAR, el ajuste de centroides y una forma de árbol equilibrada para mantener la precisión y la eficiencia de construcción.
Por qué importa
Las aplicaciones de IA agéntica suelen llevar las bases de datos vectoriales a miles de millones de vectores, y muchos sistemas tienen dificultades para escalar de forma eficaz ante esa demanda.
Al reducir la carga computacional mediante particionamiento jerárquico y optimizar el uso de memoria, AlloyDB busca ofrecer un rendimiento de nivel empresarial con baja latencia en las consultas y alta recuperación (recall) a una escala sin precedentes.
Datos clave
AlloyDB es un servicio de base de datos totalmente administrado y compatible con PostgreSQL, diseñado para cargas de trabajo empresariales exigentes.
El índice ScaNN ahora funciona de forma eficiente a una escala de 10 mil millones de vectores gracias a la arquitectura de árbol de cuatro niveles.
Las pruebas internas de rendimiento reportan un 95% de recall y una latencia p95 de no más de 51 ms con 10 mil millones de vectores.
El diseño jerárquico de cuatro niveles reduce la complejidad de búsqueda a O(N^1/4), lo que permite manejar más de 10 mil millones de vectores.
Qué observar a continuación
Dado que el árbol de cuatro niveles sigue en vista previa, es probable que las empresas sigan de cerca su camino hacia la disponibilidad general y su preparación para producción.
Los desarrollos futuros podrían centrarse en mantener la latencia y el recall a medida que los conjuntos de datos vectoriales sigan creciendo más allá de los 10 mil millones de vectores.