Qué ocurrió
Durante los últimos años, la carrera de la infraestructura de IA se ha centrado en la memoria de alto ancho de banda (HBM) como ingrediente casi indispensable de la computación acelerada.
A medida que crecen el tamaño de los modelos, las ventanas de contexto y las cargas de trabajo de inferencia, el foco de la industria se está desplazando de simplemente apilar más memoria hacia mover los datos entre la memoria y el cómputo de forma más eficiente.
La incursión de Qualcomm en la HBC está arrastrando ahora a Samsung y SK hynix a una nueva carrera competitiva que va más allá del terreno ya establecido de la HBM.
Por qué importa
Si el verdadero cuello de botella es el movimiento de datos y no la densidad de memoria, entonces el liderazgo en empaquetado, interconexión e integración memoria-cómputo podría volverse más valioso que maximizar el número de capas de memoria apiladas.
La entrada de Qualcomm sugiere un cambio en las prioridades de diseño, lo que podría trastocar la dinámica competitiva entre los proveedores de memoria que han estado compitiendo principalmente en las especificaciones de HBM.
Datos clave
La carrera de la infraestructura de IA se ha centrado en la HBM como un componente indispensable de la computación acelerada.
El aumento del tamaño de los modelos, las ventanas de contexto y las cargas de trabajo de inferencia está desplazando el cuello de botella.
El cuello de botella está pasando de cuánta memoria se apila a cuán eficientemente se mueven los datos entre la memoria y el cómputo.
La apuesta de Qualcomm por la HBC está arrastrando a Samsung y SK hynix a una carrera que va más allá de la HBM.
Qué observar a continuación
Habrá que ver si los fabricantes de memoria reorientan sus hojas de ruta para dar prioridad a la eficiencia en el movimiento de datos en respuesta a la iniciativa de HBC de Qualcomm.
Habrá que ver si otros fabricantes de chips o proveedores de memoria anuncian iniciativas similares, lo que indicaría un cambio más amplio en la industria hacia un enfoque menos centrado en la HBM.