Qué ocurrió
Salesforce aprovechó la función de ubicación de componentes de inferencia de Amazon SageMaker AI, en concreto el parámetro SchedulingConfig, para controlar dónde se despliegan las copias del modelo.
Mediante este mecanismo de ubicación, Salesforce distribuyó las réplicas del modelo entre varias zonas de disponibilidad, cumpliendo así sus requisitos de conformidad de alta disponibilidad.
Este enfoque les permitió conservar las ventajas de costo del alojamiento conjunto de múltiples modelos, en lugar de dedicar infraestructura separada a cada modelo.
Por qué es importante
La técnica muestra cómo las organizaciones pueden cumplir con estrictos requisitos de alta disponibilidad multi-AZ sin renunciar a las economías de escala que ofrece compartir recursos de cómputo.
Demuestra un camino para equilibrar la resiliencia y el costo, un desafío habitual para las empresas que ejecutan cargas de trabajo de machine learning a gran escala.
Este ejemplo podría animar a otras empresas a explorar estrategias de ubicación similares para alinear su infraestructura con el cumplimiento normativo, a la vez que optimizan el gasto.
Datos clave
Salesforce utilizó la ubicación de componentes de inferencia de Amazon SageMaker AI.
La ubicación se basa en el parámetro SchedulingConfig.
Las copias del modelo se distribuyeron entre varias zonas de disponibilidad.
Esto cumplió con los requisitos de conformidad de alta disponibilidad multi-AZ.
Se preservó la eficiencia de costos del alojamiento conjunto de múltiples modelos.
Qué observar a continuación
Será interesante ver si más empresas adoptan la ubicación de componentes de inferencia para gestionar tanto la resiliencia como el costo en industrias reguladas.
La evolución futura de SchedulingConfig podría ofrecer un control aún más granular sobre la distribución de modelos, facilitando aún más el cumplimiento normativo.