何が起こったか
Salesforce は、Amazon SageMaker AI の Inference Component 配置機能、具体的には SchedulingConfig パラメータを活用して、モデルコピーのデプロイ先を制御しました。
この配置メカニズムを使用することで、Salesforce はモデルレプリカを複数のアベイラビリティーゾーンに分散し、高可用性のコンプライアンス要件を満たしました。
このアプローチにより、モデルごとに個別のインフラを用意するのではなく、マルチモデル共存ホスティングのコスト優位性を維持することができました。
なぜ重要か
この技術は、コンピューティングリソースの共有によるスケールメリットを放棄することなく、厳格な Multi-AZ 高可用性要件を満たす方法を示しています。
これは、大規模な機械学習ワークロードを実行する企業にとって共通の課題である、回復性とコストのバランスを取るための道筋を示しています。
この例は、他の企業が支出を最適化しながらインフラをコンプライアンスに適合させるために、同様の配置戦略を検討するきっかけになるかもしれません。
主要な事実
Salesforce は Amazon SageMaker AI Inference Component の配置を使用しました。
この配置は SchedulingConfig パラメータに依存しています。
モデルコピーは複数のアベイラビリティーゾーンに分散されました。
これにより Multi-AZ 高可用性のコンプライアンス要件を満たしました。
マルチモデル共存ホスティングのコスト効率が維持されました。
今後の注目点
規制産業において、回復性とコストの両方を管理するために Inference Component 配置を採用する企業が増えるかどうか、注目が集まります。
SchedulingConfig の将来の進化により、モデル分散のより細かい制御が可能になり、コンプライアンスの負担がさらに軽減される可能性があります。