무슨 일이 있었나
Salesforce는 Amazon SageMaker AI의 Inference Component 배치 기능, 특히 SchedulingConfig 파라미터를 활용하여 모델 복사본이 배포되는 위치를 제어했습니다.
이 배치 메커니즘을 사용함으로써 Salesforce는 모델 복제본을 여러 가용 영역(Availability Zones)에 분산하여 고가용성(HA) 규정 준수 요구 사항을 충족했습니다.
이 접근 방식을 통해 Salesforce는 모델별로 별도의 인프라를 전용으로 사용하는 대신 다중 모델 공동 호스팅의 비용 이점을 유지할 수 있었습니다.
왜 중요한가
이 기술은 조직이 컴퓨팅 리소스 공유에서 얻는 규모의 경제를 포기하지 않고도 엄격한 Multi-AZ 고가용성 요구 사항을 충족할 수 있는 방법을 보여줍니다.
이는 대규모로 기계 학습 워크로드를 실행하는 기업에게 흔한 과제인 복원력과 비용 간의 균형을 맞추는 방법을 제시합니다.
이 예시는 다른 기업들이 지출을 최적화하면서 인프라를 규정 준수에 맞추기 위해 유사한 배치 전략을 모색하도록 장려할 수 있습니다.
주요 사실
Salesforce는 Amazon SageMaker AI Inference Component 배치를 사용했습니다.
이 배치는 SchedulingConfig 파라미터에 의존합니다.
모델 복사본은 여러 가용 영역(Availability Zones)에 분산되었습니다.
이로써 Multi-AZ 고가용성 규정 준수 요구 사항을 충족했습니다.
다중 모델 공동 호스팅의 비용 효율성이 유지되었습니다.
다음에 주목할 점
규제 산업에서 복원력과 비용을 모두 관리하기 위해 더 많은 기업이 Inference Component 배치를 채택할지 지켜보는 것이 흥미로울 것입니다.
SchedulingConfig의 향후 발전은 모델 분배에 대해 더 세밀한 제어를 제공하여 규정 준수 부담을 더욱 완화할 수 있을 것입니다.