เกิดอะไรขึ้น
Salesforce นำฟีเจอร์ Inference Component placement ของ Amazon SageMaker AI มาใช้ โดยเฉพาะพารามิเตอร์ SchedulingConfig เพื่อควบคุมตำแหน่งที่โมเดลแต่ละชุดจะถูกนำไปติดตั้ง
ด้วยกลไกการจัดวางนี้ Salesforce กระจายสำเนาของโมเดลออกไปยังหลาย Availability Zone ซึ่งช่วยให้เป็นไปตามข้อกำหนดด้านการปฏิบัติตามมาตรฐานความพร้อมใช้งานสูงแบบ Multi-AZ
แนวทางนี้ยังทำให้พวกเขายังคงได้รับข้อได้เปรียบด้านต้นทุนจากการโฮสต์หลายโมเดลร่วมกัน แทนที่จะต้องแยกโครงสร้างพื้นฐานสำหรับแต่ละโมเดลโดยเฉพาะ
เหตุใดจึงสำคัญ
เทคนิคนี้แสดงให้เห็นว่าองค์กรต่างๆ สามารถปฏิบัติตามข้อบังคับด้านความพร้อมใช้งานสูงแบบ Multi-AZ ที่เข้มงวดได้ โดยไม่ต้องละทิ้งข้อได้เปรียบด้านความคุ้มค่าที่เกิดจากการใช้ทรัพยากรประมวลผลร่วมกัน
มันแสดงให้เห็นแนวทางในการสร้างสมดุลระหว่างความยืดหยุ่นทนทานและต้นทุน ซึ่งเป็นความท้าทายที่พบได้ทั่วไปสำหรับองค์กรที่รันเวิร์กโหลดแมชชีนเลิร์นนิงในระดับใหญ่
ตัวอย่างนี้อาจเป็นแรงกระตุ้นให้ธุรกิจอื่นๆ สำรวจกลยุทธ์การจัดวางในลักษณะเดียวกัน เพื่อให้โครงสร้างพื้นฐานสอดคล้องกับข้อกำหนดด้านการปฏิบัติตามมาตรฐาน พร้อมกับปรับค่าใช้จ่ายให้เหมาะสมที่สุด
ข้อเท็จจริงสำคัญ
Salesforce ใช้ฟีเจอร์ Inference Component placement ของ Amazon SageMaker AI
การจัดวางนี้อาศัยพารามิเตอร์ SchedulingConfig
สำเนาของโมเดลถูกกระจายออกไปยังหลาย Availability Zone
สิ่งนี้ช่วยให้เป็นไปตามข้อกำหนดด้านการปฏิบัติตามมาตรฐานความพร้อมใช้งานสูงแบบ Multi-AZ
ความคุ้มค่าด้านต้นทุนของการโฮสต์หลายโมเดลร่วมกันยังคงถูกรักษาไว้
สิ่งที่ต้องจับตาดูต่อไป
น่าสนใจที่จะได้เห็นว่าจะมีบริษัทอื่นๆ นำการจัดวาง Inference Component มาใช้เพื่อบริหารทั้งความยืดหยุ่นทนทานและต้นทุนในอุตสาหกรรมที่มีการกำกับดูแลมากขึ้นหรือไม่
วิวัฒนาการในอนาคตของ SchedulingConfig อาจมอบการควบคุมการกระจายโมเดลที่ละเอียดยิ่งขึ้น ซึ่งจะช่วยลดภาระด้านการปฏิบัติตามมาตรฐานได้มากขึ้นไปอีก