เกิดอะไรขึ้น

Amazon SageMaker HyperPod ได้เปิดตัวการรองรับ Ray แบบมีการจัดการ (managed) บน Amazon EKS ทำให้ผู้ใช้สามารถสร้างและตรวจสอบ Ray cluster ได้โดยตรงจาก SageMaker Studio

ผู้ใช้สามารถเชื่อมต่อ notebook ของ JupyterLab และ Code Editor เข้ากับ Ray cluster ที่กำลังทำงานอยู่ (live) และได้ประโยชน์จากฟีเจอร์ observability ที่พร้อมใช้งานทันที

การผสานรวมนี้ใช้ประโยชน์จาก KubeRay ซึ่งเป็นโอเพนซอร์ส และ Ray API มาตรฐาน ทำให้สามารถฝึกโมเดลแบบกระจายที่ทนทานต่อความล้มเหลว (resilient) และเร่งความเร็วในการอนุมานได้

เหตุใดจึงสำคัญ

การผสานรวมนี้ช่วยลดความซับซ้อนในการจัดการ Ray cluster ภายในระบบนิเวศของ SageMaker ลดภาระด้านการดำเนินงานสำหรับเวิร์กโหลดแบบกระจาย

การใช้ Ray API มาตรฐานและ KubeRay ทำให้ผู้ใช้รักษาความสามารถในการเคลื่อนย้าย (portability) และหลีกเลี่ยงการผูกติดกับผู้ให้บริการรายเดียว (vendor lock-in) ได้ ในขณะที่ยังได้รับการผสานรวมกับเครื่องมือของ SageMaker อย่างไร้รอยต่อ

ความสามารถในการเชื่อมต่อ notebook เข้ากับ cluster ที่กำลังทำงานอยู่ช่วยยกระดับประสบการณ์การพัฒนา ทำให้สามารถดีบักแบบโต้ตอบและทดลองซ้ำได้อย่างต่อเนื่อง

ข้อเท็จจริงสำคัญ

Amazon SageMaker HyperPod เปิดให้ใช้การรองรับ Ray แบบมีการจัดการบน Amazon EKS แล้ว

ผู้ใช้สามารถสร้างและตรวจสอบ Ray cluster ได้จาก SageMaker Studio

notebook ของ JupyterLab และ Code Editor สามารถเชื่อมต่อกับ Ray cluster ที่กำลังทำงานอยู่ได้

โซลูชันนี้มาพร้อม observability ที่พร้อมใช้งานทันที และรองรับการฝึกโมเดลแบบกระจายที่ทนทานต่อความล้มเหลว รวมถึงการเร่งความเร็วในการอนุมาน

โซลูชันนี้สร้างขึ้นบน KubeRay ซึ่งเป็นโอเพนซอร์ส และ Ray API มาตรฐาน

สิ่งที่ต้องจับตาดูต่อไป

การนำ Ray แบบมีการจัดการบน SageMaker HyperPod ไปใช้งานสำหรับเวิร์กโหลดการฝึกโมเดลแบบกระจายขนาดใหญ่

การปรับปรุงที่อาจเกิดขึ้นกับฟีเจอร์ด้าน observability และการจัดการ cluster ในอัปเดตครั้งต่อไป

การผสานรวมกับบริการอื่นๆ ของ AWS และเครื่องมือจากบุคคลที่สาม เพื่อทำให้เวิร์กโฟลว์ ML ราบรื่นยิ่งขึ้น

แหล่งที่มา