เกิดอะไรขึ้น

Google Cloud ร่วมมือกับ Anyscale ประกาศเปิดตัวไลบรารีทดลองสำหรับ Ray ที่ผสาน gVisor sandbox เข้ากับคลัสเตอร์ Ray แบบกระจายโดยตรง โดยมีเป้าหมายเพื่อให้การรันงานแบบ agentic และ reasoning เป็นไปอย่างปลอดภัยและแยกส่วนกัน

ไลบรารีนี้จำลอง sandbox ให้เป็น Ray Actors ทำให้สามารถจัดตารางงาน จัดสรรทรัพยากร และจัดการได้เหมือนทรัพยากรอื่น ๆ ของ Ray โดย gVisor จะทำหน้าที่แยกส่วนการทำงานในแต่ละโหนด

เริ่มตั้งแต่ Ray 2.58 นักพัฒนาสามารถใช้ sandbox API เพื่อสร้างสภาพแวดล้อมจากอิมเมจ OCI กำหนดขีดจำกัดทรัพยากร รันคำสั่ง จัดการไฟล์ และปิด sandbox ได้ พร้อมทั้งมี SandboxRuntime ระดับล่างสำหรับเข้าถึง gVisor โดยตรง

เหตุใดจึงสำคัญ

เมื่องาน RL และ agentic เติบโตขึ้น การรัน rollout แบบไดนามิก การสร้างโค้ด และการโต้ตอบกับเครื่องมือแบบหลายรอบอย่างปลอดภัยในระดับขนาดใหญ่จึงกลายเป็นเรื่องสำคัญยิ่ง การผสานรวมนี้จึงเป็นวิธีในตัวสำหรับสร้าง sandbox ให้การทำงานลักษณะดังกล่าวภายในโมเดลการเขียนโปรแกรมเดิมของ Ray

การทำให้ sandbox เป็นองค์ประกอบหลักของ Ray ช่วยลดความซับซ้อนในการจัดการงานสำหรับผู้พัฒนาเฟรมเวิร์กและนักวิจัย ซึ่งอาจช่วยเร่งให้เกิดการนำเวิร์กโฟลว์ post-training ที่ปลอดภัยไปใช้งานมากขึ้น

ข้อเท็จจริงสำคัญ

ไลบรารีนี้อยู่ในสถานะทดลองและพัฒนาร่วมกับ Anyscale

Sandbox ถูกนำเสนอในรูปแบบ Ray Actors โดยมี gVisor ทำหน้าที่แยกส่วนการทำงาน

Sandbox API รองรับการสร้างสภาพแวดล้อมจากอิมเมจ OCI การกำหนดขีดจำกัด CPU/หน่วยความจำ การรันคำสั่ง และการจัดการไฟล์

เริ่มตั้งแต่ Ray 2.58 เป็นต้นไป สามารถใช้งาน sandbox API ได้แล้ว

สิ่งที่ต้องจับตาดูต่อไป

ไลบรารีทดลองนี้จะพัฒนาต่อไปอย่างไรตามคำติชมจากชุมชน และการนำไปใช้ในเฟรมเวิร์ก RL อย่าง veRL และ NeMo-RL

แนวทางนี้จะกลายเป็นมาตรฐานสำหรับการรันงานอย่างปลอดภัยในระบบ AI แบบกระจายหรือไม่ ซึ่งอาจส่งผลต่อการออก Ray เวอร์ชันใหม่ ๆ ในอนาคต

แหล่งที่มา