เกิดอะไรขึ้น
Google Cloud ประกาศเปิดตัวเครื่องมือควบคุมด้าน FinOps ใหม่สำหรับ Gemini Enterprise เพื่อช่วยให้องค์กรติดตามค่าใช้จ่าย AI ในระดับโปรเจกต์ และหลีกเลี่ยงภาวะช็อกจากค่าใช้จ่ายโทเคนที่พุ่งสูงเกินคาด
บริษัทยังได้อธิบายรายละเอียดแนวทางปฏิบัติที่ดีที่สุดสำหรับการบริหารกำลังประมวลผลแบบไดนามิก ครอบคลุมทั้งการจองกำลังประมวลผลล่วงหน้าตามตารางเวลา แผนสำรองแบบอัตโนมัติ และการจัดการผ่าน Google Kubernetes Engine
แนวทางดังกล่าวเน้นย้ำการผสมผสานระหว่างการจองทรัพยากรไว้ล่วงหน้าสำหรับความต้องการที่คาดการณ์ได้ กับระบบอัตโนมัติสำหรับรองรับความต้องการที่พุ่งสูงขึ้นอย่างไม่คาดคิด
เหตุใดจึงสำคัญ
ภาระงานของเอเจนต์ AI ใช้ทรัพยากรมากและมีลักษณะพุ่งขึ้นลงเป็นช่วงๆ ดังนั้นโครงสร้างพื้นฐานแบบตายตัวจึงอาจนำไปสู่คอขวดด้านการสเกล หรือการใช้กำลังประมวลผลที่ไม่คุ้มค่าได้อย่างรวดเร็ว
เมื่อมีผู้นำฝ่าย IT เพียง 17% เท่านั้นที่มั่นใจว่าระบบปัจจุบันของตนรองรับการติดตั้งใช้งานเอเจนต์ได้ การบริหารกำลังประมวลผลแบบไดนามิกจึงกำลังกลายเป็นสิ่งจำเป็นสำหรับการนำไปใช้ในระดับองค์กร
เนื่องจากฮาร์ดแวร์เพียงอย่างเดียวไม่เพียงพอ ทีมงานจึงจำเป็นต้องมีกลยุทธ์ด้านการจัดตารางและระบบอัตโนมัติ เพื่อดึงมูลค่าออกมาจากการลงทุนด้านโครงสร้างพื้นฐานให้ได้มากขึ้น
ข้อเท็จจริงสำคัญ
90% ขององค์กรต้องการติดตั้งใช้งานเอเจนต์ภายในสามปีข้างหน้า
Dynamic Workload Scheduler มีโหมดปฏิทินสำหรับกิจกรรมที่วางแผนไว้ล่วงหน้า และโหมด flex-start สำหรับงานแบบแบตช์ที่มีเวลาเริ่มต้นยืดหยุ่นได้
Managed instance groups ช่วยให้สามารถกำหนดรายการฮาร์ดแวร์สำรองแบบอัตโนมัติและจัดลำดับความสำคัญได้ เพื่อความต่อเนื่องของบริการ
Google Kubernetes Engine มอบสภาพแวดล้อมที่รองรับเอเจนต์โดยเฉพาะ ด้วยการใช้ Custom ComputeClasses และการจัดสรรทรัพยากรแบบไดนามิก
สิ่งที่ต้องจับตาต่อไป
การนำเครื่องมือควบคุมด้าน FinOps ใหม่สำหรับ Gemini Enterprise ไปใช้งาน ในขณะที่องค์กรต่างๆ พยายามบริหารจัดการค่าใช้จ่าย AI และขจัดภาวะช็อกจากค่าใช้จ่ายโทเคน
ว่าองค์กรต่างๆ จะผสมผสานการจองกำลังประมวลผลไว้ล่วงหน้ากับระบบอัตโนมัติที่ปรับตัวได้ เพื่อรักษาประสิทธิภาพการทำงานไว้ได้หรือไม่ ในขณะที่การติดตั้งใช้งานเอเจนต์ขยายสเกลมากขึ้น