เกิดอะไรขึ้น
NVIDIA อธิบายว่าโรงงานผลิต AI (AI factories) ซึ่งสร้างความฉลาดในระดับขนาดใหญ่นั้น ทำงานอย่างต่อเนื่อง และถูกประเมินด้วยตัวชี้วัดต่างๆ เช่น จำนวนโทเคนต่อวินาที จำนวนโทเคนต่อวัตต์ ต้นทุนต่อโทเคน อัตราการใช้งาน และเวลาทำงานต่อเนื่อง
บทความนี้ชี้ให้เห็นว่าโครงสร้างพื้นฐาน AI จำเป็นต้องได้รับการออกแบบและสร้างขึ้นในลักษณะโรงงานที่สมบูรณ์ ไม่ใช่เพียงการรวมตัวของตัวเร่งความเร็ว (accelerators) แต่ละตัวเท่านั้น
บริษัทไฮเปอร์สเกลเลอร์และบริษัทที่เน้น AI เป็นหลักซึ่งกำลังพัฒนา XPU แบบกำหนดเองจำเป็นต้องคำนึงถึงข้อกำหนดในระดับโรงงานเหล่านี้
เหตุใดเรื่องนี้จึงสำคัญ
การเปลี่ยนจากการออกแบบตัวเร่งความเร็วแต่ละตัวไปสู่การออกแบบในระดับโรงงาน หมายความว่าการพัฒนา XPU แบบกำหนดเองต้องให้ความสำคัญกับประสิทธิภาพและความน่าเชื่อถือของทั้งระบบมากกว่าประสิทธิภาพดิบเพียงอย่างเดียว
เมื่อ AI ขยายขนาดมากขึ้น ความเป็นไปได้ทางเศรษฐกิจของโรงงานผลิต AI จะขึ้นอยู่กับการปรับผลผลิตที่ส่งมอบได้ให้เหมาะสมที่สุด ทำให้ตัวชี้วัดเหล่านี้มีความสำคัญอย่างยิ่งสำหรับทุกบริษัทที่กำลังสร้างโครงสร้างพื้นฐาน AI
มุมมองนี้อาจส่งผลต่อวิธีการออกแบบสถาปัตยกรรมฮาร์ดแวร์ AI ในอนาคต โดยเน้นไปที่การผสานรวมระบบและความต่อเนื่องในการดำเนินงาน
ข้อเท็จจริงสำคัญ
โรงงานผลิต AI ทำงานอย่างต่อเนื่องเพื่อสร้างความฉลาดในระดับขนาดใหญ่
เศรษฐศาสตร์ของโรงงานเหล่านี้ถูกกำหนดโดยผลผลิตที่ส่งมอบได้ ได้แก่ จำนวนโทเคนต่อวินาที จำนวนโทเคนต่อวัตต์ ต้นทุนต่อโทเคน อัตราการใช้งาน และเวลาทำงานต่อเนื่อง
โครงสร้างพื้นฐาน AI จำเป็นต้องได้รับการออกแบบและสร้างขึ้นในลักษณะโรงงานที่สมบูรณ์ ไม่ใช่เพียงการรวมตัวของตัวเร่งความเร็วแต่ละตัว
สิ่งที่ต้องจับตาดูต่อไป
จับตาดูว่าบริษัทไฮเปอร์สเกลเลอร์และบริษัทที่เน้น AI เป็นหลักจะนำตัวชี้วัดระดับโรงงานมาผนวกเข้ากับการออกแบบ XPU แบบกำหนดเองของตนอย่างไร
คาดว่าจะมีการถกเถียงเพิ่มเติมเกี่ยวกับข้อแลกเปลี่ยนระหว่างคุณสมบัติในระดับตัวเร่งความเร็วกับเป้าหมายด้านการดำเนินงานในระดับโรงงาน
ติดตามว่าจะมีมาตรฐานอุตสาหกรรมสำหรับการวัดประสิทธิภาพของโรงงานผลิต AI เกิดขึ้นหรือไม่