发生了什么
AI工厂为了大规模生成智能,需要持续运行,其经济效益由输出指标决定,包括每秒令牌数、每瓦特令牌数、每个令牌的成本、利用率和正常运行时间。
这要求AI基础设施必须作为完整的工厂来设计和构建,而不是一堆单独的加速器。
超大规模企业和AI原生公司正在定制XPU,必须考虑这些因素。
为什么重要
这表明AI基础设施的设计理念正在从单一芯片转向系统级优化,以确保在持续运行中实现最高效率和最低成本。
对于定制XPU的公司而言,这意味着需要从整体工厂的角度出发,而非仅仅关注芯片性能,以在竞争激烈的AI市场中保持经济可行性。
关键事实
AI工厂持续运行以生成智能。
AI工厂的经济性由输出指标定义:每秒令牌数、每瓦特令牌数、成本、利用率和正常运行时间。
AI基础设施必须作为完整工厂设计和构建,而非单独加速器的集合。
接下来看什么
关注超大规模企业和AI原生公司如何将工厂级设计原则融入其XPU架构。
未来可能看到更多针对AI工厂整体效率优化的定制硬件和系统解决方案。