发生了什么

AI工厂为了大规模生成智能,需要持续运行,其经济效益由输出指标决定,包括每秒令牌数、每瓦特令牌数、每个令牌的成本、利用率和正常运行时间。

这要求AI基础设施必须作为完整的工厂来设计和构建,而不是一堆单独的加速器。

超大规模企业和AI原生公司正在定制XPU,必须考虑这些因素。

为什么重要

这表明AI基础设施的设计理念正在从单一芯片转向系统级优化,以确保在持续运行中实现最高效率和最低成本。

对于定制XPU的公司而言,这意味着需要从整体工厂的角度出发,而非仅仅关注芯片性能,以在竞争激烈的AI市场中保持经济可行性。

关键事实

AI工厂持续运行以生成智能。

AI工厂的经济性由输出指标定义:每秒令牌数、每瓦特令牌数、成本、利用率和正常运行时间。

AI基础设施必须作为完整工厂设计和构建,而非单独加速器的集合。

接下来看什么

关注超大规模企业和AI原生公司如何将工厂级设计原则融入其XPU架构。

未来可能看到更多针对AI工厂整体效率优化的定制硬件和系统解决方案。

来源