发生了什么
论文提出一种名为 IDEA Prune 的集成扩大-剪枝流水线，将扩大模型预训练与结构化剪枝结合起来，而此前的研究往往忽略了扩大预训练这一环节。
研究聚焦两个关键问题：即使扩大后的模型最终不会部署，是否仍值得对其进行预训练；以及如何优化这一扩大-剪枝流程。
为什么重要
在推理预算有限的情况下，高效且可部署的大型语言模型需求日益迫切。结构化剪枝流水线已在 token 效率方面显示出相比从头训练目标尺寸模型的潜力，本研究试图进一步发掘其集成价值。
关键事实
大型语言模型的最新进展加剧了对有限推理预算内高效可部署模型的需求。
结构化剪枝流水线在 token 效率上显示出比从头训练目标尺寸模型更有前景。
论文主张将常常被忽视的扩大模型预训练纳入剪枝流程。
接下来看什么
关注论文对两个关键问题的具体回答：扩大预训练是否值得，以及优化流程的实现细节。
后续研究是否会验证该集成流水线在实际部署中的有效性。