发生了什么
随着语言模型规模扩大，所需数据量增加，但许多目标数据源（如低资源语言或专业领域）本身规模有限。
常见策略是将这类稀缺但有价值的目标数据与丰富的通用数据混合，这带来根本性权衡：目标数据过少会使模型暴露不足，过多则重复相同示例，导致收益递减并最终过拟合。
该研究基于超过2000次语言模型训练运行，系统考察了这一权衡现象。
为什么重要
这项研究为数据受限条件下的预训练策略提供了实证参考，有助于在利用稀缺目标数据与避免过度拟合之间找到更优平衡。
对低资源语言或专业领域模型的开发而言，理解混合比例的影响可能直接关系到模型在目标任务上的表现与泛化能力。
关键事实
研究涵盖超过2000次语言模型训练运行。
目标数据源包括低资源语言或专门领域，这些数据天然规模有限。
混合训练中存在目标数据过多导致重复示例、收益递减和最终过拟合的问题。
接下来看什么
后续研究可能进一步提出针对不同数据约束的定量缩放规律，指导实际训练中的混合比例选择。
该工作也可能推动更高效的数据复用方法，以缓解稀缺目标数据在预训练中的瓶颈。