训练与推理

Jordan Hoffmann

乔丹·霍夫曼

Chinchilla · 计算最优训练

Jordan Hoffmann 是机器学习研究者，代表工作是 2022 年关于计算最优语言模型训练的 Chinchilla 研究。他与合作者重新考察固定计算预算下，参数量和训练数据量应该怎样分配。

研究发现，一些已有大模型相对于其参数规模训练得还不够充分。团队比较不同规模与数据配比，并训练了参数更少、使用更多训练 token 的 Chinchilla，在多项评测中取得有竞争力的结果。

这项工作的影响在于提醒模型开发者：增加参数并不是使用计算预算的唯一方式，数据量和训练过程同样重要。论文讨论的训练最优，也不能直接等同于部署成本最优；上线后的推理量、延迟和显存限制仍需要单独衡量。