基础与架构

Jack Rae

Jack W. Rae

Gopher · 模型规模研究

Jack Rae 是语言模型研究者，也是 Gopher 技术报告的第一作者。他与 DeepMind 团队研究模型规模增长后，哪些能力会明显改善，哪些问题不会仅靠更多参数得到解决。

Gopher 报告比较了多个规模的模型，并在大量不同任务上测试表现。团队不只检查训练损失，也分析知识、理解和推理等能力，以及数据分布和模型行为中的问题，使规模研究更接近一组可比较的实验。

他也是 Chinchilla 论文的共同作者。后者进一步研究固定计算预算下，模型参数量与训练数据量应该如何分配。从 Gopher 到 Chinchilla，研究重点由更大模型能够做到什么，转向怎样更有效地使用训练计算资源。