训练与推理

William Fedus

Liam Fedus

Switch Transformer · 稀疏模型

William Fedus，也以 Liam Fedus 署名，是稀疏语言模型与训练方法研究者。他作为第一作者发表 Switch Transformer，与 Barret Zoph、Noam Shazeer 合作研究如何在不过度增加每次计算量的情况下扩大模型。

模型设置多个专家子网络，但一个 token 只被送到其中一个专家。总参数量可以增长，而每次输入实际调用的参数仍受到控制。研究同时处理路由、负载分配、数值精度和分布式通信等问题，避免只扩大参数却无法稳定训练。

他还参与大规模指令微调研究，比较任务数量、模型大小与推理示例对效果的影响。这些工作分别对应预训练阶段的计算分配，以及训练后模型如何更好地理解用户要求。稀疏结构与指令适配解决的是两类不同的问题。