训练与推理

Barret Zoph

巴雷特·佐夫

神经架构搜索 · Switch Transformer

Barret Zoph 是模型架构与大规模训练研究者，代表工作包括神经架构搜索和稀疏专家模型。他的研究关心两件事：网络结构能否自动寻找，以及更多参数能否在有限计算量下发挥作用。

他与 Quoc Le 的神经架构搜索研究，让一个控制器生成候选网络结构，再根据这些网络的训练表现改进搜索策略。人工仍需规定搜索空间和评价方式，但具体结构的选择可以部分交给算法。

在 Switch Transformer 中，他与 William Fedus、Noam Shazeer 将专家路由简化为每个 token 选择一个专家，并研究训练稳定性与通信开销。这与架构搜索的目标不同：前者寻找结构，后者让已有结构能够更高效地扩大容量。