基础与架构

Ashish Vaswani

阿希什·瓦斯瓦尼

Transformer

Ashish Vaswani 是 Transformer 原论文 Attention Is All You Need 的第一作者。2017 年，他与 Google 的研究团队合作，提出以注意力机制为核心的序列转换架构。

当时常见的翻译模型依赖循环网络，必须沿序列逐步处理信息。Transformer 使用自注意力计算不同位置之间的关系，并结合位置表示和前馈网络，使训练更容易并行。原论文首先在机器翻译任务上验证了这种设计，后来它成为许多语言模型的架构基础。

原论文由八位作者共同完成。它的重要变化不是第一次使用注意力，而是把自注意力、多头计算、位置表示等组件组合成无需循环网络的完整架构。今天常见的编码器和自回归语言模型，采用的是这一架构的不同部分及其后续变体。