基础与架构

Dzmitry Bahdanau

德米特里·巴赫达瑙

注意力机制 · 机器翻译

Dzmitry Bahdanau 是神经机器翻译与表示学习研究者，以早期注意力机制研究广为人知。他的工作直接回应了一个问题：把整句输入压缩为一个固定长度向量，会不会丢失生成译文所需的信息？

2014 年，他与 Kyunghyun Cho、Yoshua Bengio 发表联合学习对齐与翻译的研究。模型在生成每个输出词时，可以对输入句子的不同位置分配权重，从中选取更相关的信息，而不必只依赖一个不变的句子摘要。

这项方法让词语之间的软对齐能够与翻译任务一起学习，是后来注意力模型的重要前史。它与 2017 年 Transformer 的架构并不相同：前者在循环序列模型中引入注意力，后者进一步以注意力作为序列转换的主要结构。