基础与架构

Jakob Uszkoreit

雅各布·乌斯科雷特

Transformer · 序列建模

Jakob Uszkoreit 是 Transformer 原论文的共同作者。他参与的研究探索如何使用注意力机制处理序列中的关系，并减少对循环计算的依赖。

在机器翻译场景里，理解一个词通常需要参考句子中的其他位置。Transformer 让每个位置根据输入内容选择相关信息，通过多层注意力与前馈计算构建表示。这既改善了训练的并行性，也提供了能够扩展到更大规模的架构。

他后来共同创办 Inceptive，将生成式 AI 用于生物分子设计。公司把模型计算与湿实验结合，面向 RNA 等分子的设计和药物研发。这是其研究经历中的一次转向：从自然语言中的序列关系，走向生物分子的序列与功能。