多模态

Niki Parmar

尼基·帕尔玛

Transformer · 图像生成

Niki Parmar 是 Transformer 原论文的共同作者，也参与了将注意力架构用于图像生成的早期研究。她的工作连接语言序列建模与视觉任务。

2017 年，她与合作者发表 Attention Is All You Need，以注意力机制构建机器翻译模型。随后，Image Transformer 探索把图像生成视为逐步预测像素或图像位置的过程，并用局部注意力处理计算成本问题。注意力由此不再只服务于语言任务。

Image Transformer 面临的实际困难是图像位置多，直接计算所有位置之间的关系代价很高。局部注意力限制每一步关注的范围，让这种序列建模方法能够用于更大的图像。两项合作研究也展示了注意力从语言向视觉任务的扩展。