基础与架构

苏剑林

Jianlin Su

RoPE · 位置编码

苏剑林是 RoFormer 论文的第一作者，也长期通过“科学空间”讨论机器学习中的数学与实现问题。他与合作者提出的旋转位置编码 RoPE，成为理解许多语言模型位置处理方式的重要入口。

RoPE 根据 token 的位置旋转查询和键向量，使它们的点积能够包含相对位置信息。模型不仅比较内容是否相关，也能利用两个位置之间的距离关系，而不必把位置简单地作为额外向量相加。

RoFormer 论文讨论了这一方法的性质及在序列任务中的应用。后来的模型在 RoPE 基础上发展出多种长上下文适配方法，但原始位置编码与扩展窗口的后续策略并不是同一项工作。苏剑林的代表贡献，是把位置关系转化为一种清晰的向量变换。