基础与架构
Ofir Press
奥菲尔·普雷斯
ALiBi · SWE-bench
Ofir Press 的研究跨越语言模型的位置表示与能力评测。早期代表工作 ALiBi 关注模型能否处理比训练时更长的文本，后来的 SWE-bench 与 SWE-agent 则把问题转向真实代码仓库中的软件任务。
ALiBi 在注意力分数中加入与距离有关的线性偏置，让模型在比较两个位置时考虑它们相隔多远。这与为每个位置加入一个位置向量不同，目的是改善长度外推，同时保持实现相对简单。
在软件工程研究中，他与合作者使用真实 issue、代码修改和测试结果评价模型，并研究适合 Agent 的操作接口。从这两条工作可以看到，他既改进模型处理输入的方式，也建设更能检验实际能力的任务和工具。