对齐与评测

Carlos E. Jimenez

卡洛斯·希门尼斯

SWE-bench · SWE-agent

Carlos E. Jimenez 是软件工程语言模型研究者，也是 SWE-bench 论文的第一作者。他与合作者把真实代码仓库中的 issue 转化为模型任务，研究模型能否完成超出短代码题的修改工作。

SWE-bench 向模型提供问题描述与代码库，要求它生成补丁，再通过测试判断修改是否解决问题。模型需要先定位相关文件，理解现有行为，并避免破坏原有功能，评价对象因此是代码修改的实际结果。

他也参与 SWE-agent，研究怎样设计适合模型的搜索、编辑与执行接口。一个项目提供检验能力的任务，另一个项目研究完成任务的系统。这使基准与实现可以相互反馈，但仍需要注意测试覆盖范围和运行环境对结论的影响。