基础与架构

Llion Jones

利昂·琼斯

Transformer · Sakana AI

Llion Jones 是 Attention Is All You Need 的八位共同作者之一，参与了 Transformer 架构的研究。他的职业经历连接了大型研究机构中的基础模型工作与新的 AI 研究组织。

Transformer 原论文以注意力机制组织编码器与解码器，并在翻译任务中比较质量和训练效率。它不再依赖循环网络逐词计算，而是让不同位置直接交换信息。这项合作工作成为后来多种语言模型的架构起点。

2023 年，他与 David Ha、Ren Ito 共同创办 Sakana AI。团队探索受自然过程启发的模型开发方法，包括搜索和组合已有模型，而不只从头训练一个更大的网络。这条路线把模型之间的协作与组合本身作为研究对象。