基础与架构

Luyu Gao

Condenser · 稠密检索

Luyu Gao 是信息检索与语言表示研究者，曾在卡内基梅隆大学与 Jamie Callan 合作研究稠密检索。他关注如何让预训练语言模型更适合把整段文本编码成可搜索的向量。

在 Condenser 中，团队指出，擅长逐 token 的语言建模，并不意味着模型已经学会把句子信息集中到用于检索的表示中。他们调整预训练结构，让用于检索的表示承担更直接的学习任务，再将模型适配到段落检索。

他的公开研究还涉及把程序执行用于语言模型推理。检索和程序辅助解题都在处理模型与外部组件的分工：前者负责找出可用知识，后者把适合精确计算的步骤交给代码执行，而不是让模型凭文本生成完成所有工作。