基础与架构

Mike Lewis

迈克·刘易斯

BART · ALiBi

Mike Lewis 是自然语言处理研究者，代表工作包括 BART 和 ALiBi。他参与研究语言模型怎样从受损文本中学习，以及怎样利用位置信息处理比训练样本更长的输入。

BART 先打乱、遮挡或破坏文本，再训练模型恢复原文。它将双向编码器与从左到右生成的解码器组合起来，使预训练模型既能理解完整输入，也能产生新的文本，适用于摘要、翻译等任务。

在 ALiBi 中，他与 Ofir Press、Noah Smith 探索以距离相关的注意力偏置替代通常的位置表示。这两项工作分别改变预训练任务与模型处理位置的方式，体现了训练目标和架构细节对语言能力的共同影响。