基础与架构

Jacob Devlin

雅各布·德夫林

BERT · 双向预训练

Jacob Devlin 是自然语言处理研究者，最知名的工作是作为第一作者发表 BERT。2018 年，他与 Google 的合作者研究如何预训练一种能够同时利用左右上下文的语言表示。

BERT 在训练中隐藏部分词语，让模型根据周围内容恢复它们，再把预训练模型微调用于问答、分类等任务。这使许多语言理解任务可以共享同一个基础模型，而不必各自从零训练一套表示。

BERT 的影响不仅是取得更好的基准结果，还推动了“先预训练、再适配”的开发方式。它主要面向双向语言理解，与逐步预测下一个 token 的生成式模型在训练目标上不同。把这一区别讲清楚，才能理解后来的编码器、解码器及混合架构各自适合什么任务。