训练与推理

Hyung Won Chung

FLAN · 指令微调

Hyung Won Chung 是语言模型训练研究者，代表工作包括《Scaling Instruction-Finetuned Language Models》。他与合作者系统研究了一个问题：让模型见过更多类型的指令，能否改善它处理新任务的能力？

研究不只扩大模型，也增加指令任务的种类，并加入带有中间推理步骤的训练示例。团队比较这些因素各自及共同带来的变化，形成 FLAN 系列训练方法中的重要一环，使指令微调从少量任务适配走向更大规模的训练。

他也是 PaLM 技术报告的共同作者。基础模型预训练主要学习预测文本，指令微调则进一步改变模型回应任务的方式。其合作工作把两个阶段联系起来，展示了模型规模、训练数据和训练目标怎样共同影响最终使用效果。