训练与推理

Sharan Narang

沙兰·纳朗

PaLM · 指令训练

Sharan Narang 是大规模语言模型训练研究者，也是 PaLM 技术报告的主要署名作者之一。他参与的工作涉及如何组织大量计算资源训练模型，以及怎样把基础模型适配到更广泛的语言任务。

PaLM 报告公开了模型结构、训练设置和多种能力评测，研究更大的模型在少样本任务中的表现。它并不只展示一个总分，还比较语言理解、生成、推理和代码等任务，分析扩大规模后的变化。

他也参与大规模指令微调与 Self-Consistency 研究。前者改变训练时见到的任务和示例，后者在推理时生成多条解题路径再汇总答案。两种方式发生在不同阶段，说明提升模型效果既可以来自训练，也可以来自更合理的使用方法。