训练与推理

Jimmy Ba

Jimmy Lei Ba

Adam · Layer Normalization

Jimmy Ba 是神经网络学习算法研究者，在多伦多大学师从 Geoffrey Hinton 获得博士学位。他的两项代表工作 Adam 和 Layer Normalization，都是许多模型训练代码中经常出现的基础组件。

他与 Diederik Kingma 提出的 Adam，根据梯度的一阶和二阶矩估计调整参数更新。直观地说，它不仅看当前梯度，还保留过去更新的信息，为不同参数计算不同的步长，而不是给所有参数同一套未经调整的更新量。

在 Layer Normalization 研究中，他与合作者把归一化放到单个样本内部的特征上，减少对批次统计量的依赖。这使训练与推理能够采用相近的计算方式，也适合循环网络等场景。两项工作分别从参数更新和中间表示入手，改善神经网络的训练过程。