基础与架构

Diederik P. Kingma

迪德里克·金马

VAE · Adam

Diederik P. Kingma 是生成模型与机器学习优化研究者，代表工作包括变分自编码器 VAE 和 Adam 优化算法。这两项工作分别影响了模型怎样表示数据，以及怎样调整训练参数。

他与 Max Welling 的 VAE 研究，把概率推断与神经网络结合起来，通过可训练的编码和生成过程学习潜在表示。重参数化技巧让随机变量相关的模型能够使用梯度方法有效训练。

他与 Jimmy Ba 提出的 Adam，根据梯度的一阶和二阶矩估计调整每个参数的更新步长，成为深度学习中常用的优化方法。它的广泛应用不代表在所有条件下都最优；学习率、数据和训练目标仍会影响结果。理解这两项贡献，有助于看清生成模型背后的概率与优化基础。