训练与推理
Edward J. Hu
LoRA · 参数高效微调
Edward J. Hu 是机器学习研究者，也是 LoRA 论文的第一作者。他与合作者研究如何用较少的可训练参数完成大模型适配。
LoRA 冻结原模型权重，把需要学习的权重变化表示为两个较小矩阵的乘积。训练时主要更新这些低秩矩阵，从而降低参数更新和存储的负担。不同任务也可以保存各自的适配器，而不必各保存一份完整基础模型。
这项方法后来广泛用于语言及图像模型的微调。它的效果仍受适配位置、秩、数据与任务影响；少训练参数并不意味着自动获得更好的泛化。Hu 的工作提供了一种实用方式，把通用预训练模型连接到资源受限的具体应用。