多模态
Chenlin Meng
SDEdit · 图像编辑
Chenlin Meng 是生成模型研究者，代表工作包括 SDEdit 和 DDIM。她研究生成模型怎样接收用户提供的图像约束，以及怎样减少生成过程中反复计算的步骤。
SDEdit 先向输入图像或草图加入一定程度的噪声，再利用预训练生成模型去噪。输入的大致结构能够被保留，同时不自然的局部可以被重新生成。加入多少噪声，直接影响结果更忠于原图，还是更自由地改变内容。
她与 Jiaming Song、Stefano Ermon 合作的 DDIM，则在与 DDPM 相同的训练目标下研究不同的采样过程，以减少生成步骤。两项工作分别改善可控性与速度，使扩散模型更适合图像编辑等需要反复试改的交互任务。