基础与架构

Kyunghyun Cho

曹京贤

GRU · 编码器与解码器

Kyunghyun Cho 是机器学习与自然语言处理研究者，代表工作包括门控循环单元 GRU、神经网络编码器与解码器，以及机器翻译中的注意力机制。

2014 年，他与合作者研究 RNN Encoder–Decoder，把输入序列编码为表示，再生成输出序列。相关工作引入了后来称为 GRU 的门控结构，通过更新和重置机制控制信息流动。它为循环网络提供了相对简洁的记忆管理方式。

同年，他与 Dzmitry Bahdanau、Yoshua Bengio 合作，让翻译模型在生成时动态关注输入的不同部分。这几项研究共同推动了从手工设计翻译流水线，向可联合训练的神经序列模型转变，也构成理解现代语言模型的重要基础。