基础与架构
Yoon Kim
文本 CNN · 序列蒸馏
Yoon Kim 是自然语言处理研究者，代表工作包括用于句子分类的卷积网络和序列级知识蒸馏。他的研究常使用相对清晰的模型与实验，检验文本表示和训练目标对任务效果的影响。
2014 年的句子分类研究把预训练词向量与简单卷积网络结合，在多种任务上测试这种结构。卷积提取局部词语组合，池化汇总特征，模型因此能够在较少结构设计下完成句子级判断。
他与 Alexander Rush 研究的序列级蒸馏，则让较小模型学习教师模型产生的完整输出序列，而不只模仿每一步的概率。这为缩小机器翻译模型提供了方法，也帮助解释为什么教师生成的数据能够改变学生模型的学习难度。