基础与架构

Tomas Mikolov

托马斯·米科洛夫

word2vec · 词表示

Tomas Mikolov 是语言建模与表示学习研究者，代表工作包括循环神经语言模型和 word2vec。他关注怎样从大量文本中学习可以计算、比较和复用的词语表示。

2013 年，他与合作者提出高效训练词向量的方法，包括 CBOW 和 Skip-gram。模型通过词语与上下文之间的预测关系学习向量，使语义或用法相近的词在表示空间中呈现相关性。这类表示后来广泛用于检索、分类和其他 NLP 任务。

词向量并不是词义的完整定义，也不能仅靠几个向量运算例子证明模型理解语言。Mikolov 的工作更重要的意义，是展示了大规模无标注文本如何提供有用的统计结构，为之后更复杂的上下文表示和语言模型铺设了方法基础。