基础与架构

Alex Graves

亚历克斯·格雷夫斯

序列学习 · Neural Turing Machine

Alex Graves 是序列学习研究者，早期代表工作涉及语音、手写识别和循环神经网络。他关注连续输入与输出之间的关系，特别是没有逐帧或逐字对齐标注时，模型怎样学会识别序列。

他参与的 CTC 方法，让模型可以根据完整输入和最终文字计算训练目标，不必预先给出每个时刻对应哪个字符。他也研究利用循环网络生成文字和手写笔迹，把序列模型从识别工具扩展为生成工具。

2014 年，他与 Greg Wayne、Ivo Danihelka 提出 Neural Turing Machine，为神经网络配上可读写的外部记忆。模型学习何时读、写以及访问哪个位置。这比单纯增大隐藏状态更明确地把计算与记忆分开，是可学习记忆系统的一条早期研究路线。