基础与架构
Albert Gu
S4 · Mamba
Albert Gu 是机器学习研究者，代表工作包括结构化状态空间模型 S4，以及与 Tri Dao 合作的 Mamba。他研究模型怎样有效处理长期依赖和很长的序列。
S4 将状态空间方法与适合训练的结构化计算结合起来，让模型能够在序列中传播信息。Mamba 进一步让部分状态更新参数依赖当前输入，使模型可以根据内容选择保留或遗忘哪些信息。
这些方法与标准注意力有不同的计算和记忆方式，也需要配套的高效实现。它们对语言、音频等序列任务提供了新的架构选择，但适用效果取决于任务及模型配置。Gu 的工作是理解 Transformer 之外的模型路线的重要入口。