从代表工作，认识大模型背后的人。
Geoffrey Hinton深度学习 · AlexNet 
Yoshua Bengio表示学习 · 神经语言模型 
Yann LeCun卷积网络 · 自监督学习 
David Rumelhart反向传播 · 联结主义 
Richard Sutton强化学习 · 时间差分 
Andrew Barto强化学习 · 学习与控制 
Jürgen Schmidhuber循环网络 · LSTM 
Sepp HochreiterLSTM · 长期依赖 
Dzmitry Bahdanau注意力机制 · 机器翻译 
Kyunghyun ChoGRU · 编码器与解码器 
Ilya SutskeverAlexNet · Seq2Seq · GPT Ashish VaswaniTransformer 
Noam Shazeer稀疏 MoE · Transformer 
Niki ParmarTransformer · 图像生成 Jakob UszkoreitTransformer · 序列建模 
Llion JonesTransformer · Sakana AI 
Aidan GomezTransformer · Cohere 
Łukasz KaiserTransformer · Tensor2Tensor 
Patrick LewisRAG · 检索增强生成 
Alec RadfordGPT · CLIP · Whisper 
Jacob DevlinBERT · 双向预训练 
Tomas Mikolovword2vec · 词表示 Tom BrownGPT-3 · 少样本学习 
Diederik P. KingmaVAE · Adam Oriol VinyalsSeq2Seq · AlphaStar Quoc V. LeSeq2Seq · 表示学习 
Jared KaplanScaling Laws Jordan HoffmannChinchilla · 计算最优训练 
Colin RaffelT5 · 文本到文本 
John SchulmanPPO · RLHF Paul Christiano人类偏好学习 · 对齐 
Jan Leike可扩展监督 · 模型对齐 Long OuyangInstructGPT · 指令遵循 Yuntao BaiConstitutional AI 
Amanda Askell模型行为 · 价值原则 Chris Olah机制可解释性 · 特征电路 
Dawn Song机器学习安全 · 隐私 
Dan HendrycksMMLU · 鲁棒性评测 
Dylan Hadfield-Menell人机协作 · 价值学习 
Rafael RafailovDPO · 偏好优化 
Jason Wei思维链 · 指令微调 
李飞飞ImageNet · 空间智能 
何恺明ResNet · 视觉表示 Alex KrizhevskyAlexNet · GPU 训练 
Ian GoodfellowGAN · 对抗学习 
David SilverAlphaGo · AlphaZero 
David HaWorld Models · Sakana AI 
Phillip Isolapix2pix · 图像转换 Aditya RameshDALL·E · 文生图 Robin Rombach潜空间扩散 · 图像生成 谢赛宁视觉架构 · DiT 
Jeff Dean分布式训练 · TensorFlow Sanjay GhemawatMapReduce · 大规模系统 
Matei ZahariaSpark · MLflow 
Soumith ChintalaPyTorch · 深度学习工具 
Tri DaoFlashAttention · Mamba Albert GuS4 · Mamba 
Tim Dettmersbitsandbytes · QLoRA 
Edward J. HuLoRA · 参数高效微调 
Woosuk KwonvLLM · PagedAttention 
黄仁勋NVIDIA · GPU 生态 
梁文锋DeepSeek 
杨植麟XLNet · Kimi 
唐杰知识图谱 · GLM 
张鹏智谱 · 研究成果转化 林俊旸Qwen · 开放模型 周靖人大规模计算 · Qwen 白金泽Qwen · Qwen-VL 
杨红霞大规模机器学习 · 预训练 
李开复语音研究 · 零一万物 王小川百川智能 · 模型应用 
刘知远语言与知识 · 高效模型 孙茂松中文 NLP · 预训练模型 
王仲远知识图谱 · 短文本理解 傅尧语言模型 · 长上下文 
高天宇SimCSE · ALCE 
Sam AltmanOpenAI · AI 产品化 
Dario AmodeiAnthropic · 模型能力与安全 
Demis HassabisDeepMind · AlphaFold 
Shane Legg通用智能 · DeepMind 
Mustafa SuleymanAI 产品 · 研究组织 
Arthur MenschMistral · 模型效率 
Mark ZuckerbergMeta · Llama 开放路线 
Mira Murati模型研发 · Thinking Machines 
Elon MuskxAI · Grok 
Percy LiangHELM · 模型透明评测 
Christopher Manning自然语言理解 · Stanford NLP 
Emily M. Bender语言数据 · 模型能力边界 
Timnit Gebru数据文档 · 算法偏差 
Margaret MitchellModel Cards · 模型透明度 
Inioluwa Deborah Raji算法审计 · 部署问责 
Hanna Wallach社会技术评测 · 公平性 
Andrej KarpathynanoGPT · 神经网络教学 
吴恩达机器学习教育 · AI 应用 
Thomas WolfTransformers · Hugging Face 
Clément DelangueHugging Face · 开放社区 
Julien ChaumondHugging Face · 模型平台 
Jeremy Howardfast.ai · 实践教学 
Sebastian Raschka从零实现 LLM · 技术写作 
Harrison ChaseLangChain · LangGraph 
John Hopfield联想记忆 · Hopfield 网络 
Alex Graves序列学习 · Neural Turing Machine 
Jimmy BaAdam · Layer Normalization Aaron van den OordWaveNet · VQ-VAE Denny Zhou复杂推理 · Self-Consistency 
Barret Zoph神经架构搜索 · Switch Transformer William FedusSwitch Transformer · 稀疏模型 Hyung Won ChungFLAN · 指令微调 
Ofir PressALiBi · SWE-bench 苏剑林RoPE · 位置编码 
陈天奇XGBoost · TVM 
郑连敏SGLang · Chatbot Arena 
韩松模型压缩 · AWQ 
贾志浩FlexFlow · 并行与推理系统 
刘壮ConvNeXt · 网络压缩 Sharan NarangPaLM · 指令训练 Jack RaeGopher · 模型规模研究 
Yoon Kim文本 CNN · 序列蒸馏 Mike LewisBART · ALiBi 
陈丹琦DrQA · DPR · 知识检索 
Luke Zettlemoyer语言语义 · BART 
Omar KhattabColBERT · DSPy 
Christopher RéSnorkel · 弱监督数据 
Douwe KielaRAG · Hateful Memes Sebastian RiedelRAG · 机器阅读 
Luyu GaoCondenser · 稠密检索 Jonathan HoDDPM · 扩散生成 
宋飏Score-based 模型 · 一致性模型 
Prafulla Dhariwal扩散模型 · 条件生成 
Jascha Sohl-Dickstein扩散模型 · 非平衡热力学 Tim Salimans生成模型 · 引导与蒸馏 
William PeeblesDiT · 视频生成 
Chenlin MengSDEdit · 图像编辑 Jiaming SongDDIM · 可控生成 
Chelsea FinnMAML · 机器人学习 
Sergey Levine机器人控制 · 强化学习 
Pieter Abbeel机器人学习 · MAML 
范林熙Voyager · Eureka 
姚顺雨ReAct · Tree of Thoughts Charles PackerMemGPT · Agent 记忆 
Shishir PatilGorilla · 工具调用评测 Graham NeubigOpenHands · 开源开发 Agent 
Kilian LieretSWE-agent · 开发工具接口 Carlos E. JimenezSWE-bench · SWE-agent Nathan LambertTülu · RLHF Book 
Hamish IvisonTülu · 开放后训练 
Luca SoldainiDolma · OLMo 数据工程 Stella BidermanPythia · 开放模型研究 
Joelle Pineau可复现研究 · 强化学习评测 Sumanth DathathriSynthID Text · 生成内容水印 没有找到匹配的人物。
按代表工作分组，不是排名。简介依据机构、本人及原始研究资料整理。
杰弗里·辛顿
深度学习 · AlexNet
Geoffrey Hinton 是深度学习的重要研究者，长期探索神经网络怎样从数据中学习内部表示。他与合作者在反向传播、分布式表示及深层网络训练方面的工作，为现代机器学习提供了重要基础。
1986 年，他与 David Rumelhart、Ronald Williams 发表反向传播相关研究，说明如何通过输出误差调整多层网络。2012 年，他与 Alex Krizhevsky、Ilya Sutskever 合作完成 AlexNet，将深层卷积网络与 GPU 训练用于大规模图像分类。
他与 Yoshua Bengio、Yann LeCun 共同获得 2018 年图灵奖，随后与 John Hopfield 共同获得 2024 年诺贝尔物理学奖。两项奖项分别从计算机科学和物理学的角度，肯定了神经网络学习方法的基础性贡献。
约书亚·本吉奥
表示学习 · 神经语言模型
Yoshua Bengio 是深度学习与神经语言模型的重要研究者，长期研究怎样让模型从数据中学到有用的表示。他在蒙特利尔开展研究，也是 Mila 研究机构的重要建设者。
2003 年，他与合作者发表神经概率语言模型研究，把词映射为连续向量，并利用这些表示预测后续词语。这种做法让相似词可以共享统计信息，是后来词向量和神经语言建模的重要基础。2014 年，他与 Dzmitry Bahdanau、Kyunghyun Cho 合作研究机器翻译中的注意力机制。
他与 Geoffrey Hinton、Yann LeCun 共同获得 2018 年图灵奖。其公开研究还关注 AI 安全与模型能力的可控性。从他的工作可以看到，语言表示、序列建模与模型行为之间存在连续的研究脉络。
扬·勒昆
卷积网络 · 自监督学习
Yann LeCun 是卷积神经网络的重要推动者，研究涉及视觉识别、表示学习与自监督学习。他的工作把神经网络训练与实际识别任务结合起来，使学习算法能够处理图像中的空间结构。
LeNet 系列将卷积、下采样与可训练分类器组合起来，应用于手写数字和文档识别。卷积层共享参数，使模型可以在不同位置识别相似的局部特征，也降低了直接连接所有像素所需的参数数量。相关方法后来成为计算机视觉中的基础工具。
他与 Geoffrey Hinton、Yoshua Bengio 共同获得 2018 年图灵奖。此后的研究重点转向自监督学习：让模型利用数据内部的结构获得训练信号，减少对人工标注的依赖，并学习能够支持预测和规划的内部表示。
戴维·鲁梅尔哈特
反向传播 · 联结主义
David Rumelhart 是认知科学家，也是联结主义研究的重要人物。他关注心智过程能否通过许多简单单元之间的连接与学习来解释，将心理学问题与神经网络模型联系起来。
1986 年，他与 Geoffrey Hinton、Ronald Williams 发表多层网络中的反向传播研究。方法根据输出误差计算各层参数需要怎样调整，让中间层能够学习任务所需的表示。这项工作帮助扩大了多层神经网络学习方法的影响。
他还与 James McClelland 等人推动并行分布式处理研究，用计算模型研究记忆、语言与认知。反向传播有更早的数学和算法来源，因此他的贡献应描述为关键研究与推广，不能简单写成这一算法唯一的起源。
理查德·萨顿
强化学习 · 时间差分
Richard Sutton 是强化学习的主要奠基者之一。强化学习研究智能体怎样通过行动及其获得的奖励改善决策，特别适合结果需要经过多步才显现的任务。
他的时间差分学习工作把从经验学习与对未来回报的预测结合起来。与 Andrew Barto 合著的《Reinforcement Learning: An Introduction》系统整理了价值函数、策略、探索和规划等核心概念，成为这一领域的重要教材。两人共同获得 2024 年图灵奖。
他在 2019 年的 The Bitter Lesson 中总结了一种研究判断：能够持续利用更多计算的通用方法，往往比大量依赖人工设计知识的方法更有长期潜力。这是对 AI 发展经验的观点归纳，不意味着具体任务可以忽略数据、约束和工程设计。
安德鲁·巴托
强化学习 · 学习与控制
Andrew Barto 是强化学习的重要研究者，长期研究系统怎样根据与环境的交互学习行为。他的工作连接了自适应控制、神经网络与奖励驱动学习。
他与 Richard Sutton 及其他合作者在强化学习的早期发展中建立了重要概念与算法。强化学习不要求为每个输入给出标准答案，而是通过行动产生的结果逐步学习如何获得更好的长期回报。相关思想影响了游戏智能体、机器人及后来的语言模型训练。
他与 Sutton 合著《Reinforcement Learning: An Introduction》，并共同获得 2024 年图灵奖。理解他的贡献，重点在于学习和决策之间的联系；语言模型中的偏好训练只是强化学习广泛应用中的一部分。
尤尔根·施米德胡伯
循环网络 · LSTM
Jürgen Schmidhuber 是神经网络研究者，长期研究序列学习、生成模型以及智能体如何探索环境。他的研究路径横跨循环网络、压缩、预测和学习算法的自动改进。
1997 年，他与 Sepp Hochreiter 发表长短期记忆网络 LSTM 的论文。LSTM 通过可学习的控制机制保存和更新状态，缓解普通循环网络难以学习长期依赖的问题。它后来被广泛用于语音、手写识别和语言建模。
他还研究好奇心与内在动机：除了完成外部指定的任务，智能体能否主动寻找有助于改善预测的新经验？这条研究路线把探索、预测和数据压缩联系起来，与其长期关注的自主学习问题一脉相承。
塞普·霍赫赖特
LSTM · 长期依赖
Sepp Hochreiter 是机器学习研究者，早期工作关注神经网络训练中的梯度问题。他研究为什么循环网络在处理长序列时，难以把很早以前的信息用于当前预测。
1997 年，他与 Jürgen Schmidhuber 共同提出 LSTM。模型通过记忆单元与门控机制管理信息，使网络能够在较长时间跨度上保留相关内容。LSTM 成为序列建模的重要结构，推动了语音、文本和其他时序任务的发展。
他的研究也涉及生物信息学和新的记忆模型。在大模型已经广泛采用 Transformer 的今天，LSTM 仍有助于理解状态、记忆与梯度传播的基本问题；不同结构各有计算特点，不能仅凭出现先后判断适用范围。
德米特里·巴赫达瑙
注意力机制 · 机器翻译
Dzmitry Bahdanau 是神经机器翻译与表示学习研究者，以早期注意力机制研究广为人知。他的工作直接回应了一个问题：把整句输入压缩为一个固定长度向量，会不会丢失生成译文所需的信息？
2014 年，他与 Kyunghyun Cho、Yoshua Bengio 发表联合学习对齐与翻译的研究。模型在生成每个输出词时，可以对输入句子的不同位置分配权重，从中选取更相关的信息，而不必只依赖一个不变的句子摘要。
这项方法让词语之间的软对齐能够与翻译任务一起学习，是后来注意力模型的重要前史。它与 2017 年 Transformer 的架构并不相同：前者在循环序列模型中引入注意力，后者进一步以注意力作为序列转换的主要结构。
曹京贤
GRU · 编码器与解码器
Kyunghyun Cho 是机器学习与自然语言处理研究者，代表工作包括门控循环单元 GRU、神经网络编码器与解码器，以及机器翻译中的注意力机制。
2014 年，他与合作者研究 RNN Encoder–Decoder，把输入序列编码为表示，再生成输出序列。相关工作引入了后来称为 GRU 的门控结构，通过更新和重置机制控制信息流动。它为循环网络提供了相对简洁的记忆管理方式。
同年，他与 Dzmitry Bahdanau、Yoshua Bengio 合作，让翻译模型在生成时动态关注输入的不同部分。这几项研究共同推动了从手工设计翻译流水线，向可联合训练的神经序列模型转变，也构成理解现代语言模型的重要基础。
伊利亚·苏茨克维
AlexNet · Seq2Seq · GPT
Ilya Sutskever 是机器学习研究者，OpenAI 联合创始人、前首席科学家，也是 Safe Superintelligence 的联合创始人。他在多伦多大学获得博士学位，曾在斯坦福从事博士后研究，并在 Google Brain 工作。
2012 年，他参与完成 AlexNet，推动深度学习在图像识别中的应用。2014 年，他与合作者提出 Seq2Seq，用神经网络将输入序列转换为输出序列，应用于机器翻译。他也是 GPT-3 论文的共同作者，参与研究大模型利用少量提示示例处理不同任务的能力。
他的研究后来进一步关注 AI 安全。2023 年，他与 Jan Leike 共同领导 OpenAI 的 Superalignment 项目。2024 年离开 OpenAI 后，他与合作者创办 SSI，将安全超级智能作为公司的研究目标。
阿希什·瓦斯瓦尼
Transformer
Ashish Vaswani 是 Transformer 原论文 Attention Is All You Need 的第一作者。2017 年，他与 Google 的研究团队合作，提出以注意力机制为核心的序列转换架构。
当时常见的翻译模型依赖循环网络，必须沿序列逐步处理信息。Transformer 使用自注意力计算不同位置之间的关系，并结合位置表示和前馈网络，使训练更容易并行。原论文首先在机器翻译任务上验证了这种设计，后来它成为许多语言模型的架构基础。
原论文由八位作者共同完成。它的重要变化不是第一次使用注意力，而是把自注意力、多头计算、位置表示等组件组合成无需循环网络的完整架构。今天常见的编码器和自回归语言模型，采用的是这一架构的不同部分及其后续变体。
诺姆·沙泽尔
稀疏 MoE · Transformer
Noam Shazeer 是语言模型架构与计算效率领域的重要研究者，也是 Transformer 原论文的共同作者。他的代表工作包括稀疏混合专家网络，以及减少注意力计算和存储开销的方法。
2017 年，他与合作者提出稀疏门控 MoE 层：模型拥有许多专家子网络，但每个输入只交给少量专家处理。这样可以增加总参数容量，而不必让单次计算成本同比增长。专家如何被选择、如何保持负载均衡，也是这种结构需要处理的问题。
他还提出 Multi-Query Attention，让多个注意力查询头共享键和值，减少自回归生成中的内存访问。与单纯扩大模型相比，这些工作关注的是怎样更有效地使用参数和硬件资源，对理解今天的 MoE 与高效推理模型很有帮助。
尼基·帕尔玛
Transformer · 图像生成
Niki Parmar 是 Transformer 原论文的共同作者，也参与了将注意力架构用于图像生成的早期研究。她的工作连接语言序列建模与视觉任务。
2017 年，她与合作者发表 Attention Is All You Need，以注意力机制构建机器翻译模型。随后，Image Transformer 探索把图像生成视为逐步预测像素或图像位置的过程，并用局部注意力处理计算成本问题。注意力由此不再只服务于语言任务。
Image Transformer 面临的实际困难是图像位置多，直接计算所有位置之间的关系代价很高。局部注意力限制每一步关注的范围，让这种序列建模方法能够用于更大的图像。两项合作研究也展示了注意力从语言向视觉任务的扩展。
雅各布·乌斯科雷特
Transformer · 序列建模
Jakob Uszkoreit 是 Transformer 原论文的共同作者。他参与的研究探索如何使用注意力机制处理序列中的关系，并减少对循环计算的依赖。
在机器翻译场景里，理解一个词通常需要参考句子中的其他位置。Transformer 让每个位置根据输入内容选择相关信息，通过多层注意力与前馈计算构建表示。这既改善了训练的并行性，也提供了能够扩展到更大规模的架构。
他后来共同创办 Inceptive，将生成式 AI 用于生物分子设计。公司把模型计算与湿实验结合，面向 RNA 等分子的设计和药物研发。这是其研究经历中的一次转向：从自然语言中的序列关系，走向生物分子的序列与功能。
利昂·琼斯
Transformer · Sakana AI
Llion Jones 是 Attention Is All You Need 的八位共同作者之一，参与了 Transformer 架构的研究。他的职业经历连接了大型研究机构中的基础模型工作与新的 AI 研究组织。
Transformer 原论文以注意力机制组织编码器与解码器，并在翻译任务中比较质量和训练效率。它不再依赖循环网络逐词计算，而是让不同位置直接交换信息。这项合作工作成为后来多种语言模型的架构起点。
2023 年，他与 David Ha、Ren Ito 共同创办 Sakana AI。团队探索受自然过程启发的模型开发方法，包括搜索和组合已有模型，而不只从头训练一个更大的网络。这条路线把模型之间的协作与组合本身作为研究对象。
艾丹·戈麦斯
Transformer · Cohere
Aidan Gomez 是 Transformer 原论文的共同作者，也是 Cohere 的联合创始人。他的经历从基础架构研究延伸到面向企业的语言模型产品。
2017 年，他参与发表 Attention Is All You Need。团队用注意力机制组织序列转换，在机器翻译任务上验证了架构的效果和并行训练优势。后来大量语言模型采用了 Transformer 的不同变体，这使该论文成为理解现代模型技术的重要起点。
Cohere 将技术重点放在企业使用语言模型的需求上，产品覆盖文本生成、向量表示与检索重排。向量模型负责找到相关内容，重排模型进一步调整结果顺序，生成模型再组织回答；这些组件对应了企业知识库中的不同环节。
卢卡什·凯泽
Transformer · Tensor2Tensor
Łukasz Kaiser 是机器学习研究者，代表工作包括 Transformer 和 Tensor2Tensor。他的研究不仅涉及模型架构，也关注如何让不同任务共享模型与训练工具。
Tensor2Tensor 将数据处理、模型和训练流程放入统一框架，帮助研究者在多个任务之间复用实现。2017 年，他同时参与了 Transformer 论文，用以注意力为核心的架构完成序列转换，推动了并行训练的研究。
在 One Model to Learn Them All 等工作中，他与合作者探索由一个模型处理不同输入和任务的可能性。这些研究体现了对通用表示和工具复用的关注。统一接口并不意味着所有任务都采用相同的数据或评测方式，具体结论仍需要回到相应实验。
帕特里克·刘易斯
RAG · 检索增强生成
Patrick Lewis 是自然语言处理研究者，也是 2020 年 Retrieval-Augmented Generation 论文的第一作者。这项研究将外部文档检索与语言生成结合起来，是今天 RAG 系统的重要研究来源。
论文面对的问题是：模型参数中的知识不容易检查和更新。团队让系统先从外部文本集合中检索相关段落，再把它们用于生成答案，使参数化模型与可检索的知识库共同工作。检索器与生成器的配合，也成为后续系统中的关键设计问题。
他的工作还涉及开放域问答及对问答数据集重叠问题的研究。RAG 并不保证答案一定正确：检索不到证据、找到无关内容或生成器误用材料，都可能造成失败。认识这一研究，有助于理解知识库应用为何需要同时评测检索与回答。
亚历克·拉德福德
GPT · CLIP · Whisper
Alec Radford 是生成式模型与多模态学习研究者，参与了 GPT、CLIP 和 Whisper 等工作。他的研究跨越语言、图像和语音，关注模型怎样从大规模数据中学习可迁移的能力。
GPT 路线将大规模语言预训练与下游任务联系起来。2021 年的 CLIP 则利用图像与自然语言描述的配对数据，让视觉模型学习与文本相联系的表示，从而可以用文字描述进行零样本分类。
Whisper 研究使用大规模弱监督语音数据训练通用语音识别模型。这些项目的共同线索是扩大训练数据及任务覆盖，减少对某个单独数据集的专门适配。但不同模型的能力和限制仍由具体训练设置决定，不能把通用性理解为任何场景都可靠。
雅各布·德夫林
BERT · 双向预训练
Jacob Devlin 是自然语言处理研究者，最知名的工作是作为第一作者发表 BERT。2018 年，他与 Google 的合作者研究如何预训练一种能够同时利用左右上下文的语言表示。
BERT 在训练中隐藏部分词语，让模型根据周围内容恢复它们，再把预训练模型微调用于问答、分类等任务。这使许多语言理解任务可以共享同一个基础模型，而不必各自从零训练一套表示。
BERT 的影响不仅是取得更好的基准结果，还推动了“先预训练、再适配”的开发方式。它主要面向双向语言理解，与逐步预测下一个 token 的生成式模型在训练目标上不同。把这一区别讲清楚，才能理解后来的编码器、解码器及混合架构各自适合什么任务。
托马斯·米科洛夫
word2vec · 词表示
Tomas Mikolov 是语言建模与表示学习研究者，代表工作包括循环神经语言模型和 word2vec。他关注怎样从大量文本中学习可以计算、比较和复用的词语表示。
2013 年，他与合作者提出高效训练词向量的方法，包括 CBOW 和 Skip-gram。模型通过词语与上下文之间的预测关系学习向量，使语义或用法相近的词在表示空间中呈现相关性。这类表示后来广泛用于检索、分类和其他 NLP 任务。
词向量并不是词义的完整定义，也不能仅靠几个向量运算例子证明模型理解语言。Mikolov 的工作更重要的意义，是展示了大规模无标注文本如何提供有用的统计结构，为之后更复杂的上下文表示和语言模型铺设了方法基础。
Tom B. Brown
GPT-3 · 少样本学习
Tom Brown 是 GPT-3 论文 Language Models are Few-Shot Learners 的第一作者。他参与研究大规模语言模型能否在不更新参数的情况下，仅通过输入中的任务说明和少量例子完成新任务。
2020 年，研究团队训练了 1750 亿参数的 GPT-3，并在翻译、问答、文本补全和其他任务上评估零样本及少样本能力。这里的“学习”发生在一次输入的上下文中，与重新训练或微调模型不是同一件事。
这项工作使提示中的示例成为使用语言模型的重要方式，也展示了扩大模型规模的潜力。论文同时报告了失败任务、数据污染等问题。Brown 后来还参与 Constitutional AI 等研究，研究方向从模型能力延伸到怎样通过反馈改善助手行为。
迪德里克·金马
VAE · Adam
Diederik P. Kingma 是生成模型与机器学习优化研究者，代表工作包括变分自编码器 VAE 和 Adam 优化算法。这两项工作分别影响了模型怎样表示数据，以及怎样调整训练参数。
他与 Max Welling 的 VAE 研究，把概率推断与神经网络结合起来，通过可训练的编码和生成过程学习潜在表示。重参数化技巧让随机变量相关的模型能够使用梯度方法有效训练。
他与 Jimmy Ba 提出的 Adam，根据梯度的一阶和二阶矩估计调整每个参数的更新步长，成为深度学习中常用的优化方法。它的广泛应用不代表在所有条件下都最优；学习率、数据和训练目标仍会影响结果。理解这两项贡献，有助于看清生成模型背后的概率与优化基础。
奥里奥尔·维尼亚尔斯
Seq2Seq · AlphaStar
Oriol Vinyals 是机器学习研究者，工作涉及序列建模、少样本学习和游戏智能体。他参与的项目跨越语言任务与复杂决策系统。
2014 年，他与 Ilya Sutskever、Quoc Le 合作提出 Seq2Seq，用一个网络编码输入，再由另一个网络生成输出，为机器翻译等任务提供了通用的序列转换思路。他也参与了 Matching Networks，研究模型如何利用少量标注例子识别新类别。
在 AlphaStar 研究中，他与 DeepMind 团队把学习方法用于《星际争霸 II》这样的复杂实时策略环境。这里需要处理长期决策、不完全信息和对手行为。不同项目共同体现了模型如何把观察转化为可泛化的预测或行动，但各自的训练条件并不相同。
黎曰国
Seq2Seq · 表示学习
Quoc V. Le 是机器学习研究者，研究涉及大规模表示学习、序列建模和自动化模型设计。他的工作关注怎样从数据中学习特征，以及怎样减少模型开发对手工结构选择的依赖。
2014 年，他与 Ilya Sutskever、Oriol Vinyals 合作提出 Seq2Seq，用端到端训练连接输入编码与输出生成。同年，他与 Tomas Mikolov 研究段落向量，为句子、段落和文档学习固定长度的表示。
他还与合作者探索神经架构搜索，让算法在候选网络结构中寻找合适方案。序列转换、文本表示和架构搜索面对的是不同问题，但都尝试把一部分人工设计转化为学习过程。判断实际收益时，需要同时考虑训练成本、搜索开销和对新任务的适用性。
贾里德·卡普兰
Scaling Laws
Jared Kaplan 的研究连接理论物理与大规模机器学习。他是 2020 年语言模型 Scaling Laws 论文的第一作者，也是 Anthropic 的联合创始人之一。
该研究系统比较模型参数量、训练数据量和计算预算怎样影响语言模型的预测损失。在实验覆盖的范围内，一些关系可以用相对规律的尺度变化描述，从而为训练资源分配提供依据。它将“模型应该多大”转化为需要结合数据与计算一起讨论的问题。
这些规律是特定设置中的经验观察，不是保证所有能力都会按同一速度增长的定律。Kaplan 也参与了 GPT-3 和 Constitutional AI 等研究。其人物脉络可以从模型规模的可预测性，延伸到怎样把能力增长与助手行为的训练结合起来。
乔丹·霍夫曼
Chinchilla · 计算最优训练
Jordan Hoffmann 是机器学习研究者，代表工作是 2022 年关于计算最优语言模型训练的 Chinchilla 研究。他与合作者重新考察固定计算预算下，参数量和训练数据量应该怎样分配。
研究发现，一些已有大模型相对于其参数规模训练得还不够充分。团队比较不同规模与数据配比，并训练了参数更少、使用更多训练 token 的 Chinchilla，在多项评测中取得有竞争力的结果。
这项工作的影响在于提醒模型开发者：增加参数并不是使用计算预算的唯一方式，数据量和训练过程同样重要。论文讨论的训练最优，也不能直接等同于部署成本最优；上线后的推理量、延迟和显存限制仍需要单独衡量。
科林·拉费尔
T5 · 文本到文本
Colin Raffel 是机器学习研究者，代表工作包括 T5，也关注开放研究与模型之间的知识共享。他的研究强调可比较的实验和能够复用的模型方法。
T5 将翻译、问答、分类等任务统一写成文本输入到文本输出，并系统比较预训练目标、数据和微调方式。这样，许多任务可以通过相近接口处理，研究者也更容易在共同实验条件下比较方法。
T5 工作同时发布模型和相关数据处理方法，推动了预训练语言模型的复现与应用。统一任务形式不意味着任务本身没有差别：输入组织、训练数据、输出约束和评价标准仍然影响结果。Raffel 的工作有助于理解为什么一个清晰的实验框架，与新架构本身一样重要。
约翰·舒尔曼
PPO · RLHF
John Schulman 是强化学习研究者，也是 OpenAI 的联合创始人之一。他的研究关注怎样稳定地改进策略，以及怎样让语言模型更好地遵循人的意图。
他与合作者提出 TRPO 和 PPO 等策略优化方法。PPO 通过限制策略更新的变化幅度，在实现复杂度和训练稳定性之间取得实用的平衡，因此被广泛用于强化学习。它也曾用于语言模型的人类反馈训练。
在 InstructGPT 研究中，他参与把示范数据、回答偏好与强化学习结合起来，改善模型的指令遵循行为。算法本身不会自动定义什么是正确或安全：反馈数据、奖励设计和评价过程仍决定系统最终学习到的行为。
保罗·克里斯蒂亚诺
人类偏好学习 · 对齐
Paul Christiano 是 AI 对齐研究者，关注如何让能力不断增强的系统按照人类希望的方式行动。他参与了人类偏好学习和语言模型反馈训练的重要研究。
2017 年，他与合作者研究用人对行为片段的比较来学习奖励函数。人不必为每个动作写出精确的分数，只需比较哪段行为更符合目标，模型再利用这些偏好训练。这为后来 RLHF 的发展提供了重要研究基础。
他也是 InstructGPT 的共同作者。其研究还讨论复杂任务如何获得可靠监督，以及模型是否会利用奖励中的漏洞。理解这条路线需要区分“更符合收集到的偏好”和“在所有情况下都符合人的真实目标”，二者并不等价。
扬·莱克
可扩展监督 · 模型对齐
Jan Leike 是 AI 对齐研究者，关注如何评价和引导越来越强的模型。他参与的工作包括奖励建模、语言模型的人类反馈训练和可扩展监督。
InstructGPT 将人工示范和回答偏好用于训练，使模型输出更符合用户意图。Leike 是该论文的共同作者。2023 年，他与 Ilya Sutskever 共同领导 OpenAI 的 Superalignment 项目，提出研究人类难以直接评价的任务该如何监督。
这一问题的关键是：如果模型能完成超过评审者能力范围的工作，单靠人工看答案可能不足以保证可靠性。相关研究探索模型辅助评估、行为验证和对抗测试。机构公告中的研究目标应与已经得到实验验证的成果分开理解。
欧阳龙
InstructGPT · 指令遵循
Long Ouyang 是 InstructGPT 论文的第一作者。他与合作者研究的核心问题是：语言模型能够生成流畅文字，并不代表它会按照用户的要求给出有用回答。
2022 年的研究先使用人工示范进行监督微调，再收集人对模型回答的偏好，训练奖励模型并进行强化学习。团队在其评测分布中发现，经过这种训练的小模型也可能比规模大得多的基础模型更受评审者偏好。
这项工作展示了训练目标与反馈方式的重要性，推动了面向用户的指令模型。结果并不意味着参数规模不重要，也不表示模型已经消除错误；它说明“擅长预测文本”和“擅长回应请求”需要不同的训练与评测安排。
白云涛
Constitutional AI
Yuntao Bai 是语言模型对齐研究者，也是 Constitutional AI 论文的第一作者。他的研究关注能否让 AI 根据明确原则评价和修改回答，从而减少对逐条人工标注的依赖。
2022 年，研究团队让模型依据一组原则对自己的回答提出批评并修订，再使用修订数据训练模型。另一阶段利用 AI 生成的偏好训练奖励模型，并通过强化学习改善行为。这种做法通常被称为来自 AI 反馈的强化学习。
原则由人制定，反馈过程由模型参与，并不等于系统能独立决定什么是正确。原则是否完整、评价模型是否可靠，以及训练结果能否在新场景中保持，都需要继续验证。Bai 的工作为理解 Claude 等助手的行为训练提供了直接研究入口。
阿曼达·阿斯凯尔
模型行为 · 价值原则
Amanda Askell 的研究背景包括哲学与 AI 行为设计。她关注助手应怎样回应用户，以及如何把诚实、有帮助和减少伤害等要求转化为训练中可以使用的原则。
她是 GPT-3、InstructGPT 和 Constitutional AI 等论文的共同作者。这些研究分别涉及模型能力、人类偏好训练，以及利用原则和 AI 反馈调整模型行为，反映了能力评测与规范性问题之间的联系。
对助手角色的设计会影响回答的语气、拒绝方式及处理价值冲突的行为，但不能替代产品权限、工具约束和实际评测。理解她的工作，重点是人如何明确期望模型表现出的特质，以及这些期望在训练和使用中会遇到哪些困难。
克里斯·奥拉
机制可解释性 · 特征电路
Chris Olah 是机器学习可解释性研究者，长期尝试理解神经网络内部究竟计算了什么。他也以清晰的技术文章、可视化和 Distill 的研究传播工作受到关注。
他的研究从视觉网络中的特征可视化，延伸到由多个神经元和连接组成的计算电路。与只观察模型输入输出不同，机制可解释性尝试找到内部表示及其对行为的因果作用，解释模型为什么产生某种结果。
他与合作者进一步研究语言模型的叠加表示和可解释特征。发现某个特征与一个概念相关，并不自动意味着已经完整解释模型；特征的识别、干预和跨输入验证都很重要。这些工作为分析模型行为和潜在风险提供了工具。
宋晓冬
机器学习安全 · 隐私
Dawn Song 是计算机安全与机器学习研究者，长期研究系统如何面对攻击，以及怎样保护数据和计算过程。她的工作把机器学习能力与安全、隐私需求放在同一个系统问题中考虑。
在 AI 应用中，风险不仅来自模型给错答案，还可能来自训练数据泄露、对抗输入、模型访问和工具权限。她参与的研究覆盖隐私保护学习、机器学习安全与可信计算等方向，强调系统在攻击者存在时仍需要保持可验证的边界。
她是加州大学伯克利分校的研究学者，也是多项安全研究的组织者。对于大模型开发者，她的研究价值在于把“模型表现良好”与“部署系统可信”区分开来；前者需要能力评测，后者还依赖威胁模型、访问控制和安全验证。
丹·亨德里克斯
MMLU · 鲁棒性评测
Dan Hendrycks 是机器学习评测与 AI 安全研究者，代表工作包括 MMLU，以及模型面对异常输入和分布变化时的可靠性研究。
MMLU 汇集多个学科的选择题，用来比较语言模型在广泛知识与问题求解任务上的表现。它为模型之间的比较提供了公共参照，但选择题分数不能覆盖所有实际能力，也不能直接证明模型在真实工作流中可靠。
他的其他工作涉及分布外检测、常见扰动下的鲁棒性和 AI 风险。几条研究线共同强调：除了正常测试集上的平均表现，还需要观察模型在不熟悉、错误或具有挑战性的输入下会怎样失败。评测集合的来源、泄漏与覆盖范围始终影响结论。
迪伦·哈德菲尔德-梅内尔
人机协作 · 价值学习
Dylan Hadfield-Menell 研究人机协作与 AI 对齐，关注系统如何在不完全知道人类目标的情况下作出决策。他的工作把目标的不确定性本身纳入模型。
在 Cooperative Inverse Reinforcement Learning 中，他与合作者把人与机器之间的互动建模为合作问题。机器不应假定收到的奖励函数已经完整表达人的意图，而是需要从人的行动和反馈中进一步推断目标。
这种思路有助于解释为什么澄清问题、允许纠正和保留人类控制权很重要。不过，数学模型中的假设与真实用户行为之间仍有距离。对于 Agent 系统，它提供的是设计和分析人机协作的视角，不能直接替代权限控制与工程层面的安全机制。
拉斐尔·拉法伊洛夫
DPO · 偏好优化
Rafael Rafailov 是机器学习研究者，也是 Direct Preference Optimization，即 DPO 论文的第一作者。他与合作者研究如何更直接地利用人对回答的偏好来训练语言模型。
传统 RLHF 流程往往先训练奖励模型，再用强化学习优化策略。DPO 在特定建模假设下，将这一目标转化为直接作用于偏好样本的训练损失，减少了单独训练奖励模型及在线策略优化的复杂性。
这使偏好训练更容易实现和复现，但并没有消除数据质量问题。被偏好的回答是否正确、训练样本是否覆盖目标用户，以及模型是否学到表面风格，都仍需评测。Rafailov 的工作帮助开发者理解：同一类行为目标，可能通过不同的优化流程实现。
魏杰森
思维链 · 指令微调
Jason Wei 是语言模型研究者，代表工作包括思维链提示和指令微调。他关注模型怎样利用提示与训练任务，在新的问题上表现出更好的推理和泛化能力。
思维链研究在提示示例中加入中间推导步骤，观察模型在算术、常识与符号推理任务上的变化。相关实验表明，在适当模型和任务条件下，展示解题过程可以帮助模型得到更好的答案。
他也参与 FLAN 等指令微调研究，将多个任务写成自然语言指令，用于训练模型适应新任务。生成的推理文本并不必然忠实反映模型的内部计算，步骤看似合理也可能出错，因此最终答案与过程都需要独立验证。
Fei-Fei Li
ImageNet · 空间智能
李飞飞是计算机视觉研究者，ImageNet 及其挑战赛的重要发起者。她的工作强调数据、评测和学习方法之间的关系，也关注 AI 与人的实际生活如何结合。
ImageNet 组织大规模、有标签的视觉数据，使研究者能在共同任务上比较模型。与算法和计算资源一起，这类数据基础设施推动了现代视觉识别的发展。2012 年 AlexNet 的突破，也是在这一公共评测背景下得到广泛认识的。
她曾领导斯坦福人工智能实验室，并参与创办以人为本人工智能研究机构 HAI；后又共同创办 World Labs，研究空间智能。她的经历提醒我们，技术进步不仅来自新模型，还来自数据集、研究社区和可比较的评价条件。
Kaiming He
ResNet · 视觉表示
何恺明是计算机视觉研究者，代表工作包括 ResNet、Mask R-CNN 和 Masked Autoencoders。他的研究横跨网络结构、目标识别与自监督视觉学习。
2015 年，他与合作者提出残差学习，用跳跃连接让网络学习相对于输入的变化，缓解深层网络的优化困难。ResNet 成为视觉模型的重要基础，也使残差连接这一设计得到更广泛应用。
他参与的 Mask R-CNN 将目标检测与实例分割结合，既找出图中有哪些物体，也标出每个物体的像素区域；MAE 则让模型通过恢复被遮挡的图像区域学习表示。几项研究分别改进了深层训练、视觉识别和无标注数据的利用方式。
亚历克斯·克里热夫斯基
AlexNet · GPU 训练
Alex Krizhevsky 是计算机视觉与神经网络研究者，也是 AlexNet 论文的第一作者。他与 Ilya Sutskever、Geoffrey Hinton 合作，把深层卷积网络用于大规模图像分类。
2012 年的 AlexNet 将网络结构、GPU 实现、非饱和激活函数和减少过拟合的方法组合起来，取得了显著的识别进展。成果不仅来自更深的网络，也依赖能够完成训练的计算实现与数据条件。
他还整理了 CIFAR 图像数据集，成为视觉学习中常用的实验资源。AlexNet 和 CIFAR 分别体现了模型实现与公共数据基础设施的作用；后来的研究可以在共同数据上验证新方法，而不必每次重新建立完整实验条件。
伊恩·古德费洛
GAN · 对抗学习
Ian Goodfellow 是机器学习研究者，最知名的贡献是与合作者提出生成对抗网络 GAN。他也参与了对抗样本研究和《Deep Learning》教材的写作。
GAN 让生成器与判别器共同训练：生成器尝试产生接近真实数据的样本，判别器学习区分真实与生成样本。两者之间的竞争提供训练信号，使模型能够学习复杂数据分布，推动了图像生成等领域的发展。
他在对抗样本方面的工作表明，输入中很小但经过设计的变化，也可能使神经网络判断出错。这两条研究线分别涉及生成能力和模型脆弱性。GAN 的训练稳定性、模式覆盖和评价方式仍是重要问题，生成结果逼真不等于模型已经完整理解数据。
戴维·西尔弗
AlphaGo · AlphaZero
David Silver 是强化学习研究者，参与领导了 AlphaGo 和 AlphaZero 等研究。他的工作关注如何把学习与搜索结合起来，在复杂决策问题中改进策略。
AlphaGo 将神经网络的策略与价值评估用于围棋搜索；后续 AlphaGo Zero 和 AlphaZero 更强调从自我对弈中学习，减少对人类棋谱的依赖。系统通过不断与自身交互，积累用于改善决策的数据。
这些成果展示了强化学习在明确规则、可重复模拟的环境中的潜力。它们并不意味着同样的方法可以不加调整地解决开放世界问题：真实场景往往缺少清晰奖励、安全试错空间和准确模拟器。Silver 的研究提供了理解学习、规划和反馈之间关系的重要实例。
研究方向：世界模型与进化方法
World Models · Sakana AI
David Ha 是机器学习研究者，代表工作包括 World Models，也参与创办了 Sakana AI。他关注模型如何形成对环境的内部表示，以及受自然过程启发的学习和组合方法。
2018 年，他与 Jürgen Schmidhuber 研究用生成模型学习环境的压缩表示和动态变化，再基于这些表示训练控制器。World Models 将感知、预测与行动连接起来，为智能体在内部模型中学习提供了直观实例。
他参与的研究还涉及进化策略和模型组合。与只追求更大的单一网络相比，这些方向尝试从搜索、组合和环境交互中获取能力。具体方法是否有效，仍需要看任务、资源与实验条件，不能把“受自然启发”本身当作性能证据。
菲利普·伊索拉
pix2pix · 图像转换
Phillip Isola 是计算机视觉与机器学习研究者，关注图像表示、视觉生成及模型如何理解世界。pix2pix 是他的代表工作之一。
pix2pix 将许多图像转换任务写成条件生成问题：输入边缘、标签图或另一种图像表示，模型输出对应的照片或图像。研究将条件 GAN 与重建目标结合，使相近的训练方式可以用于多种视觉映射任务。
这种统一形式帮助开发者认识生成模型如何接受输入约束，而不只是无条件生成图片。但训练数据中的对应关系、覆盖范围和评价方法仍决定结果能否泛化。Isola 后续的研究继续探索视觉表示与生成之间的联系，为多模态模型提供了重要背景。
阿迪蒂亚·拉梅什
DALL·E · 文生图
Aditya Ramesh 是生成模型研究者，代表工作包括 DALL·E。他参与研究如何让模型根据自然语言描述生成图像，把语言中的对象、属性和关系转化为视觉内容。
2021 年的 DALL·E 工作将文本与图像编码组织为序列，通过生成式模型学习二者之间的关系。后续研究结合 CLIP 表示与扩散生成，进一步探索文本条件下的图像生成方式。
DALL·E 2 进一步利用 CLIP 的图文表示，把文字条件与图像生成联系起来。这条研究路线让用户可以直接用自然语言描述所需图像，而不必先提供草图或类别标签，也推动了可编辑、可交互的生成式图像工具。
罗宾·龙巴赫
潜空间扩散 · 图像生成
Robin Rombach 是生成式视觉模型研究者，最知名的工作是潜空间扩散模型。他与合作者研究如何降低高分辨率图像生成的计算负担。
直接在像素空间反复去噪，需要处理大量数据。潜空间扩散先把图像压缩到更小的表示空间，再在其中进行扩散建模，最后解码回图像。这样可以在保留视觉信息的同时减少生成过程的计算成本。
这条技术路线成为 Stable Diffusion 等系统的重要基础。压缩表示、条件输入和训练数据都会影响生成质量，因此低成本并不意味着没有细节损失。Rombach 的工作把表示学习与扩散生成连接起来，是理解开放图像生成生态的重要入口。
Saining Xie
视觉架构 · DiT
谢赛宁是计算机视觉与机器学习研究者，代表工作包括 ResNeXt、ConvNeXt 以及 Diffusion Transformers。他关注模型架构如何影响视觉表示和生成能力。
ResNeXt 研究在残差结构中组织多个相似变换；ConvNeXt 则重新审视卷积网络，把一些现代训练与架构设计用于视觉任务。这些工作说明，比较模型时不仅要看架构名称，还要考虑训练方式与配置是否公平。
在 DiT 研究中，他与 William Peebles 将 Transformer 用作扩散模型的骨干网络，研究这种结构在生成任务中的扩展规律。其工作连接了卷积、注意力和扩散模型，为理解视觉生成系统为什么采用不同骨干提供了依据。
杰夫·迪恩
分布式训练 · TensorFlow
Jeff Dean 是大规模计算与机器学习系统研究者。他与合作者建设的分布式基础设施，以及后来的深度学习训练系统，连接了算法研究与能够实际运行的大型计算平台。
早期代表工作包括 MapReduce、Bigtable 等系统。进入机器学习领域后，他参与 DistBelief 和 TensorFlow 的建设，使神经网络可以利用更大规模的计算资源训练。TensorFlow 于 2015 年开源，成为研究和应用开发的重要工具之一。
他也是稀疏 MoE 等模型研究的共同作者。这些工作体现了模型与系统之间的相互影响：网络结构决定通信和计算需求，硬件与分布式实现又限制能够训练什么规模的模型。
桑杰·格马沃特
MapReduce · 大规模系统
Sanjay Ghemawat 是分布式系统研究者，长期参与 Google 的大规模计算基础设施建设。他的代表工作包括 Google File System、MapReduce、Bigtable 与 TensorFlow。
MapReduce 将数据处理拆成可以并行运行的映射和汇总阶段，让开发者能够在大量机器上处理数据，同时由框架承担任务分发、故障恢复等工作。GFS 和 Bigtable 则分别解决大规模文件存储与结构化数据管理的问题。
这些系统不是大语言模型本身，却为数据处理与规模化计算提供了重要基础。他与合作者后来的机器学习系统工作，也反映出 AI 工程需要数据库、存储、调度和训练框架共同支撑，而不只依赖一个神经网络算法。
马泰·扎哈里亚
Spark · MLflow
Matei Zaharia 是计算机系统研究者，也是 Apache Spark 的创建者和 Databricks 的联合创始人。他的工作围绕大规模数据处理及机器学习系统展开。
Spark 用可复用的分布式数据抽象支持多种计算，尤其适合需要反复访问数据的任务。与每一步都重新读写外部存储相比，这种设计改善了许多迭代计算和交互式分析的效率。
他还参与 MLflow 等机器学习工程工具，以及组合多个模型与组件的 AI 系统研究。数据准备、实验追踪、版本管理和运行评估，都会影响模型能否稳定成为产品。这条系统研究路线帮助开发者把单次模型调用放回完整的数据与应用流程中。
苏米特·钦塔拉
PyTorch · 深度学习工具
Soumith Chintala 是机器学习工程师和研究者，也是 PyTorch 的共同创建者。他的工作关注如何让研究人员更方便地表达模型、调试训练并复用计算工具。
PyTorch 将张量计算、自动求导与 Python 开发方式结合起来，支持根据实际执行构建计算图。研究者可以用熟悉的控制流程定义模型，逐步观察中间结果，再把原型扩展为较大的训练任务。
他也是 DCGAN 论文的共同作者，参与探索卷积结构在生成对抗网络中的使用。研究工作与工具建设相互联系：新模型需要可试验的开发环境，而一个广泛使用的框架也需要长期的性能、兼容性和社区协作。
FlashAttention · Mamba
Tri Dao 研究机器学习与计算机系统的交叉问题，代表工作包括 FlashAttention 和 Mamba。他在斯坦福大学获得博士学位，曾任普林斯顿大学助理教授，后来以访问研究学者身份继续与该校合作，并担任 Together AI 首席科学家。
2022 年，他与合作者提出 FlashAttention，通过减少 GPU 不同存储层级之间的数据搬运，降低注意力计算的显存开销并提升效率。该方法保留精确注意力的计算目标，重点改变执行方式。
2023 年，他与 Albert Gu 共同发表 Mamba，探索通过选择性状态更新处理长序列的模型结构。前者优化注意力执行，后者改变序列建模方法，共同体现了将算法与硬件效率一起考虑的研究方向。
S4 · Mamba
Albert Gu 是机器学习研究者，代表工作包括结构化状态空间模型 S4，以及与 Tri Dao 合作的 Mamba。他研究模型怎样有效处理长期依赖和很长的序列。
S4 将状态空间方法与适合训练的结构化计算结合起来，让模型能够在序列中传播信息。Mamba 进一步让部分状态更新参数依赖当前输入，使模型可以根据内容选择保留或遗忘哪些信息。
这些方法与标准注意力有不同的计算和记忆方式，也需要配套的高效实现。它们对语言、音频等序列任务提供了新的架构选择，但适用效果取决于任务及模型配置。Gu 的工作是理解 Transformer 之外的模型路线的重要入口。
蒂姆·德特默斯
bitsandbytes · QLoRA
Tim Dettmers 是高效深度学习研究者，代表工作包括 bitsandbytes、低精度优化器和 QLoRA。他关注怎样让显存与计算资源有限的开发者也能使用较大的模型。
QLoRA 将冻结的量化基础模型与可训练的低秩适配器结合起来，使微调过程不必保存全部高精度模型参数的训练状态。论文还研究了量化数据类型和内存管理方法，以进一步减少资源需求。
bitsandbytes 将一些低精度计算和优化方法整理成可使用的工具。降低精度会改变数值表示，实际训练仍需要检查稳定性、质量与硬件支持。Dettmers 的贡献是把模型压缩研究与可执行的工程工具联系起来。
LoRA · 参数高效微调
Edward J. Hu 是机器学习研究者，也是 LoRA 论文的第一作者。他与合作者研究如何用较少的可训练参数完成大模型适配。
LoRA 冻结原模型权重，把需要学习的权重变化表示为两个较小矩阵的乘积。训练时主要更新这些低秩矩阵，从而降低参数更新和存储的负担。不同任务也可以保存各自的适配器，而不必各保存一份完整基础模型。
这项方法后来广泛用于语言及图像模型的微调。它的效果仍受适配位置、秩、数据与任务影响；少训练参数并不意味着自动获得更好的泛化。Hu 的工作提供了一种实用方式，把通用预训练模型连接到资源受限的具体应用。
vLLM · PagedAttention
Woosuk Kwon 是机器学习系统研究者，也是 PagedAttention 论文的第一作者和 vLLM 的主要创建者之一。他关注语言模型推理服务中的显存管理与吞吐。
模型逐步生成文本时，会为已经处理过的 token 保留键和值，也就是 KV cache。不同请求的长度不断变化，朴素分配容易浪费显存。PagedAttention 借鉴分页思想，将缓存分成可管理的块，减少碎片并支持更灵活的共享。
vLLM 将这类机制与请求调度等服务能力结合起来，提高多请求场景下的资源利用率。吞吐改善不等于所有单次请求都会更快，实际效果还需要结合并发、输出长度和硬件评估。
Jensen Huang
NVIDIA · GPU 生态
黄仁勋是 NVIDIA 的联合创始人。1993 年，他与合作者创办公司，最初围绕图形计算发展，后来推动 GPU 向更广泛的加速计算场景延伸。
GPU 能够并行处理大量计算，但要让开发者用于科学计算与机器学习，还需要编程工具、库和系统支持。CUDA 及其生态降低了使用这类硬件的难度，使模型训练能够利用不断增长的并行算力。
NVIDIA 后来把产品范围扩展到芯片、互连、服务器和软件栈。对大模型训练而言，多块 GPU 怎样交换数据、软件库怎样执行计算，与单颗芯片的速度同样重要。这也是黄仁勋长期推动的加速计算平台路线。
Liang Wenfeng
DeepSeek
梁文锋是 DeepSeek 的创办者，早期从事量化投资，后来将计算资源和研究团队投入大模型研发。DeepSeek 以公开模型权重与技术报告受到关注，使开发者能够在商业 API 之外选择自行部署模型。
DeepSeek 团队公开了 DeepSeek-V2、V3、R1 等模型及技术报告，涉及稀疏专家模型、训练效率和推理能力。开放的模型权重与报告使其他研究者和开发者能够检查、部署或继续研究相应方法。
其中，DeepSeek-V3 采用混合专家结构，每个 token 只使用部分专家参与计算；R1 则把强化学习用于推理能力训练，并发布蒸馏模型。梁文锋的创办者角色与这些团队成果一起，构成了 DeepSeek 的人物和技术背景。
Zhilin Yang
XLNet · Kimi
杨植麟是语言模型研究者、Moonshot AI 的联合创始人。他在清华大学完成本科学习，并在卡内基梅隆大学获得博士学位，研究经历涉及语言表示与预训练模型。
2019 年，他作为第一作者发表 XLNet，与合作者结合自回归建模和双向上下文，研究 BERT 等预训练方法中的限制。他也参与 Transformer-XL，探索如何利用跨片段的信息改善长距离依赖建模。
此后，他参与创办 Moonshot AI，团队推出 Kimi 等模型和产品。其研究与创业之间有清晰的联系：Transformer-XL 关注较长文本中的信息利用，XLNet 关注预训练目标，而 Kimi 则把语言模型交给更广泛的用户使用。
Jie Tang
知识图谱 · GLM
唐杰是清华大学计算机科学与技术系学者，研究涉及数据挖掘、知识图谱和人工智能。他参与建设学术知识系统 AMiner，也参与 GLM 等语言与多模态模型研究。
GLM 通过自回归填空组织预训练，尝试把语言理解与生成任务放在相近的训练框架下。相关团队随后开展双语模型、对话模型、代码和视觉生成等研究，并公开部分模型与工具。
AMiner 与 GLM 分别体现了两类工作：前者组织论文、学者和研究关系，让知识可被检索；后者从大规模数据学习理解与生成能力。唐杰参与的研究由知识图谱延伸到语言模型，连接了明确的知识结构与神经网络表示。
Peng Zhang · 智谱
智谱 · 研究成果转化
张鹏是清华大学 1998 级校友，清华在 2024 年的报道中将其列为智谱 CEO。智谱于 2019 年由清华的技术成果转化而来，他的工作主要涉及公司组织、模型产品与产业应用。
智谱围绕 GLM 系列建设语言模型与应用平台，并与学术团队合作开展代码生成、多模态等研究。这类工作既需要模型研究，也需要训练工程、部署、产品和客户使用反馈共同参与。
2024 年，张鹏代表智谱支持清华大学人工智能教育赋能项目。清华的报道记录了模型在课程智能助教中的应用，以及公司提供研发资源和模型服务的做法。这是其团队将研究转化为具体产品与使用场景的一例。
Junyang Lin
Qwen · 开放模型
林俊旸是语言与多模态模型研究者，也是 Qwen 和 Qwen-VL 技术报告的共同作者。他参与的研究覆盖语言建模、模型对齐以及视觉信息与语言的结合。
Qwen 报告介绍了模型预训练、数据处理、能力评测与对话适配。Qwen-VL 则研究如何让模型理解图像内容、定位对象并读取文字，使输入不再局限于纯文本。开放模型及配套工具也让开发者能够在自己的环境中研究和部署这些能力。
语言模型与视觉语言模型的工作有直接联系：前者学习理解和生成文本，后者还需要把图像转换为模型能够处理的表示。林俊旸参与的两类报告，具体记录了文本、图像和训练目标如何在同一套模型体系中结合。
Jingren Zhou
大规模计算 · Qwen
周靖人的研究与工程经历涉及数据库、分布式计算和机器学习平台，也参与了 Qwen、Qwen-VL 等模型的技术报告。这条路径连接了数据系统与模型训练。
大模型不仅需要神经网络结构，还需要持续处理数据、调度计算、保存训练状态和提供服务的基础设施。相关平台工作决定研究方法能否在大量数据与设备上稳定运行，也影响训练和部署的成本。
他也是 Qwen 和 Qwen-VL 技术报告的共同作者。这些工作将大规模计算平台与模型研究结合，覆盖预训练数据、分布式训练、能力评测以及图像与文本的联合处理，体现了数据系统背景在模型研发中的作用。
Jinze Bai
Qwen · Qwen-VL
白金泽是语言与视觉语言模型研究者，是 Qwen 与 Qwen-VL 技术报告的第一作者。他参与的工作涉及基础模型训练、多模态输入与任务评测。
Qwen 技术报告介绍语言模型的数据、预训练及能力评估。Qwen-VL 在此基础上结合视觉组件，研究图像理解、文字识别和对象定位，让模型可以根据图片与文本共同完成任务。
Qwen-VL 不只生成图片描述，还尝试用边界框对应图像中的对象，并处理图中文字。因此，理解一张图与指出“答案在图中哪里”成为可以一起训练的任务，为文档问答、对象定位和图文交互提供了基础。
Hongxia Yang
大规模机器学习 · 预训练
杨红霞是生成式 AI 与大规模机器学习研究者，拥有南开大学学士和杜克大学博士学位。香港理工大学的官方简介记录了她从产业模型研发转向高校研究与组织建设的经历。
她曾在 IBM、Yahoo、阿里巴巴和字节跳动从事研发工作，并在阿里巴巴与字节跳动组织大模型研究团队。这些工作需要同时处理算法、海量数据和分布式计算，不只是选择一种神经网络结构。
在香港理工大学，她担任生成式人工智能讲座教授，并参与建设人工智能研究与应用平台。其研究方向包括大规模模型训练、模型协作和产业应用，将模型方法与具体行业的数据、资源和部署条件结合起来。
Kai-Fu Lee
语音研究 · 零一万物
李开复是计算机科学背景的企业家和投资人，早期研究涉及语音识别，后来参与科技企业管理、创业投资以及 AI 公司的建设。他是零一万物的创办者。
其早期语音研究将统计方法用于识别连续语音，之后的职业经历更多转向组织和产品。零一万物团队推出 Yi 系列模型，并围绕大模型的使用与商业应用探索不同方向。
从语音研究、科技企业管理到创新工场与零一万物，他的职业路径多次跨越研究和商业应用。Yi 系列是零一万物团队的模型成果；创新工场则通过投资和创业支持参与 AI 产业，两者对应不同的组织方式。
Xiaochuan Wang
百川智能 · 模型应用
王小川是技术背景的企业家，曾参与搜索产品和公司的建设，后来创办百川智能。他的经历连接了互联网信息服务与大模型创业。
百川团队公开了 Baichuan 等语言模型及技术报告，研究预训练、对齐和中文能力，并持续探索具体应用。面向中文用户的模型既需要通用知识与推理能力，也需要处理语言、数据和真实业务中的差异。
百川团队在 Baichuan 2 报告中公开了模型预训练、监督微调、偏好训练以及安全评估的方法。从搜索到语言模型，这条产品路线的变化是：系统不仅返回已有网页，也开始根据上下文直接生成回答。
Zhiyuan Liu
语言与知识 · 高效模型
刘知远是清华大学自然语言处理研究者，工作涉及语言模型、知识表示和社会计算。他关注模型怎样利用文本与结构化知识，以及如何提升模型的实际使用效率。
他的合作研究包括知识表示、预训练语言模型和高效模型训练等方向。知识图谱将实体与关系明确组织起来，语言模型则从文本中学习统计表示，二者如何结合是长期研究问题。
他参与的 CPM 探索大规模中文预训练与生成，MiniCPM 则研究较小模型如何通过训练策略获得实用能力。这两类工作分别关注中文模型建设与资源效率，也使其知识表示研究进一步延伸到可部署的开放模型。
Maosong Sun
中文 NLP · 预训练模型
孙茂松是自然语言处理研究者，长期从事中文语言计算、语义分析及语言资源建设。他的研究经历覆盖从传统 NLP 到大规模预训练模型的多个阶段。
中文处理涉及分词、句法、语义与知识组织，也需要长期积累的数据资源和评价条件。他与合作者参与语言表示和预训练模型研究，推动中文任务使用更通用的模型与工具。
在 CPM 等合作工作中，研究团队探索大规模中文预训练与文本生成：先用大量中文文本训练通用模型，再利用任务描述或少量示例完成下游任务。这与早期为每个语言任务分别设计系统的方式形成了鲜明对照。
Zhongyuan Wang
知识图谱 · 短文本理解
王仲远是自然语言处理与知识表示研究者，在中国人民大学获得计算机学科的学士、硕士和博士学位。他的早期工作围绕短文本理解、概念知识库和实体链接展开。
在微软亚洲研究院，他曾负责 Probase、Enterprise Dictionary 等项目，研究如何从网页或企业资料中组织概念与关系。短搜索词通常缺少完整语法和上下文，这类知识能够帮助系统判断一个词指的是哪类事物。
他随后在 Facebook 参与查询与文档理解，把实体链接用于大规模信息处理。其个人主页保留了这一阶段的研究记录，包括《Short Text Understanding》和相关论文；这些工作呈现了大语言模型兴起前，知识与文本理解结合的一条技术路线。
Yao Fu
语言模型 · 长上下文
傅尧是自然语言处理研究者，代表工作涉及语言模型的长上下文训练和信息检索能力。他也通过技术文章解释模型数据、推理及部署中的具体问题。
2024 年，他与合作者发表将语言模型扩展到 128K 上下文的研究。论文重点不是重新设计整个架构，而是分析继续预训练时的数据组成：在不同来源的数据中提高长文本的比例，帮助模型在更长输入的任意位置利用信息。
研究还比较了长上下文能力与短任务表现，而不只测试模型能否接收更长的文本。这使数据工程成为长上下文训练中的关键环节：窗口长度只是输入上限，模型是否真正能找到并使用其中的信息，需要通过任务结果检验。
Tianyu Gao
SimCSE · ALCE
高天宇是自然语言处理研究者，代表工作包括句子表示方法 SimCSE，以及带引用回答的评测框架 ALCE。他的研究连接了知识问答中的两个环节：如何找到相关内容，以及如何证明回答确实有依据。
SimCSE 使用对比学习训练句子表示。无监督版本通过 dropout 为同一句子生成不同视图，让对应表示更接近；监督版本利用自然语言推断数据构造训练信号。这些表示可以用于文本相似度、聚类和检索。
ALCE 则将引用作为回答质量的一部分，不只检查模型写得是否流畅，还检查引用是否支持对应陈述、需要证据的内容是否得到覆盖。它与 SimCSE 分别关注检索表示和回答验证，为 RAG 系统的不同阶段提供了研究方法。
山姆·奥特曼
OpenAI · AI 产品化
Sam Altman 是 OpenAI 的联合创始人之一，职业经历包括创业、Y Combinator 和 AI 研究机构建设。他的重要角色主要在于组织、资金、战略和产品方向。
2015 年 OpenAI 成立时，他担任联合主席。后来，团队的研究与产品从模型实验逐步扩展到 API、ChatGPT 和企业应用，使大模型进入更广泛的开发与使用场景。这一过程需要持续协调研究目标、计算资源和产品部署。
他参与的主要工作是组织建设、资源投入和产品方向，而不是某一项模型算法。OpenAI 从研究组织发展到提供 ChatGPT 和 API 的公司，也带来了算力供给、研究开放程度、产品安全和商业化之间的长期取舍。
达里奥·阿莫代伊
Anthropic · 模型能力与安全
Dario Amodei 是研究者、Anthropic 的联合创始人。他的公开工作连接了大规模模型能力、AI 安全研究和面向用户的模型产品。
他参与了语言模型 Scaling Laws、GPT-3 和 Constitutional AI 等研究。前两项考察规模与能力的关系，后一项探索通过明确原则和 AI 反馈改善助手行为。这些方向说明，提升模型能力与定义期望行为需要不同的研究和训练安排。
在 Anthropic，Claude 产品与对齐研究一起发展。其团队的 Constitutional AI 使用明确的原则指导回答修改和偏好训练，试图减少对逐条人工反馈的依赖。Amodei 的研究与组织经历，因而同时涉及模型规模和模型行为。
德米斯·哈萨比斯
DeepMind · AlphaFold
Demis Hassabis 是 DeepMind 的联合创始人，研究与职业经历连接了计算机科学、游戏开发和神经科学。他关注如何建设能够处理复杂问题的学习系统。
DeepMind 团队开展了 AlphaGo、AlphaFold 等研究。AlphaFold2 根据蛋白质的氨基酸序列预测三维结构，为生物研究提供了重要工具。Hassabis 与 John Jumper 因蛋白质结构预测方面的贡献，共同分享了 2024 年诺贝尔化学奖的一部分。
2024 年，他与 John Jumper 因蛋白质结构预测研究获得诺贝尔化学奖的一半，另一半授予 David Baker。AlphaGo 与 AlphaFold 分别面向游戏决策和科学问题，体现了他领导研究团队将 AI 用于不同任务的路径。
谢恩·莱格
通用智能 · DeepMind
Shane Legg 是通用人工智能研究者，也是 DeepMind 的联合创始人。他早期研究智能的形式化定义，尝试讨论一个系统在多种环境中实现目标的能力。
他与 Marcus Hutter 的相关工作将智能评价与环境、目标和行动联系起来。理论定义帮助研究者明确讨论对象，但实际计算、数据和环境假设，也限制了这些定义如何用于真实系统。
2010 年，他与 Demis Hassabis、Mustafa Suleyman 共同创办 DeepMind。认识 Legg 的工作，可以把对通用能力的理论讨论与研究机构的长期目标联系起来，同时区分理论度量、具体基准结果和商业产品中的能力描述。
穆斯塔法·苏莱曼
AI 产品 · 研究组织
Mustafa Suleyman 是 DeepMind 和 Inflection AI 的联合创始人。他的职业经历主要涉及 AI 组织建设、产品化和技术的社会影响。
DeepMind 早期把强化学习和神经网络研究组织为长期项目；Inflection AI 则探索面向用户的对话助手。此后，他也参与微软的消费者 AI 产品工作。这些经历体现了从研究能力走向交互产品时，对团队、使用体验和部署方式的不同要求。
他与 Michael Bhaskar 合著 The Coming Wave，讨论 AI 等技术快速扩散后，社会如何保留有效的控制能力。这本书延续了其产品工作中的关注点：技术怎样进入真实生活，以及组织需要承担什么责任。
阿瑟·门施
Mistral · 模型效率
Arthur Mensch 是机器学习研究者，也是 Mistral AI 的联合创始人。他的经历涉及大型研究团队中的语言模型训练，以及面向部署与开放生态的模型公司建设。
他参与了 Chinchilla 等计算最优训练研究，考察固定预算下模型参数和训练数据怎样配合。2023 年成立的 Mistral 团队随后发布多个语言模型，探索开放权重、推理效率和商业服务之间的组合。
Mensch 的研究与创业路径把训练资源配置和产品部署联系起来。开放权重不一定意味着训练数据、全部代码或所有产品都开放；评估具体模型时，仍要查看对应版本的许可证和技术说明，而不能仅依据公司的整体定位。
马克·扎克伯格
Meta · Llama 开放路线
Mark Zuckerberg 是 Meta 的创办者。他与大模型发展的关系，主要体现在公司层面的研究投入、计算资源和模型分发策略，而非作为某一算法的研究作者。
Meta 团队发布了 Llama 系列，并提供部分模型权重与配套资源，使开发者能够在不同环境中运行和适配模型。这样的发布方式推动了围绕基础模型的工具、微调与部署生态，也引发了对开放程度和许可证边界的讨论。
Zuckerberg 的公开文章解释了 Meta 对开放 AI 的战略判断。读者需要同时查看具体版本的授权条款：模型可下载、可商用或可修改，分别可能附带不同条件。公司策略与研究团队的技术成果应分开表述。
米拉·穆拉蒂
模型研发 · Thinking Machines
Mira Murati 是 AI 技术与产品组织负责人，曾担任 OpenAI 首席技术官，后来创办 Thinking Machines Lab。她的职业重点是连接模型研究、工程开发和实际产品。
大模型研发需要把训练实验、基础设施、安全评价和用户需求组织在一起。她在 OpenAI 的公开角色涉及这些工作之间的协调；相关产品的研究与实现仍由多个团队共同完成。
Thinking Machines Lab 的公开方向是让 AI 更容易被理解、定制和使用。与单个模型的研究不同，这类研发需要把研究人员、系统工程师和产品团队组织在一起；Murati 的职业经历主要围绕这样的跨团队协作展开。
埃隆·马斯克
xAI · Grok
Elon Musk 是企业家，也是 xAI 的创办者。他曾参与 OpenAI 的早期成立与资金支持，后来通过 xAI 组织模型研发及相关计算基础设施。
xAI 团队开发 Grok 模型和产品，并建设用于训练的算力系统。对这一研究组织而言，模型、数据、计算集群和产品分发相互关联，不能只凭单一模型演示理解整个技术能力。
他在 AI 领域主要通过创办公司、投入计算资源和确定产品方向产生影响。Grok 是 xAI 团队的模型与产品，Tesla 的自动驾驶研究则面对物理环境中的感知与决策，两类系统的任务、数据和验证方式并不相同。
梁鹏
HELM · 模型透明评测
Percy Liang 是斯坦福大学计算机科学研究者，工作涉及机器学习、语言理解与基础模型。他是 HELM 论文的第一作者，也参与建设可公开检查的模型评价资源。
HELM 尝试从多个场景和指标评价语言模型，包括准确性、校准、鲁棒性、公平性及效率。它强调在统一条件下保留足够多的结果，使人能够看到模型之间的取舍，而不只比较一个总分。
他的研究还涉及数据效率、可靠性与开放研究。对于开发者，HELM 的价值不仅是看榜单，更是理解自己的应用究竟需要哪些指标、公开基准漏掉了什么，以及模型表现是否能够被他人复核。
克里斯托弗·曼宁
自然语言理解 · Stanford NLP
Christopher Manning 是语言学与计算机科学研究者，长期研究自然语言处理、语言表示及语言理解。他的工作横跨统计 NLP、句法分析、神经表示和大模型时代的语言研究。
他与合作者建设了 Stanford NLP 的多个工具和模型，也参与 GloVe 等词表示研究。GloVe 将全局词共现统计用于学习向量，让词语之间的关系能够被后续模型利用。
他也通过教材、课程与研究团队培养推动 NLP 方法的传播。认识 Manning 的工作，有助于理解语言模型的发展并非只是一串更大的参数规模：语言结构、数据、学习目标和任务评价一直影响着模型能够学到什么。
埃米莉·本德
语言数据 · 模型能力边界
Emily M. Bender 是计算语言学研究者，关注语言技术的数据、评价和社会影响。她强调在讨论模型能力时，需要区分文本形式的规律与语言在实际使用中的意义。
她与合作者提出 Data Statements 等方法，要求更清楚地记录语言数据来自谁、覆盖什么群体和适用于什么用途。她也是 Stochastic Parrots 论文的共同作者，讨论大规模语言模型训练中的数据、环境与社会风险。
她的工作为模型研发提供了一种语言学和社会技术视角。相关观点可以帮助读者审视“理解”“通用”等表述，但具体系统的能力仍需要具体任务中的证据，不能仅凭一种总体立场作结论。
蒂姆尼特·格布鲁
数据文档 · 算法偏差
Timnit Gebru 是 AI 研究者，关注数据集、算法偏差和研究问责，也是 Distributed AI Research 的创办者。她的工作强调技术系统背后的数据与社会条件。
Datasheets for Datasets 建议像记录硬件规格一样，为数据集说明收集过程、组成、预期用途和限制。她与 Joy Buolamwini 的 Gender Shades 研究，则展示了部分商业性别分类系统对不同人群表现不均衡的问题。
Gender Shades 把不同群体的错误率分别列出来，使“总体准确率很高”背后的差异变得可见；Datasheets 则要求说明数据从哪里来、怎样收集以及适合什么用途。两项工作把数据记录与分组评测带入了模型研发流程。
玛格丽特·米切尔
Model Cards · 模型透明度
Margaret Mitchell 是 AI 研究者，研究涉及语言生成、模型评价与负责任的机器学习。她是 Model Cards for Model Reporting 论文的第一作者。
Model Cards 建议随模型发布结构化说明，记录用途、训练与评测条件、不同群体的表现及已知限制。这样，使用者能够判断模型是否适合自己的场景，而不必只依赖一个演示或排行榜分数。
她也参与关于语言模型数据和社会风险的研究。模型卡不能自动保证模型安全，但能让原本隐含的信息更容易被检查。对于实际开发，它将模型选择从“能否调用”扩展到“在什么条件下适用、有哪些已知问题”。
德博拉·拉吉
算法审计 · 部署问责
Inioluwa Deborah Raji 是 AI 问责与算法审计研究者，关注模型在真实组织中怎样被检查，以及发现问题之后谁负责采取行动。
她参与的研究讨论从开发到部署的审计流程，强调记录系统目标、数据、评价结果、风险和组织决策。审计不仅是在发布前跑一次测试，还需要把证据与实际使用条件联系起来。
她也研究商业 AI 系统的偏差与外部审查。对大模型应用而言，这些工作提醒团队：公开基准不能覆盖所有部署风险，评测结论还需要与版本、用户、业务流程和责任分工绑定，才能支持持续改进。
汉娜·沃拉赫
社会技术评测 · 公平性
Hanna Wallach 是机器学习研究者，研究经历包括主题模型、计算社会科学和 AI 公平性。她关注模型评价中的技术指标与社会情境如何相互影响。
公平性并不是选择一个指标就能完全解决的问题。同样的错误在不同群体、用途和组织流程中可能产生不同后果。她参与的研究强调，应根据具体使用场景识别潜在伤害，并明确评测指标能够覆盖什么、遗漏什么。
这种视角同样适用于大模型：平均得分、拒答率或偏见测试都只是部分证据，还需要结合用户任务和部署条件。她的工作推动团队把社会影响纳入系统设计与评测过程，而不是等到出现问题后再补充说明。
安德烈·卡帕西
nanoGPT · 神经网络教学
Andrej Karpathy 是深度学习研究者和教育者，曾参与 OpenAI 的早期研究，也曾在 Tesla 负责计算机视觉相关工作。他在斯坦福获得博士学位，并参与神经网络课程教学。
他公开的 micrograd、minGPT、nanoGPT 等项目，把自动求导和语言模型训练拆成相对容易阅读的代码。Neural Networks: Zero to Hero 系列课程通过逐步实现，让学习者理解模型从数据到损失、梯度和参数更新的过程。
他也通过文章和演讲讨论 AI 编程与模型使用方式。其教育项目的价值在于降低理解实现的门槛；教学代码与生产系统的吞吐、分布式训练和可靠性要求仍有不同，应按照项目目标使用。
Andrew Ng
机器学习教育 · AI 应用
吴恩达是机器学习研究者、教育者和企业家，参与过大规模深度学习研究，也通过在线课程推动 AI 知识传播。他是 Coursera 的联合创始人，以及 DeepLearning.AI 的创办者。
他的机器学习与深度学习课程将模型、优化和工程实践组织成可学习的路径，帮助大量开发者进入这一领域。2017 年成立的 DeepLearning.AI 继续围绕课程、实践训练和社区开展工作。
他的产业经历也涉及将 AI 用于具体业务。阅读其文章和课程时，可以把通用学习方法与特定工具的使用方式区分开：工具会更新，而明确任务、理解数据、建立评测和迭代模型等工程习惯仍具有持续价值。
托马斯·沃尔夫
Transformers · Hugging Face
Thomas Wolf 是 Hugging Face 的联合创始人，也是 Transformers 工具论文的第一作者。他的工作连接开放模型、研究工具与开发者社区。
Transformers 将多种预训练模型放到相近的接口和工具体系中，使用户更容易加载模型、处理输入、训练和进行推理。与只公开论文相比，可复用的实现让研究结果更容易进入实际项目，也方便跨模型比较。
他参与推动模型与数据资源的开放协作，并通过技术文章解释研究进展。统一接口并不意味着所有模型具有相同能力、许可证或运行条件，开发者仍需要阅读各自的模型说明。工具生态的价值正是帮助这些差异更容易被使用者理解和管理。
克莱芒·德朗格
Hugging Face · 开放社区
Clément Delangue 是 Hugging Face 的联合创始人。他在 AI 领域的重要作用，主要体现在建设模型、数据集和开发者之间的协作平台。
Hugging Face Hub 为模型与数据提供托管、版本、说明和讨论入口，配合 Transformers 等工具，使研究者与开发者能够分享及复用成果。平台上的模型来自许多不同团队，而不是都由 Hugging Face 自行训练。
他与 Thomas Wolf、Julien Chaumond 共同创办的平台，把工具开发和社区协作放在一起：模型作者可以公开权重与说明，使用者可以复现、讨论并发布改进。不同团队的模型因此有了共同的发现入口，也更容易被应用开发者采用。
朱利安·肖蒙
Hugging Face · 模型平台
Julien Chaumond 是 Hugging Face 的联合创始人，参与建设面向机器学习开发者的平台与工具。他的工作更多体现于产品和工程基础设施。
一个模型平台需要处理的不只是文件上传，还包括版本、访问、说明、演示和与开发工具之间的连接。Hugging Face Hub 与相关服务把这些环节组织起来，让团队可以共享模型、数据集和可运行的示例。
他与 Clément Delangue、Thomas Wolf 共同建设的 Hugging Face，把开源代码、模型文件和在线演示连接起来。研究者可以发布成果，开发者可以从一个模型页面找到使用说明、相关数据与演示，减少寻找和拼接资料的工作。
杰里米·霍华德
fast.ai · 实践教学
Jeremy Howard 是机器学习实践者和教育者，也是 fast.ai 的共同创办者。他关注如何让有编程经验的人更快开始使用深度学习，并通过实践逐步理解原理。
fast.ai 的课程通常先让学习者运行有意义的模型，再逐层解释训练、数据和实现细节。配套的 fastai 工具库封装常见训练流程，同时保留进一步定制的能力。这种由具体任务进入理论的方式影响了许多开发者的学习路径。
他也参与 ULMFiT 等迁移学习研究，将预训练语言模型适配到文本分类任务。教育和研究在这里相互连接：通用模型降低从零训练的成本，而清晰的工具与课程帮助更多人把这些方法用于实际问题。
塞巴斯蒂安·拉施卡
从零实现 LLM · 技术写作
Sebastian Raschka 是机器学习研究者、工程师和技术作者，职业经历覆盖学术教学与产业研发。他以把模型原理连接到可运行代码的书籍和文章受到关注。
《Build a Large Language Model (From Scratch)》通过逐步实现文本处理、注意力、模型训练与微调，帮助读者理解语言模型的组成。配套代码也使学习者能够检查具体实现，而不是只阅读抽象架构图。
他的技术写作持续讨论训练方法、评测和模型研究。对于开发者，这类材料适合作为从工具调用走向理解实现的桥梁。学习用实现会有意简化工程细节，实际项目仍需要根据数据、计算资源和运行要求补齐相应能力。
哈里森·蔡斯
LangChain · LangGraph
Harrison Chase 是 LangChain 的创建者和公司联合创始人。他关注如何把语言模型与外部数据、工具和应用流程连接起来。
LangChain 提供模型、检索和工具等组件的集成方式；LangGraph 更强调带有状态与分支的执行流程，帮助开发者组织循环、人工介入和可恢复的任务。相关工具使 Agent 应用的流程能够被表达、检查和调试。
框架提供的是开发结构，不会自动保证检索正确、工具调用安全或任务成功。模型能力、数据、权限和评测仍需要应用团队负责。认识 Chase 的工作，适合从开发者实际要组织哪些组件、管理哪些状态的问题出发。
约翰·霍普菲尔德
联想记忆 · Hopfield 网络
John Hopfield 是将统计物理方法引入神经网络研究的重要人物。1982 年，他提出一种能够存储和恢复模式的网络：给它一张不完整或带噪声的图案，网络可以逐步找回记住的模式。
Hopfield 网络用相互连接的单元表示状态，并让状态更新朝着降低能量的方向进行。记忆对应能量较低的稳定状态，回忆则成为寻找稳定状态的过程。这种设计把物理中的能量模型与计算中的联想记忆联系起来。
2024 年，他与 Geoffrey Hinton 共同获得诺贝尔物理学奖。经典 Hopfield 网络并不是今天聊天模型的直接结构，但它提出的问题一直延续下来：信息如何存入网络，系统又如何根据不完整线索恢复所需内容。
亚历克斯·格雷夫斯
序列学习 · Neural Turing Machine
Alex Graves 是序列学习研究者，早期代表工作涉及语音、手写识别和循环神经网络。他关注连续输入与输出之间的关系，特别是没有逐帧或逐字对齐标注时，模型怎样学会识别序列。
他参与的 CTC 方法，让模型可以根据完整输入和最终文字计算训练目标，不必预先给出每个时刻对应哪个字符。他也研究利用循环网络生成文字和手写笔迹，把序列模型从识别工具扩展为生成工具。
2014 年，他与 Greg Wayne、Ivo Danihelka 提出 Neural Turing Machine，为神经网络配上可读写的外部记忆。模型学习何时读、写以及访问哪个位置。这比单纯增大隐藏状态更明确地把计算与记忆分开，是可学习记忆系统的一条早期研究路线。
Jimmy Lei Ba
Adam · Layer Normalization
Jimmy Ba 是神经网络学习算法研究者，在多伦多大学师从 Geoffrey Hinton 获得博士学位。他的两项代表工作 Adam 和 Layer Normalization，都是许多模型训练代码中经常出现的基础组件。
他与 Diederik Kingma 提出的 Adam，根据梯度的一阶和二阶矩估计调整参数更新。直观地说，它不仅看当前梯度，还保留过去更新的信息，为不同参数计算不同的步长，而不是给所有参数同一套未经调整的更新量。
在 Layer Normalization 研究中，他与合作者把归一化放到单个样本内部的特征上，减少对批次统计量的依赖。这使训练与推理能够采用相近的计算方式，也适合循环网络等场景。两项工作分别从参数更新和中间表示入手，改善神经网络的训练过程。
阿伦·范登奥德
WaveNet · VQ-VAE
Aaron van den Oord 是生成模型与表示学习研究者，代表工作包括 WaveNet 和 VQ-VAE。他研究如何直接生成复杂信号，以及怎样把连续的声音、图像转换成便于模型处理的表示。
2016 年，他与合作者发表 WaveNet，用自回归神经网络逐步预测原始音频采样点。模型根据之前的波形生成下一个采样值，而不是只预测少量手工设计的声学参数。这条路线推动了神经网络在语音合成中的应用。
在 VQ-VAE 中，编码器把输入映射到一个离散码本中的向量，解码器再从这些离散表示恢复信号。模型因而能够学习一组可复用的符号，而不是始终操作原始像素或波形。这为图像和音频的离散建模提供了重要方法。
周登勇
复杂推理 · Self-Consistency
Denny Zhou 的研究关注语言模型怎样解决需要多步推理的问题。他参与的代表工作包括 Self-Consistency 和 Least-to-Most Prompting，分别研究如何利用多条推理路径，以及如何把复杂问题拆成可处理的子问题。
Self-Consistency 不只采用模型一次生成的推理过程，而是采样多条路径，再根据得到的答案进行汇总。它利用不同路径之间的一致性减少单次生成的偶然错误，但多次生成也会增加计算量。
Least-to-Most 先将问题分解，再依次解决子问题，并把前面的结果交给后续步骤。两种方法关注的是不同环节：前者比较多次尝试，后者组织问题之间的依赖。它们为后来通过增加推理时计算改善效果的研究提供了具体实例。
巴雷特·佐夫
神经架构搜索 · Switch Transformer
Barret Zoph 是模型架构与大规模训练研究者，代表工作包括神经架构搜索和稀疏专家模型。他的研究关心两件事：网络结构能否自动寻找，以及更多参数能否在有限计算量下发挥作用。
他与 Quoc Le 的神经架构搜索研究，让一个控制器生成候选网络结构，再根据这些网络的训练表现改进搜索策略。人工仍需规定搜索空间和评价方式，但具体结构的选择可以部分交给算法。
在 Switch Transformer 中，他与 William Fedus、Noam Shazeer 将专家路由简化为每个 token 选择一个专家，并研究训练稳定性与通信开销。这与架构搜索的目标不同：前者寻找结构，后者让已有结构能够更高效地扩大容量。
Liam Fedus
Switch Transformer · 稀疏模型
William Fedus，也以 Liam Fedus 署名，是稀疏语言模型与训练方法研究者。他作为第一作者发表 Switch Transformer，与 Barret Zoph、Noam Shazeer 合作研究如何在不过度增加每次计算量的情况下扩大模型。
模型设置多个专家子网络，但一个 token 只被送到其中一个专家。总参数量可以增长，而每次输入实际调用的参数仍受到控制。研究同时处理路由、负载分配、数值精度和分布式通信等问题，避免只扩大参数却无法稳定训练。
他还参与大规模指令微调研究，比较任务数量、模型大小与推理示例对效果的影响。这些工作分别对应预训练阶段的计算分配，以及训练后模型如何更好地理解用户要求。稀疏结构与指令适配解决的是两类不同的问题。
FLAN · 指令微调
Hyung Won Chung 是语言模型训练研究者，代表工作包括《Scaling Instruction-Finetuned Language Models》。他与合作者系统研究了一个问题：让模型见过更多类型的指令，能否改善它处理新任务的能力？
研究不只扩大模型，也增加指令任务的种类，并加入带有中间推理步骤的训练示例。团队比较这些因素各自及共同带来的变化，形成 FLAN 系列训练方法中的重要一环，使指令微调从少量任务适配走向更大规模的训练。
他也是 PaLM 技术报告的共同作者。基础模型预训练主要学习预测文本，指令微调则进一步改变模型回应任务的方式。其合作工作把两个阶段联系起来，展示了模型规模、训练数据和训练目标怎样共同影响最终使用效果。
奥菲尔·普雷斯
ALiBi · SWE-bench
Ofir Press 的研究跨越语言模型的位置表示与能力评测。早期代表工作 ALiBi 关注模型能否处理比训练时更长的文本，后来的 SWE-bench 与 SWE-agent 则把问题转向真实代码仓库中的软件任务。
ALiBi 在注意力分数中加入与距离有关的线性偏置，让模型在比较两个位置时考虑它们相隔多远。这与为每个位置加入一个位置向量不同，目的是改善长度外推，同时保持实现相对简单。
在软件工程研究中，他与合作者使用真实 issue、代码修改和测试结果评价模型，并研究适合 Agent 的操作接口。从这两条工作可以看到，他既改进模型处理输入的方式，也建设更能检验实际能力的任务和工具。
Jianlin Su
RoPE · 位置编码
苏剑林是 RoFormer 论文的第一作者，也长期通过“科学空间”讨论机器学习中的数学与实现问题。他与合作者提出的旋转位置编码 RoPE，成为理解许多语言模型位置处理方式的重要入口。
RoPE 根据 token 的位置旋转查询和键向量，使它们的点积能够包含相对位置信息。模型不仅比较内容是否相关，也能利用两个位置之间的距离关系，而不必把位置简单地作为额外向量相加。
RoFormer 论文讨论了这一方法的性质及在序列任务中的应用。后来的模型在 RoPE 基础上发展出多种长上下文适配方法，但原始位置编码与扩展窗口的后续策略并不是同一项工作。苏剑林的代表贡献，是把位置关系转化为一种清晰的向量变换。
Tianqi Chen
XGBoost · TVM
陈天奇是机器学习系统研究者，代表工作包括 XGBoost 和 TVM。他的研究常从完整的软件与硬件路径出发：一个算法不仅要在公式上成立，还需要能处理大量数据，并在不同设备上高效运行。
XGBoost 将梯度提升树与高效的数据结构、缓存访问和并行处理结合，使树模型训练成为可扩展的工程系统。这项工作属于传统机器学习，但其系统优化思路延续到了后来的深度学习工具中。
TVM 则把神经网络计算转换为适合目标硬件的执行程序，同时优化计算图和底层算子。开发者不必为每一种设备完全手写一套实现。他也长期参与开源工具建设，把研究方法做成其他团队能够复用和继续优化的软件。
Lianmin Zheng
SGLang · Chatbot Arena
郑连敏是大模型系统与评测研究者，代表工作包括 SGLang、MT-Bench 和 Chatbot Arena。他的研究一方面关注模型程序怎样高效执行，另一方面关注不同模型的回答应该如何比较。
SGLang 将多次模型调用、分支和结构化输出组织成可执行的程序，并在运行时利用前缀共享等机制减少重复计算。这对共享系统提示、重复上下文以及多分支生成的应用尤其重要，优化对象不只是一次孤立的模型请求。
在 MT-Bench 与 Chatbot Arena 研究中，他与团队比较模型裁判和真人偏好的评价方式，也分析位置、回答长度等因素带来的偏差。两条工作共同覆盖了实际应用中的效率与质量，但更快的执行和更高的偏好得分仍是不同指标。
Song Han
模型压缩 · AWQ
韩松是高效机器学习研究者，长期研究如何让模型在显存、功耗和计算资源受限的设备上运行。他参与的工作包括模型剪枝、量化、硬件感知的架构搜索，以及面向大语言模型的推理加速。
在 AWQ 中，团队利用激活信息识别对模型输出更重要的权重通道，并通过缩放降低低比特量化造成的误差。目标是缩小模型占用，同时避免简单地把所有权重等同处理后损失过多质量。
他参与的 Once-for-All 研究则先训练一个包含多种子网络的网络，再根据设备约束选择合适版本，而不必为每台设备从头训练。配套的 EfficientML 教学材料也把这些模型、系统和硬件之间的取舍介绍给开发者。
Zhihao Jia
FlexFlow · 并行与推理系统
贾志浩是计算机系统与机器学习研究者，代表工作包括 FlexFlow。他在斯坦福大学获得博士学位，研究重点是如何把模型计算分配到多台设备，并减少执行过程中的时间和资源开销。
FlexFlow 不只在数据并行和模型并行之间二选一，而是在样本、操作、属性和参数等维度组合并行策略，再根据目标设备寻找较好的执行方案。同一个网络在不同机器配置下，适合的划分方式可能不同。
其后续团队工作还包括面向语言模型服务的推测式推理，以及自动寻找高效 GPU 计算实现的工具。这些系统工作的共同点，是把开发者原本需要手工尝试的计算安排交给搜索和编译过程，降低高性能实现的门槛。
Zhuang Liu
ConvNeXt · 网络压缩
刘壮是视觉模型与高效网络研究者，代表工作包括 ConvNeXt 和 Network Slimming。他关注清晰、相对简单的结构设计，研究模型中的哪些改变真正影响效果，以及哪些计算可以省去。
ConvNeXt 重新检查卷积网络的训练与结构设计，在吸收现代训练方法和部分设计经验后，展示纯卷积网络仍具有竞争力。它没有直接把全部卷积换成注意力，而是逐项分析设计选择的作用。
Network Slimming 则在训练过程中鼓励通道级稀疏，再移除不重要的通道，减少模型规模和计算量。这两类工作分别回答如何保留有效结构、如何去掉冗余计算的问题，也让模型架构与部署成本之间的关系更容易被分析。
沙兰·纳朗
PaLM · 指令训练
Sharan Narang 是大规模语言模型训练研究者，也是 PaLM 技术报告的主要署名作者之一。他参与的工作涉及如何组织大量计算资源训练模型，以及怎样把基础模型适配到更广泛的语言任务。
PaLM 报告公开了模型结构、训练设置和多种能力评测，研究更大的模型在少样本任务中的表现。它并不只展示一个总分，还比较语言理解、生成、推理和代码等任务，分析扩大规模后的变化。
他也参与大规模指令微调与 Self-Consistency 研究。前者改变训练时见到的任务和示例，后者在推理时生成多条解题路径再汇总答案。两种方式发生在不同阶段，说明提升模型效果既可以来自训练，也可以来自更合理的使用方法。
Jack W. Rae
Gopher · 模型规模研究
Jack Rae 是语言模型研究者，也是 Gopher 技术报告的第一作者。他与 DeepMind 团队研究模型规模增长后，哪些能力会明显改善，哪些问题不会仅靠更多参数得到解决。
Gopher 报告比较了多个规模的模型，并在大量不同任务上测试表现。团队不只检查训练损失，也分析知识、理解和推理等能力，以及数据分布和模型行为中的问题，使规模研究更接近一组可比较的实验。
他也是 Chinchilla 论文的共同作者。后者进一步研究固定计算预算下，模型参数量与训练数据量应该如何分配。从 Gopher 到 Chinchilla，研究重点由更大模型能够做到什么，转向怎样更有效地使用训练计算资源。
文本 CNN · 序列蒸馏
Yoon Kim 是自然语言处理研究者，代表工作包括用于句子分类的卷积网络和序列级知识蒸馏。他的研究常使用相对清晰的模型与实验，检验文本表示和训练目标对任务效果的影响。
2014 年的句子分类研究把预训练词向量与简单卷积网络结合，在多种任务上测试这种结构。卷积提取局部词语组合，池化汇总特征，模型因此能够在较少结构设计下完成句子级判断。
他与 Alexander Rush 研究的序列级蒸馏，则让较小模型学习教师模型产生的完整输出序列，而不只模仿每一步的概率。这为缩小机器翻译模型提供了方法，也帮助解释为什么教师生成的数据能够改变学生模型的学习难度。
迈克·刘易斯
BART · ALiBi
Mike Lewis 是自然语言处理研究者，代表工作包括 BART 和 ALiBi。他参与研究语言模型怎样从受损文本中学习，以及怎样利用位置信息处理比训练样本更长的输入。
BART 先打乱、遮挡或破坏文本，再训练模型恢复原文。它将双向编码器与从左到右生成的解码器组合起来，使预训练模型既能理解完整输入，也能产生新的文本，适用于摘要、翻译等任务。
在 ALiBi 中，他与 Ofir Press、Noah Smith 探索以距离相关的注意力偏置替代通常的位置表示。这两项工作分别改变预训练任务与模型处理位置的方式，体现了训练目标和架构细节对语言能力的共同影响。
Danqi Chen
DrQA · DPR · 知识检索
陈丹琦是自然语言处理研究者，代表工作包括 DrQA、DPR 和带引用的语言模型回答。她在斯坦福大学师从 Christopher Manning 获得博士学位，研究模型怎样从外部文档中获取并使用知识。
DrQA 把文档检索与阅读理解结合起来，先找到可能包含答案的资料，再从资料中回答问题。DPR 进一步使用两个编码器分别表示问题与段落，通过向量相似度进行检索，推动了稠密检索在开放域问答中的应用。
她参与的 ALCE 研究继续追问：回答是否提供了引用，这些引用是否真的支持对应说法？这使评价对象从答案本身扩展到答案与证据之间的关系。从检索到生成再到引用检验，几项工作覆盖了知识问答系统的不同环节。
卢克·泽特尔莫耶
语言语义 · BART
Luke Zettlemoyer 是自然语言处理研究者，长期研究语言语义与机器学习。他的工作从把句子映射为可执行的含义，延伸到语言模型的预训练、生成与部署。
他是 BART 论文的共同作者。BART 让模型恢复被破坏的文本，将双向阅读输入的编码器与逐步生成输出的解码器结合起来。这种预训练方式让同一个模型能够适配摘要、翻译和理解等多类任务。
他的大学教学与研究还涉及如何设计数据和评价任务，检验模型是否真的完成了语言要求。其研究路线贯穿了一个长期问题：模型不只需要生成看起来合理的句子，也需要把语言与具体任务、结构化含义和可验证的结果联系起来。
奥马尔·哈塔卜
ColBERT · DSPy
Omar Khattab 是检索与语言模型系统研究者，代表工作包括 ColBERT 和 DSPy。他关注如何把模型、检索和程序组织起来，让应用的质量能够根据明确指标持续优化。
ColBERT 为问题和文档保留多个 token 级向量，到检索阶段再计算它们之间的细粒度匹配。这种“后期交互”比只用一个向量表示整段文本保留更多信息，同时避免对每对问题和文档都重新运行完整编码器。
DSPy 则把模型应用表达为输入输出明确的模块，再利用数据、评价指标和优化器调整提示或示例。两项工作的侧重点不同：ColBERT 改善如何找到证据，DSPy 改善如何开发和优化使用模型的程序，而不是靠不断手改一大段提示词。
Chris Ré
Snorkel · 弱监督数据
Christopher Ré 是数据库与机器学习系统研究者，代表合作工作包括 Data Programming 和 Snorkel。他研究如何降低构建机器学习应用的数据与工程成本，尤其关注训练数据难以逐条人工标注的问题。
Data Programming 让开发者用程序表达标注规则，例如根据词语、知识库或已有模型给出判断。这些规则可能相互冲突，也可能经常出错，因此不能直接把它们当成完全正确的训练标签。
Snorkel 将规则的输出汇总起来，估计和处理其中的噪声，再用得到的监督信号训练模型。这样，专家可以维护可复用的规则，而不只是反复标注单条样本。这条研究路线把领域知识、数据制作和模型训练连接成可迭代的系统。
道韦·基拉
RAG · Hateful Memes
Douwe Kiela 是语言与多模态学习研究者，也是早期 RAG 论文的共同作者。他参与的工作关注模型如何利用参数之外的信息，以及文本和图像之间的关系怎样影响理解。
在 RAG 研究中，团队把可检索的文档集合与生成模型结合，让回答可以依赖外部段落，而不只依靠模型训练时记住的内容。这为可更新知识库与语言生成之间的连接提供了实验框架。
他作为第一作者发表的 Hateful Memes 则构造了一类必须结合图文才能判断的任务：单独看文字或图片可能没有问题，组合后含义才改变。研究通过这种设计减少模型只抓住单一模态线索的机会，更直接地检验跨模态理解能力。
塞巴斯蒂安·里德尔
RAG · 机器阅读
Sebastian Riedel 是自然语言处理研究者，长期研究机器如何阅读、推理和写作。他参与的 RAG 研究，把神经网络中的知识与可检索的外部资料结合起来，是今天检索增强生成的重要研究来源。
传统语言模型的知识主要保存在参数中，更新或核查都不直接。RAG 让检索器先找出相关段落，再让生成器结合这些段落产生输出，从而把“保存知识”和“组织语言”部分分开。
Riedel 的研究经历还包括信息抽取和机器阅读：从文本中找出实体、关系和可回答问题的证据。它们与 RAG 面对的是相近的困难——找到一段文字只是开始，还需要判断它表达了什么，以及它是否足以支持最终回答。
Condenser · 稠密检索
Luyu Gao 是信息检索与语言表示研究者，曾在卡内基梅隆大学与 Jamie Callan 合作研究稠密检索。他关注如何让预训练语言模型更适合把整段文本编码成可搜索的向量。
在 Condenser 中，团队指出，擅长逐 token 的语言建模，并不意味着模型已经学会把句子信息集中到用于检索的表示中。他们调整预训练结构，让用于检索的表示承担更直接的学习任务，再将模型适配到段落检索。
他的公开研究还涉及把程序执行用于语言模型推理。检索和程序辅助解题都在处理模型与外部组件的分工：前者负责找出可用知识，后者把适合精确计算的步骤交给代码执行，而不是让模型凭文本生成完成所有工作。
乔纳森·何
DDPM · 扩散生成
Jonathan Ho 是生成模型研究者，代表工作包括 DDPM 和 Classifier-Free Guidance。他与合作者研究如何让模型从噪声逐步生成图像，以及怎样让生成结果更贴近给定条件。
2020 年，他与 Ajay Jain、Pieter Abbeel 发表 DDPM。训练时给真实图像逐渐加入噪声，让网络学习去除这些噪声；生成时则从随机噪声出发，反复执行去噪步骤，最终得到图像。
他与 Tim Salimans 提出的 Classifier-Free Guidance，把有条件和无条件的预测组合起来，在无需额外训练分类器的情况下加强条件控制。它影响了后来许多图像生成系统中的引导强度设置，也带来了条件符合程度与样本多样性之间的取舍。
Yang Song
Score-based 模型 · 一致性模型
宋飏是生成模型研究者，在斯坦福大学师从 Stefano Ermon 获得博士学位。他的代表工作包括基于分数的生成模型、随机微分方程框架和一致性模型，围绕从噪声恢复数据这一问题展开。
分数模型学习数据分布的对数密度梯度，也就是怎样移动一个带噪样本才能靠近更可能出现的数据。其合作研究用连续时间的随机过程连接加噪与去噪，把多种生成方法放到相近的数学框架下分析。
一致性模型进一步研究如何减少生成所需的步骤，让不同噪声程度下的点映射到一致的结果。前一条工作解释生成过程如何演化，后一条工作尝试缩短实际执行过程，把生成质量与采样速度放到一起考虑。
普拉富拉·达里瓦尔
扩散模型 · 条件生成
Prafulla Dhariwal 是生成模型研究者，代表工作包括扩散模型中的分类器引导，以及后来的高效采样研究。他的公开研究覆盖图像、音频和其他形式的生成任务。
2021 年，他与 Alex Nichol 比较不同扩散网络设计，并用分类器的梯度引导生成方向。这样可以提高输出与指定类别的符合程度，同时观察生成质量和多样性的变化。论文的比较基于具体图像任务，不意味着一种方法在所有生成场景都更好。
他还参与一致性模型研究，尝试把原本需要反复去噪的生成过程缩短为更少步骤。这几项工作分别改进模型结构、条件控制和采样效率，帮助扩散模型从有潜力的研究方法发展为更实用的生成工具。
雅沙·索尔-迪克斯坦
扩散模型 · 非平衡热力学
Jascha Sohl-Dickstein 是生成模型与学习理论研究者，也是现代扩散模型早期论文的第一作者。他的研究将物理中的随机过程用于学习复杂的数据分布。
2015 年，他与合作者提出逐步向数据加入噪声，再学习这一过程的逆过程。一个难以直接建模的复杂分布，可以经过许多简单步骤变成容易采样的分布；模型随后学习沿相反方向把噪声恢复为数据。
这项工作发生在扩散模型广泛用于图像生成之前。他后来也参与基于分数和随机微分方程的生成研究，把不同方法之间的联系讲得更清楚。其贡献主要在于建立可训练的生成过程，而不是某个后来产品的全部实现。
蒂姆·萨利曼斯
生成模型 · 引导与蒸馏
Tim Salimans 是生成模型研究者，参与了 GAN 训练改进、扩散模型引导和快速采样等工作。他持续研究的问题是，怎样让生成模型既有较好的输出质量，也能够稳定、有效率地运行。
他与合作者在 Improved Techniques for Training GANs 中比较多种结构和训练技巧，改进图像生成及半监督学习。后来，他与 Jonathan Ho 提出 Classifier-Free Guidance，把条件预测和无条件预测组合，用于增强对生成内容的控制。
两人的渐进蒸馏研究则让学生模型学习用更少的步骤复现教师的生成过程，再反复压缩步骤数。这与只替换一个采样器不同，需要重新训练学生模型，但为减少生成延迟提供了一条具体路径。
Bill Peebles
DiT · 视频生成
William Peebles 是视觉生成研究者，代表工作包括与谢赛宁合作的 DiT。他在伯克利完成博士研究，随后参与视频生成系统研发，其个人主页记录了他在 Sora 项目中的研究角色。
DiT 将 Transformer 用作扩散模型的主要网络结构，把潜在表示拆成图块后进行处理。论文比较模型规模、输入图块等因素与生成质量之间的关系，研究这种架构能否随着计算量增加持续改善。
这项工作的重点是替换扩散过程中的网络骨干，而不是放弃扩散生成。它使注意力架构与去噪训练结合起来，为后来的图像和视频生成模型提供了设计依据，也让语言与视觉生成在模型组件上有了更多共同之处。
SDEdit · 图像编辑
Chenlin Meng 是生成模型研究者，代表工作包括 SDEdit 和 DDIM。她研究生成模型怎样接收用户提供的图像约束，以及怎样减少生成过程中反复计算的步骤。
SDEdit 先向输入图像或草图加入一定程度的噪声，再利用预训练生成模型去噪。输入的大致结构能够被保留，同时不自然的局部可以被重新生成。加入多少噪声，直接影响结果更忠于原图，还是更自由地改变内容。
她与 Jiaming Song、Stefano Ermon 合作的 DDIM，则在与 DDPM 相同的训练目标下研究不同的采样过程，以减少生成步骤。两项工作分别改善可控性与速度，使扩散模型更适合图像编辑等需要反复试改的交互任务。
DDIM · 可控生成
Jiaming Song 是多模态生成研究者，代表工作包括 DDIM 和 SDEdit。他的研究围绕生成过程的效率与可控性展开，也延伸到图像和视频生成系统。
DDIM 研究如何在沿用 DDPM 训练目标的情况下改变采样过程，减少生成一张图所需的迭代。它不是简单跳过任意步骤，而是构造与原始训练目标相容的生成过程，并比较速度和输出质量的变化。
在 SDEdit 中，他与合作者研究从带噪的用户输入出发生成图像，使草图或已有图片成为约束。他的个人主页还记录了在 Luma 参与多模态模型研发的经历，从采样方法进一步走向用户可以控制和编辑的生成工具。
切尔西·芬恩
MAML · 机器人学习
Chelsea Finn 是机器人与机器学习研究者，代表工作包括 MAML 和视觉运动策略学习。她研究机器人怎样从经验中学会新任务，以及如何减少每次更换任务都要重新收集大量数据的负担。
MAML 与 Pieter Abbeel、Sergey Levine 合作提出，训练目标不是只让模型擅长一个固定任务，而是让它经过少量梯度更新就能适应新任务。它把“学会如何快速适应”直接放进训练过程，而不只是训练完以后再尝试微调。
她还参与 RT-2 等视觉、语言与动作结合的研究，让互联网图文预训练获得的知识参与机器人控制。这将适应能力的问题进一步扩展到物理环境：模型不仅要回答怎么做，还要根据观察产生可以执行的动作。
谢尔盖·列文
机器人控制 · 强化学习
Sergey Levine 是机器人与强化学习研究者，长期研究系统如何通过数据和交互学会复杂行为。他参与的代表工作包括端到端视觉运动策略、MAML 和视觉语言动作模型。
在视觉运动策略研究中，团队尝试把图像感知和动作控制放到同一个学习过程中，而不是先手工设计视觉特征，再单独搭建控制器。模型直接根据摄像头观察输出控制决策，让感知表示围绕任务共同调整。
这种方法对数据质量、试错方式和环境变化提出了很高要求。他后续参与的研究继续探索跨任务学习和大规模预训练知识如何进入机器人系统，使语言模型中的知识与物理环境里的可执行行为建立联系。
彼得·阿比尔
机器人学习 · MAML
Pieter Abbeel 是机器人与机器学习研究者，参与了强化学习、快速适应和生成模型等多个方向的重要工作。他的研究关注机器如何从示范或交互经验中获得行为，而不必为每个动作编写完整规则。
他与合作者在 TRPO 中研究如何限制策略每次更新的幅度，使强化学习训练更稳定；在 MAML 中，则研究怎样训练一个容易适应新任务的模型。这些方法分别改善学习过程的稳定性和跨任务适应能力。
他也是 DDPM 的共同作者，与 Jonathan Ho、Ajay Jain 合作研究通过逐步去噪生成图像。机器人决策与图像生成属于不同任务，但都涉及如何从数据学习复杂分布，以及怎样把学习方法落实为能够执行的计算过程。
Jim Fan · Linxi Fan
Voyager · Eureka
范林熙是具身智能与 Agent 研究者，公开研究涉及虚拟世界、机器人和多模态模型。他在斯坦福大学师从李飞飞获得博士学位，参与的代表项目包括 Voyager 和 Eureka。
Voyager 让语言模型在 Minecraft 中选择探索目标、生成可执行代码，并根据环境反馈修正行为。已经学会的能力被保存为可复用代码，后续任务可以检索调用，不必每次重新完成同一段探索。
Eureka 则让语言模型编写强化学习的奖励函数，再根据训练结果迭代这些函数。一个项目积累可执行技能，另一个项目改进学习所需的反馈信号；两者都把模型生成的内容放回环境中检验，而不以生成一段合理解释作为结束。
Shunyu Yao
ReAct · Tree of Thoughts
姚顺雨是语言模型 Agent 研究者，代表工作包括 ReAct、Tree of Thoughts，以及软件工程 Agent 的研究。他关注模型怎样从连续生成文字，转向能够观察环境、调用工具并修正计划的执行过程。
ReAct 把推理与行动交替组织起来：模型先判断下一步，执行一次搜索或操作，读取返回结果，再决定后续行动。外部反馈可以改变后面的推理，避免模型只在一段封闭的文字中不断延伸未经验证的假设。
Tree of Thoughts 则把求解过程扩展为多个候选分支，允许评价、选择和回退。他参与的 SWE-agent 又把这些问题放入真实代码环境，研究操作接口如何影响模型查文件、修改代码和验证结果的能力。
查尔斯·帕克
MemGPT · Agent 记忆
Charles Packer 是 Agent 系统研究者、MemGPT 论文的第一作者，也是 Letta 的联合创始人。他研究的重点不是让模型一次接收无限文本，而是怎样管理有限上下文之外的长期信息。
MemGPT 借鉴操作系统中的分层存储思路，把当前上下文与外部保存的信息区分开，并让模型通过工具决定何时保存、检索或更新记忆。系统由此可以在较长的对话或文档任务中重新取回需要的内容。
这不是修改模型权重，也不能自动保证记忆准确。记忆的内容、更新时机和检索方式都是系统的一部分。Packer 后来的产品工作继续围绕有状态 Agent 展开，将论文中的上下文管理方法转化为可供开发者使用的基础设施。
Shishir G. Patil
Gorilla · 工具调用评测
Shishir Patil 是语言模型系统研究者，创建并推动 Gorilla 和 Berkeley Function Calling Leaderboard 等项目。他关注模型能否真正使用外部 API，而不只是生成看起来像函数调用的文字。
Gorilla 把 API 文档与模型训练、检索结合起来，研究如何生成符合接口要求的调用。接口名称正确还不够，模型也需要选对参数，并在工具文档发生变化时使用更新后的信息。
BFCL 进一步把工具调用变成可比较的评测任务，检查选工具、填参数、多轮交互等能力。他的工作连接了训练与验收：先让模型学会用工具，再通过明确任务判断它在哪些情况下会选错、漏参或无法继续执行。
格雷厄姆·纽比格
OpenHands · 开源开发 Agent
Graham Neubig 是自然语言处理与软件 Agent 研究者，也是 OpenHands 论文的共同作者。他参与的工作将模型能力与开源开发工具结合，让研究者能够在实际执行环境中研究 Agent。
OpenHands 提供围绕软件任务的运行平台，使 Agent 可以操作终端、访问文件、使用浏览器，并根据执行结果继续工作。模型因此不只是给用户一段建议，而是通过工具与代码仓库和运行环境交互。
平台把 Agent、工具和执行环境等部分组织起来，便于替换模型或比较不同方法。这类开源基础设施让失败过程也能够被检查：问题可能出在判断、接口、环境或验证步骤，而不能只根据最终回答是否流畅来评价系统。
基利安·利雷特
SWE-agent · 开发工具接口
Kilian Lieret 是软件工程 Agent 研究者，职业经历也包括高能物理中的机器学习。他是 SWE-agent 的共同作者，参与研究如何让模型更有效地在代码仓库里查找问题、修改文件和运行检查。
SWE-agent 强调操作接口本身会影响模型表现。文件查看、搜索和编辑命令需要给出合适的信息与反馈，让模型能够判断当前状态，而不是把人类终端里的所有输出原样塞进上下文。
这把软件 Agent 的开发从只换一个更强模型，扩展到设计工具与交互流程。Lieret 的公开工作还涉及开源软件和研究工具，使同一类任务能够在明确环境中重复执行，便于分析失败原因并比较改进前后的结果。
卡洛斯·希门尼斯
SWE-bench · SWE-agent
Carlos E. Jimenez 是软件工程语言模型研究者，也是 SWE-bench 论文的第一作者。他与合作者把真实代码仓库中的 issue 转化为模型任务，研究模型能否完成超出短代码题的修改工作。
SWE-bench 向模型提供问题描述与代码库，要求它生成补丁，再通过测试判断修改是否解决问题。模型需要先定位相关文件，理解现有行为，并避免破坏原有功能，评价对象因此是代码修改的实际结果。
他也参与 SWE-agent，研究怎样设计适合模型的搜索、编辑与执行接口。一个项目提供检验能力的任务，另一个项目研究完成任务的系统。这使基准与实现可以相互反馈，但仍需要注意测试覆盖范围和运行环境对结论的影响。
内森·兰伯特
Tülu · RLHF Book
Nathan Lambert 是语言模型后训练研究者，也是《RLHF Book》的作者。他的工作关注怎样把预训练模型变成更符合任务要求的助手，并公开训练过程中的数据、方法和实验细节。
他作为第一作者参与 Tülu 3 报告，研究监督微调、偏好优化和基于可验证结果的强化学习如何组合。团队公开相应的训练方案，让开发者不只能够下载模型，也能够研究模型的行为是怎样训练出来的。
《RLHF Book》则把偏好数据、奖励模型、优化算法和评测组织成可阅读的材料。研究与写作面向同一个难点：后训练不是加上一段固定提示词，而是需要明确想改善什么行为，用什么信号训练，以及怎样确认改进确实发生。
哈米什·艾维森
Tülu · 开放后训练
Hamish Ivison 是语言模型后训练研究者，公开工作涉及指令数据、偏好优化和强化学习。他参与 OLMo 与 Tülu 等开放研究，关注模型在预测下一个 token 之外，怎样获得更适合用户任务的行为。
Tülu 3 将多种后训练步骤放在同一个可复现方案中，并比较训练数据与方法的组合。监督微调提供任务示范，偏好优化利用回答之间的比较，而可验证奖励适合能够检查结果的任务，三者提供的信号并不相同。
Ivison 的个人研究还关注数据混合与不同语言建模方法。相比只报告一个最终模型分数，这类工作更重视哪些数据和步骤带来了变化，使其他团队能够根据自己的任务复现、删减或调整训练过程。
卢卡·索尔达伊尼
Dolma · OLMo 数据工程
Luca Soldaini 是语言模型数据研究者，代表工作包括 Dolma 和 OLMo。他的研究把注意力放在模型之前的数据环节：训练文本来自哪里，如何处理，以及其他团队能否重建相同的数据流程。
Dolma 公开用于预训练的大规模文本集合及处理工具，涉及来源组合、过滤和去重等步骤。开放训练数据使研究者能够检查模型见过什么，而不必只根据最终模型的表现猜测训练条件。
他在 Ai2 期间参与领导 OLMo 项目，团队同时发布模型、数据、代码与训练配方。数据工程由此不再只是论文中一段简短说明，而成为能够单独比较和改进的研究对象，让模型能力与数据选择之间的关系更容易被追踪。
斯特拉·比德曼
Pythia · 开放模型研究
Stella Biderman 是语言模型研究者，也是 Pythia 论文的第一作者。她参与 EleutherAI 的开放研究，关注其他人是否能够观察模型训练过程，而不只是拿到训练结束后的权重。
Pythia 提供不同规模的模型，并在相同数据顺序下训练，公开多个训练阶段的检查点。研究者可以比较一个行为是何时出现的、是否随模型规模改变，以及某次训练更新前后发生了什么。
这套资源的目的不仅是追求某个榜单名次，更是控制实验中的变量。固定数据顺序、保留中间状态，有助于研究记忆、偏差和能力变化，使关于语言模型的判断能够建立在可重复的比较之上。
乔埃勒·皮诺
可复现研究 · 强化学习评测
Joelle Pineau 是机器学习与机器人研究者，长期推动研究可复现性。她在麦吉尔大学开展研究，曾于 2017 至 2025 年在 Meta 领导 FAIR 相关研究团队，其工作也涉及医疗和决策系统。
在 Deep Reinforcement Learning that Matters 中，她与合作者分析随机种子、超参数及代码实现等因素怎样影响实验结果。一次运行得到更高分，不足以说明算法本身更好，比较需要一致的实验条件与合理的结果统计。
她也推动研究检查清单和会议层面的可复现计划，要求更清楚地记录代码、数据、计算条件与实验设置。这些工作没有提出一个新的聊天模型，却改善了判断模型进步是否可信的基本方法。
苏曼特·达塔特里
SynthID Text · 生成内容水印
Sumanth Dathathri 是生成式 AI 研究者，与 Pushmeet Kohli 共同领导了 SynthID 文本水印项目。他的这项工作关注一个问题：能否在生成时留下可检测的统计信号，帮助识别文本是否来自相应模型？
SynthID Text 在模型选择 token 时调整概率，使输出保留特定的统计模式。检测时再检查这些模式，而不是单凭文章风格判断作者是不是 AI。它需要生成端参与，因此不能识别所有其他模型产生的文本。
这类水印也受文本长度、修改方式和内容多样性影响，不能作为任何情况下都准确的鉴定器。团队公开了相关方法与工具，使开发者能够研究如何在内容来源识别、生成质量和检测可靠性之间作出取舍。