对齐与评测

Dan Hendrycks

丹·亨德里克斯

MMLU · 鲁棒性评测

Dan Hendrycks 是机器学习评测与 AI 安全研究者，代表工作包括 MMLU，以及模型面对异常输入和分布变化时的可靠性研究。

MMLU 汇集多个学科的选择题，用来比较语言模型在广泛知识与问题求解任务上的表现。它为模型之间的比较提供了公共参照，但选择题分数不能覆盖所有实际能力，也不能直接证明模型在真实工作流中可靠。

他的其他工作涉及分布外检测、常见扰动下的鲁棒性和 AI 风险。几条研究线共同强调：除了正常测试集上的平均表现，还需要观察模型在不熟悉、错误或具有挑战性的输入下会怎样失败。评测集合的来源、泄漏与覆盖范围始终影响结论。