训练与推理
郑连敏
Lianmin Zheng
SGLang · Chatbot Arena
郑连敏是大模型系统与评测研究者,代表工作包括 SGLang、MT-Bench 和 Chatbot Arena。他的研究一方面关注模型程序怎样高效执行,另一方面关注不同模型的回答应该如何比较。
SGLang 将多次模型调用、分支和结构化输出组织成可执行的程序,并在运行时利用前缀共享等机制减少重复计算。这对共享系统提示、重复上下文以及多分支生成的应用尤其重要,优化对象不只是一次孤立的模型请求。
在 MT-Bench 与 Chatbot Arena 研究中,他与团队比较模型裁判和真人偏好的评价方式,也分析位置、回答长度等因素带来的偏差。两条工作共同覆盖了实际应用中的效率与质量,但更快的执行和更高的偏好得分仍是不同指标。