1 系统与计算基础 沿请求找到 CPU、GPU、队列和数据;补齐 Python 与张量基础。 4 从 Agent 走到推理服务 基础 一次请求经过哪些程序 Python 异步、并发与背压 最小计算基础 实验 张量形状、精度与推理模式 区分 CPU、GPU 与网络瓶颈
2 模型执行与显存 理解 Prefill、Decode、KV cache,估算容量并正确测量 CUDA。 4 生成时发生什么 基础 Prefill 与 Decode KV cache 为什么随上下文增长 容量与测量 实验 权重能放下,服务为何仍 OOM CUDA 异步与计时
3 单机推理服务 从 vLLM 启动走到流式响应、请求取消与容量限制。 4 最小服务 基础 用 vLLM 托管模型 流式响应与 token 边界 请求生命周期 实验 超时与取消怎样传到后端 限制上下文、输出和并发
4 负载与性能优化 先建立可重复的指标基线,再解释调度、缓存和计算瓶颈。 4 建立基线 基础 TTFT、ITL、TPOT 与成功吞吐 并发与到达速率是两个变量 按瓶颈优化 实验 连续批处理、分块 Prefill 与前缀缓存 Profiler、CUDA 与 Triton 的学习顺序
5 GPU 与分布式部署 区分模型分片和副本扩容,再学习通信、GPU 调度与故障恢复。 4 多 GPU 的取舍 进阶 Tensor Parallel 与独立副本 NCCL、拓扑与通信故障 平台与可靠性 实验 Kubernetes 怎样分配 GPU 冷启动、扩容与平滑发布
6 模型版本与运行监控 学习模型版本、质量回归、请求追踪和服务成本。 4 版本与回归 基础 模型、环境与数据版本 质量回归与 MLOps 分支 监控与成本 实验 日志、指标与请求追踪 单请求成本与有效吞吐