跳转到内容

Agent 轨迹怎样留存和回放,怎样保证评测可比较?

轨迹保存模型输入配置、工具调用、工具结果、状态变化和产物,并关联版本与运行标识。回放可以固定工具响应来比较决策,也可以真实重执行;两种模式的结论不同。

保存脱敏轨迹选择回放模式固定版本与依赖比较状态和产物

工具回放适合隔离 Prompt 或模型变更,但无法验证真实下游的新行为。真实重执行使用隔离环境和测试对象,写操作禁止无审核地重放到生产。记录随机性、知识快照、依赖版本与时限,敏感日志先脱敏。

回放成功是否证明线上也成功?

Section titled “回放成功是否证明线上也成功?”

不能。线上权限、数据、负载和下游响应可能不同。用回放定位差异,再以集成测试和受控线上观察补证据;不把录制的成功返回当成真实执行。

资料

核对于 2026-10-14。OpenTelemetry Traces。正文场景、示例代码与方案取舍为教学示例;具体接口按选定版本核对。