跳转到内容

RAG 检索到了资料,为什么回答还是错?怎样分层排查?

先看正确资料有没有进入模型的输入,再判断模型是否用错了资料。

RAG 返回了文档,只说明检索有结果。文档可能过期、属于另一款产品,或者缺少决定答案的条件。排查时按顺序查:资料与索引、召回候选、过滤和重排、最终上下文、生成结果。

缺失遗漏截断编造正确版本是否入库候选是否召回正确证据过滤与重排是否保留证据上下文是否包含完整条件回答是否引用并遵守证据修资料与索引修切片、检索与过滤修上下文组织修生成约束与拒答

假设新退款规则是“签收后 7 天”,旧规则是“下单后 7 天”。返回的全是旧文档,查索引更新和版本过滤;正确文档被重排丢掉,查重排;文档进入上下文却少了“签收后”,查切片和截断;完整规则已给到模型,它还写错,才查生成。

向量检索适合语义匹配,关键词检索适合型号、编号等精确内容。两者可以混合,再用 Rerank 排序。召回多少、最终送入多少,要用自己的数据测,不能照搬别人的最优参数。

一题标注了 3 个相关片段,前 k 个候选找到 2 个,这组标注下 Recall@k 是 2/3。它不等于答案正确率。回答还要检查事实、引用是否支持结论,以及证据不足时是否拒答。

不一定。更多片段可能补齐证据,也可能带进旧版本、无关内容,并增加耗时。没有足够证据时就说明不足,必要时追问产品或时间范围。相似度不是真实性评分,也不能代替访问权限。

资料

核对于 2026-10-13。百炼知识检索、阿里 AgentScope RAG。检索方法见 Contextual Retrieval,RAG 机制见 Lewis 等人的论文。排查顺序与退款规则为教学示例。延伸阅读:RAG 实战速查。