RAG 检索到了资料,为什么回答还是错?怎样分层排查?
先看正确资料有没有进入模型的输入,再判断模型是否用错了资料。
RAG 返回了文档,只说明检索有结果。文档可能过期、属于另一款产品,或者缺少决定答案的条件。排查时按顺序查:资料与索引、召回候选、过滤和重排、最终上下文、生成结果。
用一条错答案定位问题
Section titled “用一条错答案定位问题”假设新退款规则是“签收后 7 天”,旧规则是“下单后 7 天”。返回的全是旧文档,查索引更新和版本过滤;正确文档被重排丢掉,查重排;文档进入上下文却少了“签收后”,查切片和截断;完整规则已给到模型,它还写错,才查生成。
向量检索适合语义匹配,关键词检索适合型号、编号等精确内容。两者可以混合,再用 Rerank 排序。召回多少、最终送入多少,要用自己的数据测,不能照搬别人的最优参数。
检索和回答怎样分别评测?
Section titled “检索和回答怎样分别评测?”一题标注了 3 个相关片段,前 k 个候选找到 2 个,这组标注下 Recall@k 是 2/3。它不等于答案正确率。回答还要检查事实、引用是否支持结论,以及证据不足时是否拒答。
top-k 越大越好吗?
Section titled “top-k 越大越好吗?”不一定。更多片段可能补齐证据,也可能带进旧版本、无关内容,并增加耗时。没有足够证据时就说明不足,必要时追问产品或时间范围。相似度不是真实性评分,也不能代替访问权限。
资料
核对于 2026-10-13。百炼知识检索、阿里 AgentScope RAG。检索方法见 Contextual Retrieval,RAG 机制见 Lewis 等人的论文。排查顺序与退款规则为教学示例。延伸阅读:RAG 实战速查。