跳转到内容

混合检索算法:向量、BM25、RRF 与重排

记忆系统里最常见的困惑是:语义匹配、BM25、实体匹配、时间推理各自到底在算什么,最后又是怎么合成一个排名的。答案可以概括成一句话:每种信号只回答一个局部问题,融合评分负责把它们的”投票”算成一个总排名。

向量不懂精确编号,BM25 不懂同义词,实体不懂没抽取出来的关系,时间戳不懂问题问的是”现在”还是”过去”。只用任何一种,都有稳定的失败场景。所以现代记忆系统和 RAG 大多走多信号加融合的路。

下面用一个例子走完所有计算:

记忆库共 10 条记录,其中三条是:
M1(周一):我喜欢蓝莓,芒果吃了不舒服。
M2(周二):Agent 下单买了蓝莓(blueberry)。
M3(周三):以后只想买苹果。
周五,你问:“现在该给我推荐什么水果?”

检索的两个阶段:四种信号各自召回打分,融合后取 top_k 交给主模型

本文讲的是这些技术的通用算法定义,并给出能自己手算的数值示例。Mem0 等具体产品只公开了”多信号并行评分并融合”,未公开权重和公式细节,本文不替它们编造参数。

这篇只处理“候选从哪里来、怎样排序”。文件解析、权限、版本、上下文组装、回答与引用等完整知识库流程,见RAG 知识库工程。

1. 先分清两个阶段:召回与排序

Section titled “1. 先分清两个阶段:召回与排序”

召回(recall) 是从库里找出一批可能相关的候选。比如从 10 条记忆里挑出 M1、M2、M3。

排序(ranking) 是给候选打分,决定谁排第一。top_k=3 就是取排序后的前三条。

这个区分决定了排查方向:想要的内容根本没进候选,是召回问题;进了候选却排在后面,是排序问题。 前者要补信号或放松过滤,后者才轮到调权重。

2. 语义匹配:把文字变成向量,再算夹角

Section titled “2. 语义匹配:把文字变成向量,再算夹角”

embedding 模型把一段文本变成一串数字,比如 768 个或 1536 个浮点数,这串数字就是向量。模型训练的目标之一,是让意思相近的文本得到相近的向量。

所以”蓝莓”和”蓝色浆果”的向量很靠近,即使两个字面完全不同的词也能匹配。这是 BM25 做不到的事。

常用度量是余弦相似度(cosine similarity):两个向量夹角的余弦。方向越一致,分数越接近 1;方向无关,接近 0。

真实向量有几百到几千维,用二维演示计算过程。假设:

A = 蓝莓 → (0.90, 0.20)
B = 蓝色浆果 → (0.85, 0.30)
C = 订单编号 → (0.10, 0.95)

二维演示:蓝莓与蓝色浆果方向接近,余弦相似度约 0.99

余弦相似度的公式是:

cos(A, B) = (A · B) / (|A| × |B|)

代入数字:

A · B = 0.90 × 0.85 + 0.20 × 0.30 = 0.825
|A| = √(0.90² + 0.20²) ≈ 0.922
|B| = √(0.85² + 0.30²) ≈ 0.901
cos(A, B) = 0.825 / (0.922 × 0.901) ≈ 0.99
cos(A, C) = 0.28 / (0.922 × 0.955) ≈ 0.32

0.99 对 0.32,“意思相近”就变成了可以排序的分数。

  • 精确编号:SKU-3042 和 SKU-3043 意思几乎一样,向量很近,但业务上完全是两个东西。
  • 否定:“要芒果”和”不要芒果”只差一点,向量往往也很近。
  • 时间:向量里没有”这是上周的事还是昨天的事”。

所以语义匹配负责”意思相近”,精确匹配要交给别的信号。

3. BM25:常见的词少加分,稀有的词多加分

Section titled “3. BM25:常见的词少加分,稀有的词多加分”

BM25 是关键词检索的经典算法,Lucene、Elasticsearch 和 SQLite FTS5 都在用它或它的变体。它由两个直觉组成。

TF(词频) 指一个词在文档里出现几次。IDF(逆文档频率) 指这个词在整个库里有多稀有:几乎每条记录都有的”的”,区分不出任何东西;只在 2 条里出现的”芒果”,一命中就很说明问题。

Lucene 常用形式的 IDF 计算:

IDF = ln(1 + (N − n + 0.5) / (n + 0.5))

N 是文档总数,n 是包含这个词的文档数。代入我们的 10 条记忆:

“芒果”出现在 2 条:IDF = ln(1 + 8.5/2.5) = ln(4.4) ≈ 1.48
“的”出现在 10 条:IDF = ln(1 + 0.5/10.5) ≈ 0.05

稀有词的权重是常见词的约 30 倍。

一个词出现 10 次,贡献不应该严格是出现 1 次的 10 倍——重复灌水不该刷高分。BM25 用参数 k1(常见默认 1.5)让词频收益递减,这叫词频饱和。

长文档天然包含更多词,直接比较会吃亏,所以再按文档长度折算,强度由参数 b(常见默认 0.75)控制。

完整公式:

score = Σ IDF(词) × [ tf × (k1+1) ] / [ tf + k1 × (1−b + b × 文档长度/平均长度) ]

BM25 的 IDF 计算、TF 饱和与数值示例

当 tf=1、文档长度等于平均长度时,右边的 TF 因子正好等于 1,于是”芒果”命中大约得 1.48 分,“的”命中只有 0.05 分。

它只做字面匹配。“哪种水果吃了不舒服”能命中含”水果""不舒服”的记录,但一条写成”蓝色浆果很合口味”的记录,即使意思相关,也可能一个关键词都命中不了。中文还要先分词,分词方式直接影响能不能命中。

所以 BM25 负责”精确”,语义匹配负责”相近”,两者是互补,不是替代。

4. 实体匹配:把”蓝莓”当成一个确定对象

Section titled “4. 实体匹配:把”蓝莓”当成一个确定对象”

前两种信号处理的是文本,实体匹配处理的是对象。

  • NER(命名实体识别):从句子里找出具体对象。从 M1 里抽出”蓝莓""芒果”,从 M2 里抽出”blueberry”。
  • 实体链接(entity linking):把不同写法统一到同一个实体 ID。“blueberry”和”蓝莓”指向同一个”蓝莓”实体,M1 和 M2 由此产生显式关联。

NER 抽取对象,实体链接统一写法,检索时按显式关联加分

检索时,问题里提到的实体和记忆挂接的实体做匹配,命中就加分或过滤。和向量不同,这是显式的符号匹配:是同一个对象就加分,不靠”意思差不多”。

代价也很直接:抽取错了、链接错了,加分就错了。没抽出来的关系,这条信号就沉默。实体关系可以放在图数据库里,也可以只是元数据字段,不是必须上图谱。

5. 时间推理:先听懂问题问的是什么时候

Section titled “5. 时间推理:先听懂问题问的是什么时候”

M1 说喜欢蓝莓,M3 说只想买苹果。向量分不出谁更新,BM25 更分不出,但”现在该推荐什么”明显应该听 M3 的。

时间推理做两件事:

  1. 给记忆记录时间:注意区分事件时间(说的是哪天的事)和写入时间(哪天存进库的)。“上周二买的水果”今天才记录,两个时间不一样。
  2. 识别问题的时间意图:“现在喜欢什么”问的是当前状态,优先最新偏好;“周二买了什么”问的是过去事件,要定位到对应日期;“下周吃什么”问的是未来计划。

时间轴上的三条记忆,与当前、过去、未来三种问题意图

一个容易混淆的概念是时间衰减:给旧内容统一降权,比如 score × 0.5^(天数/半衰期),半衰期 30 天就是每过 30 天排序权重减半。衰减是”旧的普遍靠后”,时间推理是”按问题意图选日期”。只有衰减没有意图判断,“周二买了什么”照样可能找不到周二那条。

6. 融合评分:多个信号怎样计票

Section titled “6. 融合评分:多个信号怎样计票”

四种信号各自给了分数或名次,最后必须合成一个排名。这是最容易算错的一步。

原始分数不能直接相加。 余弦相似度大约在 −1 到 1 之间,我们的例子里是 0.99;BM25 没有固定上限,例子里是 1.48,换个库可能到 8。直接相加,等于让量纲大的信号永远说了算。

先把每种信号的分数归一化到 0~1,再加权:

score = 0.7 × 语义 + 0.3 × BM25
候选 A:0.7×0.92 + 0.3×0.40 = 0.764
候选 B:0.7×0.85 + 0.3×0.95 = 0.880 → B 排前

优点是能保留”分数差距”的信息,权重可以按业务调。代价是要做归一化,权重本身也是调参成本。

RRF(Reciprocal Rank Fusion,倒数排名融合) 干脆不看分数,只看每种信号里的名次:

RRF = Σ 1 / (k + 名次) k 常见默认 60

加权求和与 RRF 的计算对比,以及可选的 rerank 重排

假设名次是:语义信号 A 第 1、B 第 2、C 第 3;BM25 信号 B 第 1、C 第 2、A 第 3。代入 k=60:

A:1/61 + 1/63 ≈ 0.0323
B:1/62 + 1/61 ≈ 0.0325 → B 排前
C:1/63 + 1/62 ≈ 0.0320

RRF 不需要归一化,某个信号打出异常高分也掀不翻排名;代价是丢掉了”第一名遥遥领先”这种差距信息。两种方法都常见,选哪个取决于你是否信任各信号的分数尺度。

融合得到 top_20 之后,还可以用交叉编码器(cross-encoder) 重排:把问题和每条候选一起输入模型,逐条精算相关度,再取 top_3。它通常比单向量打分更准,但每条候选都要一次模型计算,更慢更贵,所以只用于小范围候选。

7. 检索之前:查询改写与过滤时机

Section titled “7. 检索之前:查询改写与过滤时机”

7.1 查询改写:先把问题变成适合检索的形式

Section titled “7.1 查询改写:先把问题变成适合检索的形式”

用户的问题往往不适合直接检索:“它周二买了什么?“里的”它”指代不清,“周二”也不是存储里的日期格式。查询改写补全这些信息:

“它周二买了什么?”
→ 它 = 蓝莓(从对话上下文补全)
→ 周二 = 2026-11-10(换算成具体日期)

两个相关手段:

  • HyDE(假设文档嵌入):先让模型编一个假设答案,用答案的向量去检索。问题很短、词不达意时,假设答案往往比原问题更接近文档的表达方式。
  • 查询分解:多跳问题拆开查。“我上次买的水果比这次贵吗”拆成”上次买了什么、多少钱”和”这次买了什么、多少钱”,分别检索再合并。

改写本身会引入模型臆造,所以工程上常用多路召回:改写后的查询和原始查询各查一路,融合时一起进来,而不是只信改写结果。

7.2 pre-filter 与 post-filter:过滤的时机决定结果数量

Section titled “7.2 pre-filter 与 post-filter:过滤的时机决定结果数量”

user_id=alice 这种硬边界,过滤时机完全不同:

  • pre-filter(先过滤再检索):只在 alice 的记忆范围内做向量和关键词检索。top_k=3 能拿满 3 条,隔离由存储层保证。
  • post-filter(先检索再丢弃):全库检索 top_k=3,再按 user_id 丢弃。可能 3 条全是别人的记忆,丢完一条不剩;结果不足是小事,隔离还依赖应用层记得丢弃。

查询改写、多路召回,以及 pre-filter 与 post-filter 的对比

归属、权限、时间范围这类硬约束用 pre-filter;相关性排序才交给融合和 rerank。

8. 排序质量:多样性、候选预算与评估指标

Section titled “8. 排序质量:多样性、候选预算与评估指标”

8.1 MMR:相关度高但重复,也要往后排

Section titled “8.1 MMR:相关度高但重复,也要往后排”

如果 top_3 里三条都在讲”喜欢蓝莓”,用户等于只拿到一条信息。MMR(Maximal Marginal Relevance,最大边际相关性) 在相关度之外,再减去与已选内容的重复度:

MMR = λ × 与问题的相关度 − (1−λ) × 与已选结果的最大相似度

取 λ=0.7,假设已选入一条蓝莓记录后比较两个候选:

X:相关 0.90、与已选重复 0.95 → 0.7×0.90 − 0.3×0.95 = 0.345
Y:相关 0.80、与已选重复 0.10 → 0.7×0.80 − 0.3×0.10 = 0.530 → Y 胜

相关度略低但提供新信息的候选排到了前面。λ 越小越看重多样性。

8.2 候选漏斗:召回预算决定精排的上限

Section titled “8.2 候选漏斗:召回预算决定精排的上限”

完整检索是一个漏斗:全库 100,000 条 → 多信号召回 top_200 → 融合与 rerank 精排 top_20 → 最终 top_3 交给主模型。

rerank 只能重排已经召回的候选,召回漏掉的内容,精排永远救不回来。 所以调优顺序是先用评估集确认召回率够,再花钱做精排;反过来在 top_20 里反复调权重,可能一直在一个不包含正确答案的集合里打转。

候选漏斗、MMR 数值示例与三个评估指标

8.3 评估指标:用固定问题集看三个数

Section titled “8.3 评估指标:用固定问题集看三个数”
指标算什么示例
Recall@k相关记忆里有多少进了前 k 名3 条相关进了 2 条 → Recall@3 = 0.67
MRR第一条相关结果排第几的倒数第一条相关在第 2 名 → 0.5
nDCG越相关越该靠前的整体排序分相关项排第 1 比排第 5 得分高

每次改权重、改召回、改 rerank,都在同一组固定问题上对比这三个数,再决定要不要上线。

9. 排查:找不到和排错要分开修

Section titled “9. 排查:找不到和排错要分开修”
症状更可能的问题调整方向
想要的记忆不在候选里召回缺失检查分词、实体抽取、过滤条件,补对应信号
编号、专有名词搜不到只有语义信号加 BM25 或精确匹配通道
同义表达搜不到只有关键词信号加向量召回,检查 embedding 模型
候选都在,但最新偏好排后面排序问题检查时间字段与意图判断,调权重或加 rerank
某信号偶发高分带歪结果融合方式敏感改 RRF,或检查归一化
top_k=3 经常只返回一两条post-filter 先搜后过滤改 pre-filter,或扩大召回候选
前三名内容几乎一样只看相关度加 MMR 多样性重排
问题里指代、日期不明查询未改写加查询改写,保留原查询做多路召回

调参时用一组固定问题做回归,记录每次改动后 top_k 和评估指标的变化。凭单次提问的手感调权重,几乎一定会顾此失彼。

信号算什么擅长盲区主要成本
语义匹配向量夹角同义、改写、跨语言编号、否定、时间embedding 调用与向量索引
BM25词频 × 稀有度精确词、编号、配置项同义词、未登录词分词与倒排索引
实体匹配显式对象关联同一对象的不同写法未抽取、错链接抽取与链接计算
时间推理时间意图与日期当前偏好、过去事件时间戳缺失或错误时间字段质量

几亿条向量不能逐个算夹角,实际用近似最近邻索引(如 HNSW,一种分层图索引)快速找到”足够近”的候选。它用一点点召回率换数量级的速度,所以向量召回本身也是”近似”,不是穷举最近邻。

项目常用形式或默认值
余弦相似度`cos(A,B) = (A·B)/(
BM25 IDFln(1 + (N−n+0.5)/(n+0.5))(Lucene 形式)
BM25 参数k1 = 1.5,b = 0.75
RRFΣ 1/(k + 名次),k = 60
时间衰减score × 0.5^(天数/半衰期),示例半衰期 30 天
MMRλ×相关度 − (1−λ)×与已选最大相似度,示例 λ=0.7

D. 稠密向量之外的两类检索模型

Section titled “D. 稠密向量之外的两类检索模型”

SPLADE(稀疏向量检索):用模型把文本展开成带权重的词项,还能补上原文没出现的相关词,然后仍走倒排索引。可以理解为”会语义泛化的 BM25”:保留精确匹配和可解释性,又获得部分语义能力。代价是模型计算和索引膨胀。

ColBERT(晚交互,late interaction):每个 token 保留一个向量,检索时查询和文档做 token 级的 MaxSim 匹配。比单向量精细(能看出哪个词对上了哪个词),文档侧又可以预计算,所以比 cross-encoder 便宜。代价是索引明显更大。

方案匹配粒度文档侧预计算相对成本
单向量 + 余弦整段一个向量可以最低
SPLADE带权词项可以中
ColBERTtoken 级晚交互可以中高
cross-encoder rerank查询与候选联合计算不可以最高,只适合小候选集

加权求和里的”归一化到 0~1”有两种常见做法:

  • min-max:(x − 最小值) / (最大值 − 最小值)。简单,但一个异常高分就会压扁其他所有分数。
  • z-score:按均值和标准差折算再映射,抗异常值好一些。

还要注意一个陷阱:按每次查询做归一化时,一批候选全都差,最高分也会被拉成 1。“相对最好”被误读成”足够好”,所以归一化之外还需要绝对分数阈值或校准。

权重也不一定靠手调:学习排序(learning to rank,如 LambdaMART) 用人工标注的”问题—候选—相关度”数据训练融合模型。效果上限更高,前提是你有标注数据;没有标注时,加权求和和 RRF 仍是默认起点。


本文的范围是通用算法定义与手算示例。Mem0、OpenClaw 等产品的具体融合权重、时间推理实现和重排策略以其官方文档为准;未公开的参数本文不作推测。