混合检索算法:向量、BM25、RRF 与重排
记忆系统里最常见的困惑是:语义匹配、BM25、实体匹配、时间推理各自到底在算什么,最后又是怎么合成一个排名的。答案可以概括成一句话:每种信号只回答一个局部问题,融合评分负责把它们的”投票”算成一个总排名。
向量不懂精确编号,BM25 不懂同义词,实体不懂没抽取出来的关系,时间戳不懂问题问的是”现在”还是”过去”。只用任何一种,都有稳定的失败场景。所以现代记忆系统和 RAG 大多走多信号加融合的路。
下面用一个例子走完所有计算:
记忆库共 10 条记录,其中三条是:M1(周一):我喜欢蓝莓,芒果吃了不舒服。M2(周二):Agent 下单买了蓝莓(blueberry)。M3(周三):以后只想买苹果。
周五,你问:“现在该给我推荐什么水果?”本文讲的是这些技术的通用算法定义,并给出能自己手算的数值示例。Mem0 等具体产品只公开了”多信号并行评分并融合”,未公开权重和公式细节,本文不替它们编造参数。
这篇只处理“候选从哪里来、怎样排序”。文件解析、权限、版本、上下文组装、回答与引用等完整知识库流程,见RAG 知识库工程。
1. 先分清两个阶段:召回与排序
Section titled “1. 先分清两个阶段:召回与排序”召回(recall) 是从库里找出一批可能相关的候选。比如从 10 条记忆里挑出 M1、M2、M3。
排序(ranking) 是给候选打分,决定谁排第一。top_k=3 就是取排序后的前三条。
这个区分决定了排查方向:想要的内容根本没进候选,是召回问题;进了候选却排在后面,是排序问题。 前者要补信号或放松过滤,后者才轮到调权重。
2. 语义匹配:把文字变成向量,再算夹角
Section titled “2. 语义匹配:把文字变成向量,再算夹角”2.1 向量是什么
Section titled “2.1 向量是什么”embedding 模型把一段文本变成一串数字,比如 768 个或 1536 个浮点数,这串数字就是向量。模型训练的目标之一,是让意思相近的文本得到相近的向量。
所以”蓝莓”和”蓝色浆果”的向量很靠近,即使两个字面完全不同的词也能匹配。这是 BM25 做不到的事。
2.2 余弦相似度怎么算
Section titled “2.2 余弦相似度怎么算”常用度量是余弦相似度(cosine similarity):两个向量夹角的余弦。方向越一致,分数越接近 1;方向无关,接近 0。
真实向量有几百到几千维,用二维演示计算过程。假设:
A = 蓝莓 → (0.90, 0.20)B = 蓝色浆果 → (0.85, 0.30)C = 订单编号 → (0.10, 0.95)余弦相似度的公式是:
cos(A, B) = (A · B) / (|A| × |B|)代入数字:
A · B = 0.90 × 0.85 + 0.20 × 0.30 = 0.825|A| = √(0.90² + 0.20²) ≈ 0.922|B| = √(0.85² + 0.30²) ≈ 0.901cos(A, B) = 0.825 / (0.922 × 0.901) ≈ 0.99
cos(A, C) = 0.28 / (0.922 × 0.955) ≈ 0.320.99 对 0.32,“意思相近”就变成了可以排序的分数。
2.3 向量的盲区
Section titled “2.3 向量的盲区”- 精确编号:
SKU-3042和SKU-3043意思几乎一样,向量很近,但业务上完全是两个东西。 - 否定:“要芒果”和”不要芒果”只差一点,向量往往也很近。
- 时间:向量里没有”这是上周的事还是昨天的事”。
所以语义匹配负责”意思相近”,精确匹配要交给别的信号。
3. BM25:常见的词少加分,稀有的词多加分
Section titled “3. BM25:常见的词少加分,稀有的词多加分”BM25 是关键词检索的经典算法,Lucene、Elasticsearch 和 SQLite FTS5 都在用它或它的变体。它由两个直觉组成。
3.1 IDF:这个词有多稀有
Section titled “3.1 IDF:这个词有多稀有”TF(词频) 指一个词在文档里出现几次。IDF(逆文档频率) 指这个词在整个库里有多稀有:几乎每条记录都有的”的”,区分不出任何东西;只在 2 条里出现的”芒果”,一命中就很说明问题。
Lucene 常用形式的 IDF 计算:
IDF = ln(1 + (N − n + 0.5) / (n + 0.5))N 是文档总数,n 是包含这个词的文档数。代入我们的 10 条记忆:
“芒果”出现在 2 条:IDF = ln(1 + 8.5/2.5) = ln(4.4) ≈ 1.48“的”出现在 10 条:IDF = ln(1 + 0.5/10.5) ≈ 0.05稀有词的权重是常见词的约 30 倍。
3.2 TF 饱和与长度归一
Section titled “3.2 TF 饱和与长度归一”一个词出现 10 次,贡献不应该严格是出现 1 次的 10 倍——重复灌水不该刷高分。BM25 用参数 k1(常见默认 1.5)让词频收益递减,这叫词频饱和。
长文档天然包含更多词,直接比较会吃亏,所以再按文档长度折算,强度由参数 b(常见默认 0.75)控制。
完整公式:
score = Σ IDF(词) × [ tf × (k1+1) ] / [ tf + k1 × (1−b + b × 文档长度/平均长度) ]当 tf=1、文档长度等于平均长度时,右边的 TF 因子正好等于 1,于是”芒果”命中大约得 1.48 分,“的”命中只有 0.05 分。
3.3 BM25 的盲区
Section titled “3.3 BM25 的盲区”它只做字面匹配。“哪种水果吃了不舒服”能命中含”水果""不舒服”的记录,但一条写成”蓝色浆果很合口味”的记录,即使意思相关,也可能一个关键词都命中不了。中文还要先分词,分词方式直接影响能不能命中。
所以 BM25 负责”精确”,语义匹配负责”相近”,两者是互补,不是替代。
4. 实体匹配:把”蓝莓”当成一个确定对象
Section titled “4. 实体匹配:把”蓝莓”当成一个确定对象”前两种信号处理的是文本,实体匹配处理的是对象。
- NER(命名实体识别):从句子里找出具体对象。从 M1 里抽出”蓝莓""芒果”,从 M2 里抽出”blueberry”。
- 实体链接(entity linking):把不同写法统一到同一个实体 ID。“blueberry”和”蓝莓”指向同一个”蓝莓”实体,M1 和 M2 由此产生显式关联。
检索时,问题里提到的实体和记忆挂接的实体做匹配,命中就加分或过滤。和向量不同,这是显式的符号匹配:是同一个对象就加分,不靠”意思差不多”。
代价也很直接:抽取错了、链接错了,加分就错了。没抽出来的关系,这条信号就沉默。实体关系可以放在图数据库里,也可以只是元数据字段,不是必须上图谱。
5. 时间推理:先听懂问题问的是什么时候
Section titled “5. 时间推理:先听懂问题问的是什么时候”M1 说喜欢蓝莓,M3 说只想买苹果。向量分不出谁更新,BM25 更分不出,但”现在该推荐什么”明显应该听 M3 的。
时间推理做两件事:
- 给记忆记录时间:注意区分事件时间(说的是哪天的事)和写入时间(哪天存进库的)。“上周二买的水果”今天才记录,两个时间不一样。
- 识别问题的时间意图:“现在喜欢什么”问的是当前状态,优先最新偏好;“周二买了什么”问的是过去事件,要定位到对应日期;“下周吃什么”问的是未来计划。
一个容易混淆的概念是时间衰减:给旧内容统一降权,比如 score × 0.5^(天数/半衰期),半衰期 30 天就是每过 30 天排序权重减半。衰减是”旧的普遍靠后”,时间推理是”按问题意图选日期”。只有衰减没有意图判断,“周二买了什么”照样可能找不到周二那条。
6. 融合评分:多个信号怎样计票
Section titled “6. 融合评分:多个信号怎样计票”四种信号各自给了分数或名次,最后必须合成一个排名。这是最容易算错的一步。
原始分数不能直接相加。 余弦相似度大约在 −1 到 1 之间,我们的例子里是 0.99;BM25 没有固定上限,例子里是 1.48,换个库可能到 8。直接相加,等于让量纲大的信号永远说了算。
6.1 方法一:加权求和
Section titled “6.1 方法一:加权求和”先把每种信号的分数归一化到 0~1,再加权:
score = 0.7 × 语义 + 0.3 × BM25
候选 A:0.7×0.92 + 0.3×0.40 = 0.764候选 B:0.7×0.85 + 0.3×0.95 = 0.880 → B 排前优点是能保留”分数差距”的信息,权重可以按业务调。代价是要做归一化,权重本身也是调参成本。
6.2 方法二:RRF 倒数排名融合
Section titled “6.2 方法二:RRF 倒数排名融合”RRF(Reciprocal Rank Fusion,倒数排名融合) 干脆不看分数,只看每种信号里的名次:
RRF = Σ 1 / (k + 名次) k 常见默认 60假设名次是:语义信号 A 第 1、B 第 2、C 第 3;BM25 信号 B 第 1、C 第 2、A 第 3。代入 k=60:
A:1/61 + 1/63 ≈ 0.0323B:1/62 + 1/61 ≈ 0.0325 → B 排前C:1/63 + 1/62 ≈ 0.0320RRF 不需要归一化,某个信号打出异常高分也掀不翻排名;代价是丢掉了”第一名遥遥领先”这种差距信息。两种方法都常见,选哪个取决于你是否信任各信号的分数尺度。
6.3 可选第三步:rerank 重排
Section titled “6.3 可选第三步:rerank 重排”融合得到 top_20 之后,还可以用交叉编码器(cross-encoder) 重排:把问题和每条候选一起输入模型,逐条精算相关度,再取 top_3。它通常比单向量打分更准,但每条候选都要一次模型计算,更慢更贵,所以只用于小范围候选。
7. 检索之前:查询改写与过滤时机
Section titled “7. 检索之前:查询改写与过滤时机”7.1 查询改写:先把问题变成适合检索的形式
Section titled “7.1 查询改写:先把问题变成适合检索的形式”用户的问题往往不适合直接检索:“它周二买了什么?“里的”它”指代不清,“周二”也不是存储里的日期格式。查询改写补全这些信息:
“它周二买了什么?”→ 它 = 蓝莓(从对话上下文补全)→ 周二 = 2026-11-10(换算成具体日期)两个相关手段:
- HyDE(假设文档嵌入):先让模型编一个假设答案,用答案的向量去检索。问题很短、词不达意时,假设答案往往比原问题更接近文档的表达方式。
- 查询分解:多跳问题拆开查。“我上次买的水果比这次贵吗”拆成”上次买了什么、多少钱”和”这次买了什么、多少钱”,分别检索再合并。
改写本身会引入模型臆造,所以工程上常用多路召回:改写后的查询和原始查询各查一路,融合时一起进来,而不是只信改写结果。
7.2 pre-filter 与 post-filter:过滤的时机决定结果数量
Section titled “7.2 pre-filter 与 post-filter:过滤的时机决定结果数量”user_id=alice 这种硬边界,过滤时机完全不同:
- pre-filter(先过滤再检索):只在 alice 的记忆范围内做向量和关键词检索。top_k=3 能拿满 3 条,隔离由存储层保证。
- post-filter(先检索再丢弃):全库检索 top_k=3,再按 user_id 丢弃。可能 3 条全是别人的记忆,丢完一条不剩;结果不足是小事,隔离还依赖应用层记得丢弃。
归属、权限、时间范围这类硬约束用 pre-filter;相关性排序才交给融合和 rerank。
8. 排序质量:多样性、候选预算与评估指标
Section titled “8. 排序质量:多样性、候选预算与评估指标”8.1 MMR:相关度高但重复,也要往后排
Section titled “8.1 MMR:相关度高但重复,也要往后排”如果 top_3 里三条都在讲”喜欢蓝莓”,用户等于只拿到一条信息。MMR(Maximal Marginal Relevance,最大边际相关性) 在相关度之外,再减去与已选内容的重复度:
MMR = λ × 与问题的相关度 − (1−λ) × 与已选结果的最大相似度取 λ=0.7,假设已选入一条蓝莓记录后比较两个候选:
X:相关 0.90、与已选重复 0.95 → 0.7×0.90 − 0.3×0.95 = 0.345Y:相关 0.80、与已选重复 0.10 → 0.7×0.80 − 0.3×0.10 = 0.530 → Y 胜相关度略低但提供新信息的候选排到了前面。λ 越小越看重多样性。
8.2 候选漏斗:召回预算决定精排的上限
Section titled “8.2 候选漏斗:召回预算决定精排的上限”完整检索是一个漏斗:全库 100,000 条 → 多信号召回 top_200 → 融合与 rerank 精排 top_20 → 最终 top_3 交给主模型。
rerank 只能重排已经召回的候选,召回漏掉的内容,精排永远救不回来。 所以调优顺序是先用评估集确认召回率够,再花钱做精排;反过来在 top_20 里反复调权重,可能一直在一个不包含正确答案的集合里打转。
8.3 评估指标:用固定问题集看三个数
Section titled “8.3 评估指标:用固定问题集看三个数”| 指标 | 算什么 | 示例 |
|---|---|---|
| Recall@k | 相关记忆里有多少进了前 k 名 | 3 条相关进了 2 条 → Recall@3 = 0.67 |
| MRR | 第一条相关结果排第几的倒数 | 第一条相关在第 2 名 → 0.5 |
| nDCG | 越相关越该靠前的整体排序分 | 相关项排第 1 比排第 5 得分高 |
每次改权重、改召回、改 rerank,都在同一组固定问题上对比这三个数,再决定要不要上线。
9. 排查:找不到和排错要分开修
Section titled “9. 排查:找不到和排错要分开修”| 症状 | 更可能的问题 | 调整方向 |
|---|---|---|
| 想要的记忆不在候选里 | 召回缺失 | 检查分词、实体抽取、过滤条件,补对应信号 |
| 编号、专有名词搜不到 | 只有语义信号 | 加 BM25 或精确匹配通道 |
| 同义表达搜不到 | 只有关键词信号 | 加向量召回,检查 embedding 模型 |
| 候选都在,但最新偏好排后面 | 排序问题 | 检查时间字段与意图判断,调权重或加 rerank |
| 某信号偶发高分带歪结果 | 融合方式敏感 | 改 RRF,或检查归一化 |
| top_k=3 经常只返回一两条 | post-filter 先搜后过滤 | 改 pre-filter,或扩大召回候选 |
| 前三名内容几乎一样 | 只看相关度 | 加 MMR 多样性重排 |
| 问题里指代、日期不明 | 查询未改写 | 加查询改写,保留原查询做多路召回 |
调参时用一组固定问题做回归,记录每次改动后 top_k 和评估指标的变化。凭单次提问的手感调权重,几乎一定会顾此失彼。
A. 四种信号对照表
Section titled “A. 四种信号对照表”| 信号 | 算什么 | 擅长 | 盲区 | 主要成本 |
|---|---|---|---|---|
| 语义匹配 | 向量夹角 | 同义、改写、跨语言 | 编号、否定、时间 | embedding 调用与向量索引 |
| BM25 | 词频 × 稀有度 | 精确词、编号、配置项 | 同义词、未登录词 | 分词与倒排索引 |
| 实体匹配 | 显式对象关联 | 同一对象的不同写法 | 未抽取、错链接 | 抽取与链接计算 |
| 时间推理 | 时间意图与日期 | 当前偏好、过去事件 | 时间戳缺失或错误 | 时间字段质量 |
B. 向量检索为什么快
Section titled “B. 向量检索为什么快”几亿条向量不能逐个算夹角,实际用近似最近邻索引(如 HNSW,一种分层图索引)快速找到”足够近”的候选。它用一点点召回率换数量级的速度,所以向量召回本身也是”近似”,不是穷举最近邻。
C. 公式与默认值速查
Section titled “C. 公式与默认值速查”| 项目 | 常用形式或默认值 |
|---|---|
| 余弦相似度 | `cos(A,B) = (A·B)/( |
| BM25 IDF | ln(1 + (N−n+0.5)/(n+0.5))(Lucene 形式) |
| BM25 参数 | k1 = 1.5,b = 0.75 |
| RRF | Σ 1/(k + 名次),k = 60 |
| 时间衰减 | score × 0.5^(天数/半衰期),示例半衰期 30 天 |
| MMR | λ×相关度 − (1−λ)×与已选最大相似度,示例 λ=0.7 |
D. 稠密向量之外的两类检索模型
Section titled “D. 稠密向量之外的两类检索模型”SPLADE(稀疏向量检索):用模型把文本展开成带权重的词项,还能补上原文没出现的相关词,然后仍走倒排索引。可以理解为”会语义泛化的 BM25”:保留精确匹配和可解释性,又获得部分语义能力。代价是模型计算和索引膨胀。
ColBERT(晚交互,late interaction):每个 token 保留一个向量,检索时查询和文档做 token 级的 MaxSim 匹配。比单向量精细(能看出哪个词对上了哪个词),文档侧又可以预计算,所以比 cross-encoder 便宜。代价是索引明显更大。
| 方案 | 匹配粒度 | 文档侧预计算 | 相对成本 |
|---|---|---|---|
| 单向量 + 余弦 | 整段一个向量 | 可以 | 最低 |
| SPLADE | 带权词项 | 可以 | 中 |
| ColBERT | token 级晚交互 | 可以 | 中高 |
| cross-encoder rerank | 查询与候选联合计算 | 不可以 | 最高,只适合小候选集 |
E. 归一化方法与学习排序
Section titled “E. 归一化方法与学习排序”加权求和里的”归一化到 0~1”有两种常见做法:
- min-max:
(x − 最小值) / (最大值 − 最小值)。简单,但一个异常高分就会压扁其他所有分数。 - z-score:按均值和标准差折算再映射,抗异常值好一些。
还要注意一个陷阱:按每次查询做归一化时,一批候选全都差,最高分也会被拉成 1。“相对最好”被误读成”足够好”,所以归一化之外还需要绝对分数阈值或校准。
权重也不一定靠手调:学习排序(learning to rank,如 LambdaMART) 用人工标注的”问题—候选—相关度”数据训练融合模型。效果上限更高,前提是你有标注数据;没有标注时,加权求和和 RRF 仍是默认起点。
本文的范围是通用算法定义与手算示例。Mem0、OpenClaw 等产品的具体融合权重、时间推理实现和重排策略以其官方文档为准;未公开的参数本文不作推测。