KNOWLEDGE NOTE / AI · RAG

RAG 检索增强生成

整理知识入库、混合检索、上下文组装、生成和效果评估的端到端流程。

创建
2026年9月24日
更新
2026年10月15日

RAG 检索增强生成

摘要

RAG(检索增强生成)在回答前从外部知识源检索相关资料,再把资料与问题一起交给模型。它适合知识需要更新、需要利用私有文档或要求给出依据的任务,但不能保证检索一定正确或答案一定忠实。

正文

1. 两条流程

**离线索引:**收集授权资料 → 解析文本与元数据 → 清洗和切分 → 生成 Embedding(向量表示)→ 保存文本、向量和来源信息。

**在线问答:**接收问题 → 查询改写或补充 → 检索候选片段 → 可选重排 → 过滤与组装上下文 → 生成答案 → 返回出处并记录反馈。

2. 文档切分与索引

切分要保留标题、段落、表格和文档结构。块太大时检索定位变粗、上下文浪费;块太小时上下文断裂。应按文档类型和问题粒度试验块大小、重叠与父子块策略。

元数据至少考虑来源、标题、时间、权限和文档版本。更新或删除文档时,要同步更新对应片段;重复文档会挤占检索结果。权限过滤应在检索阶段执行,不能只靠生成提示要求模型“不要说”。

3. 向量检索与混合检索

Embedding 把文本映射到向量空间,常用相似度计算召回语义相近的内容。向量维度越高不必然越好,效果需结合模型、数据、存储和延迟测量。

向量检索擅长语义相似,关键词检索擅长精确术语、编号和罕见实体。混合检索结合两者后,可通过合并排序或重排提高相关性。重排模型对候选结果做更细评估,但会增加成本和延迟。

4. 提示与生成

把问题、检索片段、来源标识和回答要求明确分开。提示中可要求模型只依据给定资料回答事实问题;找不到依据时说明资料不足;将结论与推断区分开;按片段标识附上可核查出处。

这些约束需要应用层校验和评估支持,不能只靠提示保证安全或真实性。

5. 评估与排错

  • 检索:Recall@K、Precision@K、排序质量、权限过滤正确率。
  • 生成:正确性、依据忠实度、引用准确性、拒答合理性和用户任务完成率。
  • 系统:延迟、成本、失败率、索引更新时间和来源覆盖率。

检索错了,检查切分、查询改写、Embedding、过滤条件和召回数量;检索对但答案错,检查上下文截断、指令冲突、来源排序和生成模型;没有命中时不要伪造来源。

6. 把 RAG 拆成可排查的工程阶段

下面的顺序把“离线建库”和“在线回答”分开。每一阶段都要留下可检查的产物;如果只观察最终答案,很难判断故障究竟来自资料、检索还是生成。

阶段输入与产物主要可调项常见失败征兆
文档接入与解析原文件 → 带结构、页码和来源的文本允许格式、解析器、OCR、表格/版面解析PDF 有文字但解析为空;表格列错位;页眉进入正文
清洗与规范化解析文本 → 可索引的规范文本编码、重复页、页眉页脚、HTML 清理垃圾符号、重复段落或关键脚注消失
切分与元数据长文档 → 语义块及其父级/来源边界、最大 Token、重叠、父子层级命中相邻但不含答案;标题/条件与答案被拆开
Embedding 与索引文本块 → 向量和检索索引模型、查询/文档指令、距离函数、索引参数语义近似能搜到,产品编号或版本号搜不到
Query 处理与授权用户问题、身份、租户范围 → 规范化查询任务分类、改写、用户 ACL多轮代词不清;越权文档混入候选
召回、合并、重排查询 → 候选文档及排序分数检索器、各路 Top K、融合和 Reranker正确块未召回,或在候选里排得很后
上下文组装候选块 → 有预算的证据包去重、父级扩展、排序、Token 预算关键证据被截断、重复、冲突或被长内容淹没
生成与引用校验问题和证据 → 答案及来源提示、输出结构、拒答策略证据在但答案不忠实;引用页码不对应
观测和更新请求日志、人工反馈、新旧文档追踪字段、版本、重建/删除策略无法重现问题;旧版本片段长期残留

7. 文档解析、切分与父子块

7.1 先保证解析忠实,再讨论切分

检索质量无法超过进入索引的内容质量。PDF 解析若把“产品型号”和“规格”拆到不同行,后续向量模型无法推断它们原来的表格对应关系;扫描件则需要 OCR(光学字符识别),并对低置信度结果人工抽查。

建议为每份解析文档保留稳定的 source_id、内容版本/哈希、标题路径、页码/页内位置、文档类型、语言、创建/更新时间和访问范围。source_id 不应只用文件名,因为文件改名并不一定代表内容变化。切分后还要保存 chunk_id 到原文位置的映射。

清洗时不要“清掉所有特殊字符”:公式、代码、编号、负号和表格分隔符可能正是答案关键。清洗规则应可审计,并能回到原文件对照。

7.2 常见切分方法与适用边界

方法做法优点风险/适用限制
固定长度按 Token 或字符数截断简单、长度可控容易切断标题、定义、步骤或表格行
递归结构切分优先按章节、段落、换行等边界;过长才继续细分通用基线,较能保留自然结构不能理解每个领域的逻辑关系
语义切分根据相邻句/段语义变化决定边界可能保留主题连续性依赖模型、阈值和额外成本;复杂不等于必然更好
文档专用切分按 FAQ、代码、表格、标题、合同条款等结构解析能维护领域结构和引用位置需要针对格式开发和回归测试
父子块小子块用于命中,命中后返回较大的父章节兼顾精确检索和上下文完整父级可能带来冗余;需去重并限制上下文

块大小没有通用的“最佳值”。它受 Embedding 模型输入限制、问题粒度、文档格式和生成器上下文预算影响。可以把若干块大小/重叠组合做成实验组,在同一评测问题集比较 Recall@K、排序质量、上下文噪声、延迟和成本。

Overlap(重叠)可在边界处复制少量邻接文字,缓解答案被边界切断;但重叠过多会制造重复候选、增大索引、挤占上下文和降低有效多样性。若连续多块被命中,需按来源位置去重或恢复父章节,而不是把所有重复块照单全收。

切分完成后做人工切片审阅:随机抽取块,检查单独阅读是否知道主题/条件、表格/代码是否完整、原文位置能否找回、相邻块是否大量重复。

8. Embedding、相似度与索引基础

Embedding(文本嵌入)把文本编码成固定长度向量,供检索器计算候选相似性。它不是数据库本身,也不是“理解正确”的证明。向量存储还需保存文本/块 ID、元数据、距离索引和来源映射。

同一 Embedding 模型下,文档块和问题必须处在可比较的表示空间。某些检索模型提供 query/document 不同的编码模式或提示前缀,必须按模型说明分别编码;更换模型、维度、归一化方式或距离度量后,旧向量通常不能直接混用,应创建新索引版本并重新嵌入。

常见距离选择:

  • 余弦相似度关注方向:$\cos(q,d)=\frac{q\cdot d}{|q||d|}$。
  • 内积 $q\cdot d$ 同时受方向和向量长度影响;若所有向量已归一化,内积排序与余弦排序一致。
  • 欧氏距离关注向量空间的直线距离;“距离越小越近”与“相似度越大越近”的排序方向不要混淆。

模型维度、索引算法参数和数据库品牌都不能单独保证质量。ANN(近似最近邻)索引通过减少比较来降低检索成本,可能以一定召回损失换速度和内存;调 ANN 参数前,应先确认问题是候选没有被找出,还是正确候选被后续排序/组装丢掉。

9. 稀疏检索、稠密检索与混合检索

9.1 两类检索的互补性

  • 稠密/向量检索按语义表示找相近内容,适合“换个说法但意思相近”的查询;对确切型号、错别字、罕见人名、版本号不一定稳。
  • 稀疏/词法检索(如 BM25 一类)利用词项匹配、词频、逆文档频率和长度归一化;擅长专名、编号和原样关键词,但同义改写能力有限。
  • 混合检索同时取两路候选并融合排序,适合查询既包含自然语言意图又包含必须精确匹配的术语/编号。

9.2 结果如何融合

简单加权分数融合可写作:

$$ score(d)=\alpha\cdot score_{dense}(d)+(1-\alpha)\cdot score_{sparse}(d) $$ 但两类分数的尺度、分布和方向可能不同,未校准时不能随意直接相加。另一种常用思路是 RRF(Reciprocal Rank Fusion,倒数排序融合),仅根据各路排名融合:

$$ RRF(d)=\sum_{r\in R}\frac{w_r}{c+rank_r(d)} $$ 其中 $R$ 是检索路数,$rank_r(d)$ 是文档在该路的名次,$w_r$ 是可选权重,$c$ 是平滑常数。举例(仅演示算法):两路权重均为 1、取 $c=60$,文档 A 在两路排第 1 和第 5,则分数为 $1/61+1/65$;文档 B 在两路都排第 2,则分数为 $2/62$,B 略高,体现多路稳定靠前的候选会受益。参数不是固定推荐值。RRF 不要求各检索器的原始分数同尺度,但融合结果仍需在自己的相关性标注集上验证。混合检索不是把两份 Top K 简单拼接后就结束:还要去重、处理同源邻块、检查候选总数,并观察两路各自贡献。

10. Top K、Reranker 与上下文组装

10.1 Top K 不是越大越好

增大初始召回 K 可能找回漏掉的证据,但也增加无关片段、相似重复、Reranker 成本和生成上下文噪声。应至少分清候选 K(给融合/重排的候选数量)和最终上下文 K(实际发给生成模型的证据数量),两者不必相同。

先用相对充足的候选 K 保住 Recall,再重排、去重,从中选择有限的最终证据;通过测试集和负样本确定配置,而不是照搬固定 K。

10.2 Reranker 做什么

Reranker(重排器)对“查询 + 单个候选块”共同打分,通常比只比较两个独立向量更精细;Cross-Encoder(交叉编码器)联合处理查询与候选内容,因此逐条评分成本较高,通常只对初次召回的一小批候选使用。

重排器不能找回完全没有进入候选集的文档。因此两阶段检索需分别评估:候选召回的 Recall@K,以及重排后前列的 MRR/NDCG。如果正确段落根本不在候选里,先改解析、查询、Embedding 或召回,再调重排模型。

10.3 上下文组装与引用

组装前按 source_id 和 chunk_id 去重,保留必要标题、页码、表格名或版本;有矛盾来源时标出来源和日期,不要把冲突悄悄合并成一个结论。按生成模型 Tokenizer 估算上下文预算,把用户问题、系统指令、对话历史、检索证据和回答留量一起计算,而不是只数字符。

引用必须从检索块的可信元数据生成:保存块 ID 到源文件、版本、页码/标题路径的映射;答案引用返回前验证该源仍可访问且确实对应块。模型自己编造的 URL、页码或文档标题不能视为有效引用。要支持逐条主张核查,可把答案拆成可验证主张,再检查各自对应证据,而不是只在答案末尾列一串来源。

11. Query 改写、扩展和高级检索

用户的口语问题可能缺少核心名词或上下文。可先把多轮对话问题改写为独立搜索句,也可把复杂问题拆为多个子问题;查询扩展和 Multi-query(多查询)通过不同表达扩大候选,之后要合并、去重并限制额外成本。

HyDE(假设性文档嵌入)先生成一段可能的回答文本,再用这段“假设文本”向量化查找相似文档。它提供的是搜索线索,不是知识证据;假设内容可能错误,最终仍应只依据真实检索来源回答。

Step-back(退一步提问)可把具体问题改写成相关的上位原理查询;GraphRAG(图增强检索)适合实体关系和多跳关联;Agentic RAG(智能体式检索)允许流程决定是否检索、调用哪个来源或是否再查一轮。它们会增加状态、模型调用、延迟和错误面,只有当固定的一次检索不足以覆盖问题时,才用评测证明复杂度值得。

12. RAG 权限与间接提示注入

12.1 权限过滤属于服务端检索边界

每个请求应先由服务端验证用户身份与访问范围,再把可靠的租户/用户/文档 ACL 条件带入检索查询;被授权的证据才可进入重排和模型上下文。仅在模型 Prompt 中说“不要泄露私密内容”不能代替授权。客户端传入的 tenant_id 等字段也不能被直接信任。

至少覆盖这些测试:用户 A 查不到用户 B 的片段;撤权后旧缓存不再返回;链接和引用不会暴露无权来源;跨用户共享缓存严格按授权域隔离;删除文档后旧片段失效。过滤应发生在数据检索处,取回后还应在服务端边界再次确认可见性。

12.2 被检索的文档是数据,不是高权限指令

知识库中的网页或文件可能包含“忽略系统规则”“调用工具导出资料”等恶意或误导性文本,这属于间接 Prompt Injection(提示注入)。将检索内容用明确边界包裹,并说明它是待分析资料而不是可执行指令;对上传来源进行治理,追踪来源与版本,加入投毒、越权检索和未授权工具调用的红队测试。

提示隔离和分类器只是防御层,不能提供绝对保证。真正的读写权限由应用服务端控制;工具使用最小权限,支付、删除、发信等高风险动作必须由授权与用户确认流程把关,不能只根据模型生成文本执行。

13. 文档更新、重建与删除

推荐给每份源文档维护稳定 source_id、内容版本/哈希及其产生的 chunk ID。重复导入同一版本要幂等,不应每次都多写一份;更新时用新版本替换或显式失效旧版本;删除源文件时同时删除或标记失效向量、文本块、父子索引、缓存和引用映射。

更换 Embedding 模型或维度时,建立新的索引版本、完整重嵌入、并行评测,通过后切换;不要在同一集合里混放语义空间不兼容的向量。保留回滚窗口和重建日志,定义更新延迟、失败重试、部分成功如何恢复及删除是否需要审计。

14. 分层评估:检查检索,也检查答案

14.1 需要有标注的检索指标

针对每条查询准备相关文档或证据标注,并约定相关性判断粒度是源文档、段落还是 Chunk。若前 K 个结果中有 $h$ 个相关项,整个标注集共有 $R$ 个相关项:

$$ Precision@K=\frac{h}{K},\qquad Recall@K=\frac{h}{R} $$ Precision@K 回答“拿来的前 K 条有多少有用”;Recall@K 回答“所有标注相关证据里找回了多少”。例如共有 3 个相关证据,前 5 条里命中 2 个,则 Precision@5 为 $2/5=0.4$,Recall@5 为 $2/3$。当一个问题需要多个证据片段时,只命中其中一个可能仍不足以回答。若查询没有任何相关证据标注,Recall 的分母为 0,应把它作为无答案/合理拒答场景单独评估,而不是硬算成 0。

  • Hit Rate@K:每条查询只看前 K 是否至少出现一个相关结果,再对查询求平均;它和 Recall@K 不同。
  • MRR(平均倒数排名):对每条查询找到第一个相关项的排名 $r$,取 $1/r$,再跨查询平均;强调第一个有用结果出现得多靠前。
  • NDCG@K:支持分级相关性,按位置折损累积增益并除以理想排序 DCG;适合衡量多等级相关度的排序质量。

多查询集合 $Q$ 上,MRR 可写为:

$$ MRR=\frac{1}{|Q|}\sum_{q\in Q}\frac{1}{rank_q} $$ 其中 $rank_q$ 是该查询第一个相关结果的名次;没有相关结果时,倒数排名记为 0。对分级相关度 $rel_i$,常见折损累计增益为:

$$ DCG@K=\sum_{i=1}^{K}\frac{2^{rel_i}-1}{\log_2(i+1)},\qquad NDCG@K=\frac{DCG@K}{IDCG@K} $$ IDCG 是把同一查询的已知相关结果按理想顺序排列所得到的 DCG。先明确相关度等级及标注粒度,再解释分数;不同标注规则下的 NDCG 不宜直接横向比较。

如果没有可靠相关文档标注,就不能把自动裁判分数称作标准 Recall@K。标注不完整也会把未判断的正确片段误当成无关,需抽查或使用适合不完整判断的评价设计。

14.2 生成与端到端指标

  • Context Relevance:检索上下文与问题是否有关;相关但不充分仍可能低覆盖。
  • Faithfulness/Groundedness(忠实度/依据性):答案主张是否受实际提供上下文支持;它不等于外部世界事实正确。
  • Answer Relevance:答案是否回应问题;答得相关不代表事实准确。
  • Answer Correctness:与可信参考答案、事实来源或专家标注比较。
  • Citation Accuracy:引用是否存在、可访问并支持对应主张。
  • Task Success、拒答合理性、延迟、成本、错误率和权限正确率:从真实产品目标补充。

RAGAS、ARES 等工作展示了如何用模型裁判或合成数据评估部分维度;LLM-as-a-judge(以模型作裁判)可能受评分模型偏好、提示措辞和数据污染影响,不能取代人工抽查、专家标注和固定回归集。先说明每个分数衡量哪一段链路,再据此定位问题。

14.3 评测集设计与故障归因

评测集至少包含可直接查到、同义改写、精确编号、跨段多证据、无答案、过期冲突、表格/代码、权限边界及对抗性文档等查询。按时间或来源切分,避免同一文档片段同时进入调参集与最终留出集。另设人工标注校准小集,检测自动裁判是否偏移。

检索结果最终回答优先检查
错/缺失错资料覆盖、解析切分、Query、Embedding、过滤与初始召回
对,但被重排挤走错Reranker、候选 K、混合融合和训练域偏移
证据充分且靠前错上下文预算/顺序、提示冲突、生成器、输出解析和拒答策略
相关且答案正确但引用错chunk-ID 到页码/来源映射、版本和引用校验
无证据模型却回答得肯定无答案集、拒答机制、提示注入与评价规则

每次变更只调整少数参数,并保存版本、原始检索候选、重排分数、最终上下文、答案、引用和评价结果。这样才能比较“改切块后哪个问题组改善/恶化”,避免凭几条主观示例随机调参。

15. RAG 与微调、普通搜索如何取舍

RAG 适合资料常变、需要检索可追溯、要接入用户/组织私有内容的任务;Fine-tuning(微调)更适合改变稳定的输出风格、任务行为或模型能力,不能把参数更新直接等同于可审计知识库。两者可以组合:RAG 提供可更新事实,SFT 学习稳定的回答格式/工作习惯。

若任务是精确权限数据、交易库存、价格或实时状态,应调用有鉴权和一致性语义的业务 API(接口)/数据库查询,而不是把数据塞进向量库后让模型近似回答。查询简单且需要确定性时,普通检索或规则逻辑可能更稳、更便宜。

参考资料补充

相关笔记

  • Agent与Dify基础
  • LangChain与LangGraph基础
  • RAG与Agent项目精选
  • 评测幻觉与多模态

参考资料

  • 《大模型 RAG 检索增强生成面》《基于 LLM + 向量库的文档对话经验面》。
  • 《第四章节:RAG 技术应用》《02 大模型 RAG 开发》《03 RAG 项目》。
  • 《尚硅谷 LangChain:RAG》。

原始来源文件

以下列出本篇整理所依据的代表性原件;同主题重复版本与完整状态请查阅 source-manifest.csv。

  • Raw sources/大模型官方课程-视频资料/2026最新大模型全套资料(持续更新)/②、大模型入门资料/MD文档/【大模型项目实战】使用RAG技术构建企业级文档问答系统之QA抽取,非常详细!(含开源代码).md
  • Raw sources/大模型官方课程-视频资料/2026最新大模型全套资料(持续更新)/②、大模型入门资料/MD文档/高级RAG技术.md

放弃未保存的修改?

有未保存的修改,离开会丢失这些内容。