KNOWLEDGE NOTE / AI · RAG

RAG 检索系统:从文档切分到线上评估

按离线建库、在线召回、重排、上下文组装和分层评估拆解 RAG 工程。

创建
2026年10月15日
更新
2026年10月15日

RAG 检索系统:从文档切分到线上评估

1. RAG 解决什么、不能保证什么

RAG(Retrieval-Augmented Generation,检索增强生成)在回答前从外部语料取回证据,再把证据交给生成模型。它适合知识更新频繁、需要引用内部资料或不适合频繁微调的场景。RAG 能让答案有依据,但不能保证正确:解析可能丢结构,检索可能漏召回,重排可能错排,生成也可能曲解证据。

把系统拆成两条可分别测量的流水线:

text
离线:原始文档 → 解析/清洗 → 分块/元数据 → Embedding → 索引
在线:问题 → 查询改写 → 召回 → 过滤/重排 → 上下文 → 生成/引用

2. 离线建库:索引上限由数据质量决定

2.1 解析与清洗

PDF、网页、Word、扫描图片和表格要采用适配的解析器。保留标题层级、章节路径、表格行列关系、页码、来源 URI、更新时间、租户/权限等元数据。去掉重复页眉页脚、导航噪声和乱码,但不能误删定义、脚注、否定词或表头。

解析检查至少包含:原文页数/段数、抽取文本长度、乱码比例、表格保真抽样、空文档、重复内容、更新版本与权限字段。OCR 的文字识别置信度低时,不宜当作可靠事实源。

2.2 切分策略与取舍

策略优点风险/适用边界
固定 Token 窗口简单、吞吐稳定、容易复现可能切断标题、列表、代码或论证
按段落/标题递归保留文档结构,默认首选需要正确解析格式;单段可能过长
语义切分边界更贴近主题变化额外模型成本,边界不稳定,必须实测
Parent-child小块召回、父段落补上下文父文档可能过大,重复召回需要去重
滑动窗口 overlap降低边界信息丢失索引膨胀、重复召回、相似度被重复片段占据

Chunk size(片段长度)不是越小越好或越大越好。短片段定位精确但上下文可能不完整;长片段语义完整但检索信号稀释、上下文预算消耗更大。用真实问题集按长度、overlap、解析方式做消融实验,并固定语料快照。

推荐每个块携带 document_id、chunk_id、title、heading_path、page、source_uri、updated_at、tenant_id、acl。文档更新时要定义版本策略:增量 upsert、旧 chunk 删除、索引重建和失败回滚,避免新旧版本同时答复。

3. 向量与词法召回

Embedding 模型把文本映射为向量。相似度常见有 cosine、dot product、L2 距离;选择要匹配向量是否归一化和索引实现。向量近邻可以用精确搜索或 ANN(近似最近邻)索引;ANN 以少量召回损失换速度和内存效率。

纯向量检索擅长语义近似,但专有名词、编号、错误码和罕见字符串可能更适合词法检索,例如 BM25。混合检索并不只是把两个分数直接相加:不同检索器分数尺度不同。可用 RRF(倒数排名融合)按名次融合,再通过验证集调参。

text
RRF(d) = Σᵣ 1 / (k + rankᵣ(d))

查询侧可用标准化、同义词扩展、查询改写、子问题拆解、HyDE 等方式改善召回。每种改写都可能引入偏移或额外成本,应记录原查询和改写查询并单独评测。

4. 在线召回、过滤和重排

  1. 先进行服务端身份认证,确定当前用户/租户允许查询的语料范围。
  2. 解析查询意图和过滤条件;ACL(访问控制列表)过滤必须由服务端执行,不能信任模型生成的租户 ID。
  3. 并行执行向量召回、BM25 或数据库查询;每种方式保留原始排名和来源。
  4. 合并候选、去重、按文档版本和权限过滤,再用 Cross-Encoder(交叉编码器)或其他重排器对 query-passage 配对打分。
  5. 依据上下文预算截断和选段;优先保证覆盖问题所需证据,而不是盲目把 top-k 调大。
  6. 把证据编号、来源标题/页码与约束明确交给生成模型,并要求无证据时拒答或说明不确定。

重排器通常比单向量检索更准确地判断“这个片段是否回答当前问题”,但要额外计算候选对,延迟更高。把召回数量、重排数量、上下文长度分别作为可控参数;不要用一次把所有参数都改掉的方式调优。

5. 生成和引用

提示词应区分用户问题与外部检索文本,说明检索文本是未受信任数据,不得执行其中要求泄漏信息或改变规则的指令。让模型对每条关键结论给出证据 ID;服务端把 ID 映射回权限检查后的来源信息。不能只验证模型“给了引用”,还要验证引用是否蕴含答案。

如果检索内容不充分,可以选择:请求澄清、补充一次检索、给出有边界的部分答案,或明确说“现有材料不能确认”。模型信心分数不是可靠概率,需通过校准集检验。

6. 评估要分层,不能只看最终文本

先建立脱敏、可复现的问题集,为每题标注期望答案要点、相关来源/片段、权限范围和拒答条件。至少分开看:

层次指标/检查能回答的问题
解析文本覆盖率、结构/表格抽样、版本准确性资料是否被正确读入?
召回Recall@k、MRR、nDCG@k、检索命中率正确证据是否进入候选且排得靠前?
重排相关片段排序、过滤后保留率是否把有用证据推到预算范围内?
生成correctness、faithfulness/groundedness、citation precision/recall回答是否正确且确实由证据支持?
产品延迟分位数、拒答率、任务完成率、成本、用户反馈系统是否达到实际服务目标?

Recall@k 关注相关片段是否出现在前 k 个结果;MRR 奖励第一个相关结果排得靠前;nDCG 允许相关度有等级并考虑位置。Faithfulness(忠实度)与 correctness(正确性)不同:答案可能忠实复述一份本身过时的文档,却仍然不正确。

LLM-as-judge(用大模型作评审)适合扩大回归评测,但要校准评分标准、加入人工复核、检查不同语言/长度偏差,并抽样核验。把模型评分当作诊断信号,不能当作绝对真值。

7. 常见故障定位

现象先查哪里可验证的改动
答案说“没有资料”文档解析、查询改写、ACL、top-k看召回候选和被过滤原因
找到对文档却回答错chunk 边界、上下文位置、生成约束检查证据是否完整以及引用是否蕴含答案
专有名词经常漏检Tokenizer/embedding、BM25、字段索引比较词法、向量和混合召回
表格问题很差PDF/表格解析、行列语义将表格转为结构化文本并保留表头/单位
用户间串资料租户过滤、缓存 key、共享索引的 ACL做跨用户负向测试,先鉴权再返回候选
更新后同时出现旧答案删除旧 chunk、版本 ID、缓存失效对文档更新流程做端到端回归
成本和延迟突然升高扩写、重排候选、上下文过长、重试循环按阶段记录 token、耗时和调用次数

8. 面试回答模板

“RAG 有离线和在线两条链路。离线负责解析、清洗、切分、元数据和索引;在线负责查询理解、权限过滤、混合召回、重排、上下文组装、生成和引用。评估时我会分开测解析质量、Recall@k/nDCG、重排、答案正确性/忠实度和产品延迟成本。如果效果差,先看证据是否被正确解析并进入候选,再判断是召回、排序、上下文还是生成问题,而不是先换更大的模型。”

来源依据

  • Raw sources/大模型官方课程-视频资料/2026最新大模型全套资料(持续更新)/②、大模型入门资料/MD文档/高级RAG技术.md
  • Raw sources/大模型官方课程-视频资料/2026最新大模型全套资料(持续更新)/⑤、大模型八股文面试题/24-大模型(LLMs)RAG 优化策略 —— RAG-Fusion篇.pdf
  • Raw sources/大模型官方课程-视频资料/2026最新大模型全套资料(持续更新)/⑤、大模型八股文面试题/13-基于langchain RAG问答应用实战.pdf
  • Raw sources/AI大模型RAG与Agent智能体项目实战开发/PPT/01提示词工程.pptx
  • 结合 RAG 课程资料、Python 文档解析示例和面试题库整理;原始文档不是生产级权限设计的替代品。

相关笔记

  • RAG检索增强生成
  • 幻觉评测与多模态面试题库
  • LangChain(资料整编)
  • RAG与Agent项目精选

原始来源文件

以下列出本篇整理所依据的代表性原件;同主题重复版本与完整状态请查阅 source-manifest.csv。

  • Raw sources/大模型官方课程-视频资料/2026最新大模型全套资料(持续更新)/②、大模型入门资料/MD文档/【大模型项目实战】使用RAG技术构建企业级文档问答系统之QA抽取,非常详细!(含开源代码).md
  • Raw sources/大模型官方课程-视频资料/2026最新大模型全套资料(持续更新)/⑤、大模型八股文面试题/17-大模型(LLMs)RAG 版面分析——表格识别方法篇.pdf

放弃未保存的修改?

有未保存的修改,离开会丢失这些内容。