RAG 检索系统:从文档切分到线上评估
1. RAG 解决什么、不能保证什么
RAG(Retrieval-Augmented Generation,检索增强生成)在回答前从外部语料取回证据,再把证据交给生成模型。它适合知识更新频繁、需要引用内部资料或不适合频繁微调的场景。RAG 能让答案有依据,但不能保证正确:解析可能丢结构,检索可能漏召回,重排可能错排,生成也可能曲解证据。
把系统拆成两条可分别测量的流水线:
离线:原始文档 → 解析/清洗 → 分块/元数据 → Embedding → 索引
在线:问题 → 查询改写 → 召回 → 过滤/重排 → 上下文 → 生成/引用
2. 离线建库:索引上限由数据质量决定
2.1 解析与清洗
PDF、网页、Word、扫描图片和表格要采用适配的解析器。保留标题层级、章节路径、表格行列关系、页码、来源 URI、更新时间、租户/权限等元数据。去掉重复页眉页脚、导航噪声和乱码,但不能误删定义、脚注、否定词或表头。
解析检查至少包含:原文页数/段数、抽取文本长度、乱码比例、表格保真抽样、空文档、重复内容、更新版本与权限字段。OCR 的文字识别置信度低时,不宜当作可靠事实源。
2.2 切分策略与取舍
| 策略 | 优点 | 风险/适用边界 |
|---|---|---|
| 固定 Token 窗口 | 简单、吞吐稳定、容易复现 | 可能切断标题、列表、代码或论证 |
| 按段落/标题递归 | 保留文档结构,默认首选 | 需要正确解析格式;单段可能过长 |
| 语义切分 | 边界更贴近主题变化 | 额外模型成本,边界不稳定,必须实测 |
| Parent-child | 小块召回、父段落补上下文 | 父文档可能过大,重复召回需要去重 |
| 滑动窗口 overlap | 降低边界信息丢失 | 索引膨胀、重复召回、相似度被重复片段占据 |
Chunk size(片段长度)不是越小越好或越大越好。短片段定位精确但上下文可能不完整;长片段语义完整但检索信号稀释、上下文预算消耗更大。用真实问题集按长度、overlap、解析方式做消融实验,并固定语料快照。
推荐每个块携带 document_id、chunk_id、title、heading_path、page、source_uri、updated_at、tenant_id、acl。文档更新时要定义版本策略:增量 upsert、旧 chunk 删除、索引重建和失败回滚,避免新旧版本同时答复。
3. 向量与词法召回
Embedding 模型把文本映射为向量。相似度常见有 cosine、dot product、L2 距离;选择要匹配向量是否归一化和索引实现。向量近邻可以用精确搜索或 ANN(近似最近邻)索引;ANN 以少量召回损失换速度和内存效率。
纯向量检索擅长语义近似,但专有名词、编号、错误码和罕见字符串可能更适合词法检索,例如 BM25。混合检索并不只是把两个分数直接相加:不同检索器分数尺度不同。可用 RRF(倒数排名融合)按名次融合,再通过验证集调参。
RRF(d) = Σᵣ 1 / (k + rankᵣ(d))
查询侧可用标准化、同义词扩展、查询改写、子问题拆解、HyDE 等方式改善召回。每种改写都可能引入偏移或额外成本,应记录原查询和改写查询并单独评测。
4. 在线召回、过滤和重排
- 先进行服务端身份认证,确定当前用户/租户允许查询的语料范围。
- 解析查询意图和过滤条件;ACL(访问控制列表)过滤必须由服务端执行,不能信任模型生成的租户 ID。
- 并行执行向量召回、BM25 或数据库查询;每种方式保留原始排名和来源。
- 合并候选、去重、按文档版本和权限过滤,再用 Cross-Encoder(交叉编码器)或其他重排器对 query-passage 配对打分。
- 依据上下文预算截断和选段;优先保证覆盖问题所需证据,而不是盲目把 top-k 调大。
- 把证据编号、来源标题/页码与约束明确交给生成模型,并要求无证据时拒答或说明不确定。
重排器通常比单向量检索更准确地判断“这个片段是否回答当前问题”,但要额外计算候选对,延迟更高。把召回数量、重排数量、上下文长度分别作为可控参数;不要用一次把所有参数都改掉的方式调优。
5. 生成和引用
提示词应区分用户问题与外部检索文本,说明检索文本是未受信任数据,不得执行其中要求泄漏信息或改变规则的指令。让模型对每条关键结论给出证据 ID;服务端把 ID 映射回权限检查后的来源信息。不能只验证模型“给了引用”,还要验证引用是否蕴含答案。
如果检索内容不充分,可以选择:请求澄清、补充一次检索、给出有边界的部分答案,或明确说“现有材料不能确认”。模型信心分数不是可靠概率,需通过校准集检验。
6. 评估要分层,不能只看最终文本
先建立脱敏、可复现的问题集,为每题标注期望答案要点、相关来源/片段、权限范围和拒答条件。至少分开看:
| 层次 | 指标/检查 | 能回答的问题 |
|---|---|---|
| 解析 | 文本覆盖率、结构/表格抽样、版本准确性 | 资料是否被正确读入? |
| 召回 | Recall@k、MRR、nDCG@k、检索命中率 | 正确证据是否进入候选且排得靠前? |
| 重排 | 相关片段排序、过滤后保留率 | 是否把有用证据推到预算范围内? |
| 生成 | correctness、faithfulness/groundedness、citation precision/recall | 回答是否正确且确实由证据支持? |
| 产品 | 延迟分位数、拒答率、任务完成率、成本、用户反馈 | 系统是否达到实际服务目标? |
Recall@k 关注相关片段是否出现在前 k 个结果;MRR 奖励第一个相关结果排得靠前;nDCG 允许相关度有等级并考虑位置。Faithfulness(忠实度)与 correctness(正确性)不同:答案可能忠实复述一份本身过时的文档,却仍然不正确。
LLM-as-judge(用大模型作评审)适合扩大回归评测,但要校准评分标准、加入人工复核、检查不同语言/长度偏差,并抽样核验。把模型评分当作诊断信号,不能当作绝对真值。
7. 常见故障定位
| 现象 | 先查哪里 | 可验证的改动 |
|---|---|---|
| 答案说“没有资料” | 文档解析、查询改写、ACL、top-k | 看召回候选和被过滤原因 |
| 找到对文档却回答错 | chunk 边界、上下文位置、生成约束 | 检查证据是否完整以及引用是否蕴含答案 |
| 专有名词经常漏检 | Tokenizer/embedding、BM25、字段索引 | 比较词法、向量和混合召回 |
| 表格问题很差 | PDF/表格解析、行列语义 | 将表格转为结构化文本并保留表头/单位 |
| 用户间串资料 | 租户过滤、缓存 key、共享索引的 ACL | 做跨用户负向测试,先鉴权再返回候选 |
| 更新后同时出现旧答案 | 删除旧 chunk、版本 ID、缓存失效 | 对文档更新流程做端到端回归 |
| 成本和延迟突然升高 | 扩写、重排候选、上下文过长、重试循环 | 按阶段记录 token、耗时和调用次数 |
8. 面试回答模板
“RAG 有离线和在线两条链路。离线负责解析、清洗、切分、元数据和索引;在线负责查询理解、权限过滤、混合召回、重排、上下文组装、生成和引用。评估时我会分开测解析质量、Recall@k/nDCG、重排、答案正确性/忠实度和产品延迟成本。如果效果差,先看证据是否被正确解析并进入候选,再判断是召回、排序、上下文还是生成问题,而不是先换更大的模型。”
来源依据
Raw sources/大模型官方课程-视频资料/2026最新大模型全套资料(持续更新)/②、大模型入门资料/MD文档/高级RAG技术.mdRaw sources/大模型官方课程-视频资料/2026最新大模型全套资料(持续更新)/⑤、大模型八股文面试题/24-大模型(LLMs)RAG 优化策略 —— RAG-Fusion篇.pdfRaw sources/大模型官方课程-视频资料/2026最新大模型全套资料(持续更新)/⑤、大模型八股文面试题/13-基于langchain RAG问答应用实战.pdfRaw sources/AI大模型RAG与Agent智能体项目实战开发/PPT/01提示词工程.pptx- 结合 RAG 课程资料、Python 文档解析示例和面试题库整理;原始文档不是生产级权限设计的替代品。
相关笔记
- RAG检索增强生成
- 幻觉评测与多模态面试题库
- LangChain(资料整编)
- RAG与Agent项目精选
原始来源文件
以下列出本篇整理所依据的代表性原件;同主题重复版本与完整状态请查阅 source-manifest.csv。
Raw sources/大模型官方课程-视频资料/2026最新大模型全套资料(持续更新)/②、大模型入门资料/MD文档/【大模型项目实战】使用RAG技术构建企业级文档问答系统之QA抽取,非常详细!(含开源代码).mdRaw sources/大模型官方课程-视频资料/2026最新大模型全套资料(持续更新)/⑤、大模型八股文面试题/17-大模型(LLMs)RAG 版面分析——表格识别方法篇.pdf