KNOWLEDGE NOTE / AI · 评测

模型评测、幻觉与多模态

系统学习幻觉分类、评测指标与实验设计、多模态输入输出链路,以及可靠性与安全边界。

创建
2026年9月24日
更新
2026年10月15日

模型评测、幻觉与多模态

摘要

模型评测要对应真实任务,而不是只看单一榜单。幻觉可能来自知识缺失、训练噪声、提示歧义、检索错误或生成偏差;多模态评测还要分别检查各模态的感知与组合推理。

正文

1. 评测体系

评测前先定义目标用户、任务和失败代价。选择代表性测试集,记录模型版本、提示、参数和运行环境。常见方式包括自动指标、规则检查、模型辅助评审和人工盲评;每种方式都可能偏离实际使用效果。

建议分层看:

  • 能力:正确性、覆盖率、指令遵循、推理和格式合规。
  • 可靠性:事实依据、拒答、稳定性、鲁棒性和安全性。
  • 系统:延迟、吞吐、成本、失败率和可用性。
  • RAG:检索召回、引用准确、回答忠实和资料不足时的行为。

评测集要避免数据泄漏和过度贴合。高分只能支持对应测试范围内的结论,不能直接说明真实业务表现。

2. 幻觉的典型来源

幻觉指模型输出听起来可信、但缺乏事实依据或与来源不一致的内容。常见诱因包括训练语料噪声与偏差、数据重复、知识过时、问题含糊、上下文不足、错误检索、模型过度迎合以及采样不稳定。

3. 降低风险的方法

对重要事实接入可信、可更新的来源;让模型明确区分引用内容、推断和不确定性;检查检索来源是否相关且有权限;设计资料不足时拒答或澄清的路径;对高影响结论做独立校验或人工复核;用错误案例持续更新测试集。

这些方法只能降低风险,无法保证模型永不出错。

4. 多模态评测

图像、音频或视频任务通常经过输入预处理、模态编码、跨模态融合、模型推理和输出解码。评测时需分别验证输入质量、模态对齐、时间或空间信息、生成内容和失败处理。混合数据可能导致某一种模态主导判断,因此可用消融或对照样例定位贡献。

5. 多模态模型的组成方式

多模态模型的共同难点是把不同类型的数据变成模型能够联合处理的表示。常见架构可粗略分为三类:

  1. 外部模块编排:视觉、语音等专用模型各自处理输入,再由语言模型汇总。组件边界清楚,便于替换;但跨模态信息可能在模块之间丢失。
  2. 编码器加连接器:图像编码器提取特征,再通过投影层或 Q-Former(查询变换器)压缩、对齐后送入语言模型。视觉编码器和语言模型可以保持冻结,只训练连接器,降低适配成本。
  3. 统一或原生多模态建模:在统一模型或共享序列中处理多种模态,有机会支持跨模态理解与生成;训练数据、算力、模态对齐和安全评测要求也更高。

这些是架构思路,不代表每个具体模型都严格属于单一类别。实现细节和模型能力要看模型卡、技术报告与版本。

6. 图像、音频与视频的数据链路

图像与图文

视觉 Transformer(ViT)常将图片切成 Patch(图像块),再将图像块映射为序列特征。CLIP 通过图像—文本配对的对比学习,把相符图文拉近、不相符图文拉远,适合跨模态检索和表示对齐;它本身不等同于通用图像生成器。BLIP-2 的 Q-Former 路线把冻结的视觉编码器与语言模型连接起来,让少量查询向量从视觉特征中提取信息。DALL·E 和 Stable Diffusion 属于图像生成方向,不能与图像理解或图文检索模型混为一谈。

高分辨率图像需要更多视觉 Token 或分块处理,可能提高细节能力,也会增加显存与延迟。评测需关注物体识别、位置关系、图表/文字读取、细节遗漏、虚构物体以及不同分辨率下的稳定性。

语音与音频

语音识别(ASR)的一般处理链路包括音频采集、重采样或降噪、语音活动检测、特征编码和文字解码。较早的信号处理材料会讲分帧、加窗、短时能量、过零率和频域特征;现代端到端系统可能由神经网络直接学习更丰富的表示,但输入采样率、噪声、口音、专有名词和静音切分仍会影响结果。

产品评测除词错误率(WER)外,还应记录中文场景的字错误率(CER)、标点与数字规范、说话人变化、延迟、噪声环境、实时打断和失败重试。语音生成还要评价可懂度、自然度、韵律和说话人一致性。

视频与时间信息

视频可看作带时间顺序的图像帧与音频流。抽帧和片段采样决定了模型“看见了什么”;只分析少数关键帧可能遗漏动作顺序、短暂事件和因果关系。需要在样本中标注片段时间范围,单独评估事件识别、时序问答、字幕/语音对齐和长视频摘要,并明确允许的时间误差。

7. 多模态评测和风险控制

  • 建立按模态、任务和难度分层的测试集;原始媒体需有使用授权并保护个人信息。
  • 用单模态与多模态对照样例确认模型是否真正使用了图片或音频,而不是只凭问题中的文字猜答案。
  • 对视觉问答检查图中文字、相对位置、数量和否定词;对语音检查噪声、口音、数字、人名与不同说话人;对视频检查时间顺序和关键片段遗漏。
  • 用遮挡、静音、错配图文等消融测试找出模型依赖的模态。SHAP 等特征归因工具只能提供分析线索,不能单独证明因果解释。
  • 高风险场景保留人工复核和来源引用。多模态输入也可能包含提示注入、隐私信息或伪造内容。

8. 把“幻觉”变成可标注的问题

“幻觉”没有适用于所有研究和产品的唯一分类标准。实际评测时,先写清任务范围,再给每个错误指定一个主要故障环节和可选的次要标签。不要把所有不满意的回答都标成幻觉。

标签可操作定义例子主要排查位置
事实错误可核验的现实世界命题为假把论文年份、药物剂量或价格写错知识来源、时间、模型事实性
证据不支持在封闭材料问答中,结论不能由指定证据推出资料只写“可能”,回答改成“已经证实”检索、证据覆盖、生成忠实度
证据矛盾答案与给定来源直接冲突材料写“未通过”,回答写“通过”上下文定位、冲突处理、引用
引用错配引用不存在、页码错误,或来源虽存在却不支持对应句子给出真实报告链接,但该报告没说这项结论引用生成、句子—证据对齐
任务不忠实没回答用户实际要求,或违反约束用户要求只按上传合同回答,模型改用常识补条款意图理解、指令优先级、上下文
推理/计算错误前提可用但推导过程或计算结果错误数字引用正确,百分比计算错推理步骤、工具计算、单位与边界
感知错误图像、音频或视频中内容被漏看、误读或虚构把图表 0.8 看成 8.0;转写静音中不存在的话输入预处理、编码、模态对齐
检索/管道失败正确材料没有召回,或权限过滤错误召回旧版本、把其他用户资料放进上下文索引、版本、ACL、检索与组装

这些标签会重叠。例如“检索到旧政策”是检索/版本故障;如果模型把旧政策说成现行规定,最终用户看到的还会是事实性错误。标注时保留根因和外显结果两个字段,避免只统计一个笼统的“幻觉率”。创造性任务则用新颖性、约束满足和用户偏好评价;没有事实依据不必然是错误,前提是作品没有冒充事实报告。

9. 幻觉从哪里来:按系统链路定位

把模型当成唯一原因会漏掉大量可修复问题。建议按以下链路逐层排查:

  1. 任务定义和输入:问题含糊、前提错误、单位/时间缺失、用户把假设包装成事实,或多轮对话里约束已经失效。
  2. 训练和参数化知识:语料有噪声、版本过时、知识长尾稀疏、相似实体容易混淆。语言模型的训练目标是根据上下文预测后续 Token,不等于逐句查询一个可验证事实数据库。
  3. 上下文和检索:切分漏掉表格/脚注、召回不相关文档、权限筛选后证据不足、旧版与新版冲突、上下文过长导致关键句被忽略。
  4. 推理和生成:模型误读证据、把相关性当因果性、跨段拼接,或面对未知问题仍然猜测。采样随机性可能改变输出,但把温度调低并不能补齐缺失事实或保证答案正确。
  5. 评测与产品设计:只奖励答对、不奖励适当弃答;基准与真实流量不匹配;上线提示、检索源、工具权限或模型版本与离线测试不同。
  6. 多模态感知和对齐:图片分辨率/裁剪丢失关键信息、音频混响或切段错位、视频抽帧漏掉短事件、文本与媒体绑定错误。

因此,错误归因至少记录:用户输入、模型/提示版本、检索到的证据及其版本、工具结果、生成答案、人工标签、风险等级。只保留最终答案,很难判断该改数据、检索、提示、模型还是业务代码。

10. 幻觉缓解:从低成本手段到高风险控制

手段能解决什么不能保证什么适用说明
限定可信来源并保留版本减少陈旧或无关知识进入回答不能保证召回完整,也不能保证模型忠实使用证据法规、产品文档、企业知识库
先检索再回答并要求引用让结论更容易追溯,暴露缺证据的句子“有引用”不等于“引用支持结论”逐条核对引用覆盖率和引用正确性
明确允许“不知道”、澄清和弃答降低未知问题上强行猜测可能增加本可回答的问题的拒答同时测错误、覆盖率、弃答质量与用户损失
结构化输出和确定性校验检查字段、日期、金额、枚举和业务规则结构合法不等于事实真实金融/订单状态以权威业务系统为准
外部计算器、数据库、搜索或专用模型将精确计算、状态读取和最新资料交给合适工具工具本身可能错、过期、无权限或不可用对每个工具分别测试正确性、授权、超时与故障
双人/专家审核与升级流程在错误代价高时降低自动决策风险人也会错,且审核有成本与延迟医疗、法律、财务、身份/权限等高影响结论
回归集和线上监控发现版本升级后的退化及新型失败历史用例不能代表全部未来流量每次事故都脱敏后转成可重复测试

不能把多个模型彼此赞同当作独立事实核验:它们可能共享训练数据、提示偏差或同一错误前提。自一致性只是一种不确定性信号,不能证明真伪。模型置信度、Token 概率和“我很确定”等自然语言,也都不应直接当作经过校准的正确概率。

11. 评测指标:先写清对象、分母和取舍

11.1 基本分类指标

对于有明确正类定义的二分类任务:

  • 精确率(Precision)= TP / (TP + FP):被系统判为正的样本中,真正为正的比例。
  • 召回率(Recall)= TP / (TP + FN):所有真正为正样本中,被系统找出的比例。
  • F1 = 2 × Precision × Recall / (Precision + Recall):精确率与召回率的调和平均。

TP、FP、FN 必须结合业务定义。例如把“无依据陈述”设为正类时,误报会增加人工复核;漏报会让错误内容进入用户答案。类别不平衡时同时报告每类指标、宏平均和样本支持数,不能只给一个总体准确率。

11.2 幻觉、证据和弃答指标

  • 事实错误率 = 被判为事实错误的受评事实主张数 ÷ 实际受评事实主张数。一个回答含多条主张时,要先规定按“句子”还是按“可独立核验主张”计数。
  • 无依据主张率 = 不能被给定证据支持的主张数 ÷ 需要证据支撑的全部主张数。开放域回答没有指定证据时,不能套用封闭集忠实度定义。
  • 引用精确率 = 经核验支持对应主张的引用数 ÷ 被检查的引用数;引用覆盖率 = 有充分引用支持的关键主张数 ÷ 应引用的关键主张数。链接可打开不代表引用正确。
  • 覆盖率与选择性风险:覆盖率是系统选择回答的样本比例;选择性风险是这些已回答样本中的错误比例。允许弃答后应画出不同阈值下“覆盖率—错误率”曲线,不能只报弃答率。
  • 校准:在被系统估计为约 80% 可信的样本组里,长期正确率是否接近 80%。ECE(预期校准误差)按置信度分箱计算平均置信度与准确率之差的加权平均;结果受分箱和样本量影响,且生成模型的自报置信度未必可信。

11.3 通用任务与系统指标

  • 分类/选择题:Accuracy、Precision、Recall、F1、混淆矩阵;注意随机猜测、类别基线和开放集问题。
  • 抽取/短答案:Exact Match(完全匹配)、规范化后的 EM、Token/字符 F1;同义改写可能被字符串指标误判,中文还要讲清分词与标点规范。
  • 排序/检索:Recall@K、Precision@K、MRR、nDCG;只衡量检索阶段,不代表最终答案正确。RAG 细节见 RAG检索增强生成。
  • ASR(自动语音识别):WER = (S + D + I) / N,其中 S 为替换、D 为删除、I 为插入、N 为参考文本词数;CER 按字符计。中文任务要说明切词/规范化规则,不能把一个 WER 数字直接解释成“每句话有相同比例错误”。
  • 系统:P50/P95/P99 延迟、吞吐、超时率、重试率、单位任务成本、缓存命中率、可用性;平均值会遮住长尾,需按请求类型和流量条件分层。
  • 安全/隐私:越权成功率、敏感信息泄漏率、拒答正确性、注入攻击成功率、误拦率;攻击集只是已知攻击覆盖,不能证明系统免疫。

11.4 多模态指标必须对准模态任务

图像问答要分别测识别、OCR(光学字符识别)、计数、空间关系、图表推理、知识问题和拒绝虚构;音频除转写误差外还要测语种、口音、噪声、分段、时间戳、说话人和实时打断;视频要评测事件、先后关系、时间定位、音画同步和长视频遗漏。模型“总体分数”高,不代表低资源语种、弱光、稀有场景或危险对象识别也可靠。

12. 评测实验怎么做才可信

  1. 界定决策:这次评测要回答“选哪个模型、上线与否、哪类请求能自动答、改版是否变好”的哪一个问题?写明错误代价和容忍范围。
  2. 固定测试合同:记录样本来源、任务类型、标准答案/证据、标签规范、拒答条件、子群切片、数据版本和授权。由两名标注者试标,计算分歧并改进说明;争议样本保留裁决和理由。
  3. 分离开发集和保留测试集:开发集用于调提示/阈值;保留集不被反复优化。模型升级、提示更新和检索调整都要重新跑保留集,避免把测试集变成训练目标。
  4. 控制变量和留痕:固定或记录模型快照、系统提示、解码参数、工具和检索状态、代码版本、重试规则、环境、抽样种子。非确定性系统需多次重复或报告置信区间。
  5. 同时看总体与切片:按语言、任务难度、证据质量、媒体质量、用户类型、风险等级、来源和请求长度拆分;数据量太少的切片标注“不确定”,不把偶然的 100% 当保证。
  6. 使用多种评审而非一个裁判:规则适合格式和确定性边界;自动指标适合大规模趋势;模型裁判适合语义类初筛;人工评审用于歧义、高影响和裁判争议。抽样人工复核自动分数,做盲评、随机答案顺序和评分一致性分析。
  7. 离线通过后仍需线上观测:先小流量灰度或 A/B;测任务成功、用户纠错/重试、转人工、弃答、P95 延迟与成本等护栏指标。A/B 只有满足随机化、样本量、运行时一致等假设时才支持因果结论。
  8. 把事故转成回归样本:保留脱敏的输入、证据、预期行为、错误类型与严重性;不得把私人数据直接放进公共测试集或外部裁判。

基准污染和饱和:公开题目可能出现在训练语料中,也可能被模型或产品团队间接优化;模型在题目上的高分因此不等同于对新问题的迁移能力。可使用时间切分、私有保留集、近重复检测、扰动/对抗样本和真实任务样本,但每种方式都有边界。HELM 的重要启发是按多个场景和维度共同报告,并披露未覆盖范围;它本身也不是所有产品效果的最终裁判。

13. 图像、音频和视频:端到端数据链路

13.1 图像与图文输入

典型理解路径可表示为:

图片解码与校验 → 缩放/切块/高分辨率处理 → 视觉编码器 → 投影/连接器/查询压缩 → 与文本 Token 对齐 → 多模态模型理解或问答 → 文本/结构化输出

  • Patch/视觉 Token 把图像变成模型可处理的序列;高分辨率、多图和裁剪可增加细节,也会增加 Token、显存和延迟。切块策略可能漏掉全局关系,低分辨率可能看不清小字。
  • CLIP 的核心是图像编码器与文本编码器通过图文配对的对比学习得到可对齐表示,擅长图文匹配/检索或零样本类别打分;它不是通用的图像描述生成模型。
  • BLIP-2 使用冻结图像编码器、可学习 Query 向量组成的 Q-Former 和冻结语言模型。Q-Former 在两阶段预训练中提取并桥接视觉信息;这只是一个具体架构,不等于所有视觉语言模型都使用 Q-Former。
  • 图像输出路径取决于系统:可以是模型输出文本指令,再交给单独的图像生成模型;也可以通过视觉/图像 Token 生成。不能仅凭“多模态模型”四个字断定模型具备图片生成或像素级编辑能力。

图像专项测试:准备看得清/看不清、裁剪前后、不同分辨率、图表数字、相近物体、数量/方位、否定词、图片与文字冲突、含敏感个人信息、图中隐藏指令等用例。设置“图片无法辨认时应说明限制”的正确答案,不把模型猜中当稳定能力。

13.2 音频与语音

分离式识别路径:音频采集 → 采样率/声道/格式校验 → 降噪或 VAD(语音活动检测)→ ASR 转写(可附时间戳/说话人)→ 文本 LLM 理解 → 文字回答;如要语音回复,再走 TTS(文本转语音)/音频编码与播放。模块可单独替换和评估,但会引入串联延迟、错误传播和文本丢失的韵律/声学信息。

音频原生路径:音频被编码为模型可消费的声学 Token 或其他表示,模型可以直接理解语音、环境音和文本,也可能产生音频/文本交错输出。实际的切块、流式、时间对齐、语音活动处理和音频 Token 规范因模型/接口而异,不能把某一家 API 结构说成统一标准。

ASR 常见错误包含替换、漏词、无中生有地插入内容、数字/专名错误、时间戳错位和说话人混淆。检查可回听的原音频,不能只看转录文本是否通顺;WER/CER 还需固定文本归一化规则。背景声音或口音对不同群体的影响要分层测量。

13.3 视频和时间维度

典型视频理解路径:视频解码、时间戳/帧率/音轨读取 → 按策略抽帧或切片 → 视觉帧编码;音频可并行转写/编码 → 对齐时戳 → 融合并回答 → 返回带时间段的描述或摘要。若只是稀疏抽帧,模型没有看到的瞬间不能靠“常识”补成事实;关键动作、短暂目标和先后关系最容易漏。

视频生成也有不同方案,例如文本规划后调用图像/视频生成器,或生成时序视觉 Token/潜变量再解码为帧;具体实现取决于产品。评测摘要时要检查事件有没有发生、顺序是否正确、人物/物体是否一致、起止时间是否准确、无声片段/音画冲突如何处理,并记录采样策略和最长时长。

14. 多模态可靠性与安全

  • 隐藏指令与提示注入:图片里的文字、文档截图、音频口述、视频字幕或网页均可能含有恶意指令。媒体是待分析的数据,不自动拥有更高指令权限;尤其不能让从图像/OCR/ASR 得到的文字覆盖系统或开发者安全约束。
  • 授权和工具:模型的识图结论不能证明用户身份或授权。付款、删除、发信、公开发布等副作用要由服务端按用户权限、参数白名单、重复提交保护和必要的人工确认控制。
  • 隐私与同意:面部、声音、车牌、医疗单据、会议内容等可能含个人信息。收集前确认目的、授权与保存期限;日志与评测集做最小化和脱敏,不把媒体上传到未经批准的外部裁判。
  • 公平和鲁棒性:按口音、语种、环境噪声、肤色/场景照明、遮挡、设备、年龄等有正当依据的切片测试;总体均值不能遮住特定人群的高错误率。
  • 来源和真实性:对深度伪造、合成语音和编辑图像保持谨慎;水印/来源标记可提供线索,但检测器会有漏报和误报,不能当作真实性证明。
  • 人工介入:设置明确的置信/风险触发条件、审核队列、紧急停止、升级联系人和事后复盘。人工审查要有上下文和原媒体,不能只审模型总结。

NIST 的生成式 AI 风险画像将 Confabulation(虚构/幻觉)、数据隐私、信息完整性与安全等作为需要在生命周期中治理和测量的风险;这是自愿风险管理框架,不是“做完清单就安全”的认证。

15. 一页评测记录模板

text
评测名称/决策:
系统版本(模型、提示、代码、检索索引、工具):
目标用户和允许/禁止用途:
数据来源、授权、脱敏和时间范围:
样本量;开发/保留集;类别与风险切片:
正确答案/证据/弃答条件与标注指南:
主指标及分子/分母:
护栏指标(过度拒答、隐私、越权、延迟、成本):
人工/规则/自动裁判流程和一致性:
结果、置信区间、失败例和未覆盖范围:
上线阈值、灰度比例、回滚条件、责任人:

实际核读来源与范围

  • 原始《大模型(LLMs)幻觉面》4 页全文:作为错误分类、上下文冲突与检测思路线索;对“靠多次采样的一致性可判真”“某种采样算法能抑制事实错误”等内容降级为研究假设,不当成确定性方案。
  • 原始《大模型(LLMs)评测面》2 页全文与《多模态常见面试题》2 页全文:仅作旧面试题面盘点。里面的基准是否适用、榜单方法和模型列表需要按年代、数据集和真实任务重新解释;SHAP/Permutation Importance 不能单独证明模态因果贡献。
  • 《基准测试(Benchmark)》8 页全文文本层核读;《DeepSeek与AI幻觉》32 页中重点核读第 8–13、17–26 页;语音识别技术材料 5 页全文核读。逐页状态、重复版本和具体弃用说法见 导入范围与来源矩阵。
  • 《2026 多模态大语言模型技术发展报告》74 页中的物理页 14–18、31–38、51–56、60–61、65–66 作选读。报告用于技术脉络/术语导航;对其未链接原始证据的模型排名、预测、商业效果和“主流/革命性”结论不作事实依据。
  • 《多模态大模型:技术原理与实战》302 页,本轮仅盘点文件与页数,没有全文阅读,未作为本篇事实来源。无视频文件处理。
  • 论文与风险框架:TruthfulQA、HELM、Why Language Models Hallucinate、NIST AI 600-1、Whisper、CLIP、BLIP-2 和 AHELM;论文适用范围与具体局限按论文原文,不将一个基准外推成全行业排名。

相关笔记

  • 大模型基础原理
  • RAG检索增强生成
  • 评测幻觉与多模态
  • 幻觉评测与多模态面试题库
  • 大模型面试精选

参考资料

原始来源文件

以下列出本篇整理所依据的代表性原件;同主题重复版本与完整状态请查阅 source-manifest.csv。

  • Raw sources/002.大模型面试合集202605161/31-LLM-Interview-Plus/多模态常见面试题.pdf
  • Raw sources/002.大模型面试合集202605161/大模型(LLMs)幻觉面.pdf

放弃未保存的修改?

有未保存的修改,离开会丢失这些内容。