KNOWLEDGE NOTE / AI · 面试

大模型训练微调与对齐面试题库

训练数据、CPT、SFT、LoRA/QLoRA、RLHF、PPO、DPO、显存与故障排查的详细问答。

创建
2026年9月24日
更新
2026年10月15日

大模型训练微调与对齐面试题库

使用方法

这份题库不是让你逐字背答案。面试时建议先用 30–60 秒回答核心定义,再通过数据格式、损失、资源代价、评估和失败案例展开。把“我实际做过”“我读资料理解”“如果设计会这样验证”区分开,不要把课件里的跑分或他人项目说成自己的经历。

与 大模型训练微调与对齐 配套:教材按知识顺序解释;这里按面试问题复习。

一、训练阶段与数据目标

1. 预训练、继续预训练、SFT 和偏好优化有什么区别?

参考回答

  • 预训练(Pretraining)用大规模文本或多模态数据学习通用表示与预测能力,常见语言模型目标是预测下一个 Token。
  • 继续预训练(CPT)从已有底座继续使用无监督或自监督语料训练,使模型适应新的领域分布、术语和表达方式。
  • 监督微调(SFT)用提示/输入与理想输出样本,使模型提高目标回答序列的条件概率,重点是任务、指令和格式。
  • 偏好优化使用同一提示下的回答偏好或奖励信号,调整候选回答的相对倾向,例如让更有帮助或更符合安全标准的回答优先。

它们可使用相似的神经网络和 Token 预测损失,但数据监督信号与优化目的不同。不能因都叫“训练”就视为同一阶段。

追问:知识应该放在哪个阶段?

大规模通用知识主要来自预训练;领域术语和语料分布可通过 CPT 适配;SFT 也可能从答案样例中学到事实或操作步骤,但小规模样例不是可精确更新、可追溯的知识库。常更新、要求引用证据或必须读取私有资料时,优先评估 RAG;不要把“训练能注入知识”说成 SFT 不能学任何知识,或把 CPT 说成能保证记住每条事实。

易错点

“预训练学知识、SFT 只学格式、RLHF 只学价值观”是便于记忆的概括,不是严格边界。数据内容、目标和训练流程会交叉。

2. 什么是 CPT?什么时候值得做,而不是直接做 SFT?

参考回答

CPT 是在预训练底座上继续用领域文本做下一个 Token 等自监督训练。它适用于有足够多、质量合格、许可清晰的领域语料,并且希望模型适应领域词汇、文本分布或基础语言模式的情况。训练前应先确认检索、提示和少量 SFT 是否无法达到目标,因为 CPT 需要较多 Token、训练资源和验证工作。

数据应做来源追踪、清洗、去重、质量抽样和隐私/许可审查;训练时监控领域验证损失、通用能力、安全边界和下游任务,而非只观察训练 loss。领域语料过窄或学习率/训练量过大,可能让模型对原分布能力下降。

追问:领域知识什么时候用 RAG?

内容经常变化、需要给出来源、文档属于私有资料或需要按用户权限过滤时,先检索再生成通常更合适。CPT 改变模型参数和领域分布,知识更新不够可追踪;RAG 让外部文档可更新、可引用,但依赖解析、切片、检索和权限链路质量。

易错点

不存在所有领域都通用的最低数据量或领域/通用固定混合比例。课程里出现的 GB/B Token 数和 1:5 等比例是特定背景下的经验,不应直接当作面试中的普遍结论。

3. SFT 样本怎么组织?为什么不能只把问答文本拼起来?

参考回答

一条指令样本通常至少要表达角色/指令、可选上下文和目标回答。多轮对话需要保持角色顺序、轮次边界、工具调用格式和停止标记;使用 Chat 模型时应遵循其对应的聊天模板和特殊 Token,而不是把普通字符串格式随意替换。

训练前需明确哪些 Token 参与损失。常见做法是将用户/系统消息作为条件输入,对 assistant 目标回复计算 loss;但也有训练配置对其他字段施加损失,因此必须检查数据整理代码和标签掩码。

质量检查包括:回答是否正确、指令是否清楚、任务类型是否有代表性、是否存在重复/矛盾/泄漏、格式是否与部署模板一致、长尾能力是否被多数类压制。多任务数据应按目标覆盖和验证结果平衡,不按简单“每类条数相等”机械采样。

追问:模型为什么会学会复述用户问题?

常见原因是标签构造错,把输入提示也作为预测目标;或者样本里 assistant 目标本身是复述;还可能是模板边界错、损失掩码错。应抽取数条完整的 Token 化样本,逐位置检查输入、标签、角色标记和 loss mask,而不是仅看原始 JSON。

4. 什么是 Teacher Forcing?训练时的答案右移为什么不等于“偷看答案”?

参考回答

自回归模型预测序列 $x_1,\ldots,x_T$ 的联合概率可以按链式法则写为:

$$ P(x_1,\ldots,x_T)=\prod_{t=1}^{T}P(x_t\mid x_{<t}) $$ 训练时可将输入与目标错开一位:输入 $[x_1,x_2]$,标签为 $[x_2,x_3]$。Teacher Forcing 指每个位置使用数据中的真实历史 Token 作为前缀。因果掩码禁止位置 $t$ 读取 $t$ 之后的输入,因此不会通过注意力看到未来标签。所有位置的前向计算可以并行完成。

若目标位置的损失掩码为 $m_t$,可写成:

$$ \mathcal{L}=-\frac{\sum_t m_t\log p_\theta(x_t\mid x_{<t})}{\sum_t m_t} $$ 这表示只对有效目标位置计算平均负对数似然。推理时后缀未知,模型要把自己生成的 Token 接回输入,所以训练与推理的前缀分布不同。

追问:SFT 的用户问题算不算损失?

没有一条跨所有框架的统一规则。常见聊天 SFT 会屏蔽 system/user 输入,只对 assistant 输出计算 loss;有的格式或任务会有其他目标。应明确采用的训练模板和 mask。

5. 如何构建可信的训练集、验证集和测试集?

参考回答

训练集用于梯度更新;验证集用于模型选择、超参数调整和早停;测试集尽量在方案定稿后做最终评估。如果根据测试反馈反复调方案,测试集事实上也变成了验证集。

切分不能只对单条问答随机打散。如果同一来源文档、用户、对话、模板生成的近重复样本同时落在训练集和测试集,指标会因泄漏而偏高。可先按文档/用户/对话/时间段/任务簇划分,再检查近重复。公开基准要考虑预训练语料可能已包含测试题造成的污染。

追问:合成数据怎么处理?

合成样本需追踪生成模型和提示版本,检查事实、覆盖、重复、偏差与许可,再抽样人工复核。模型最不确定的样本不一定最有价值,也可能是问题错、答案差或输入异常;需要把“不确定性筛选”和“样本质量审核”分开。

易错点

训练 loss 下降不等于泛化提高。所有划分和评估集必须与训练样本来源隔离到足以代表实际部署。

6. 微调数据质量和数据量哪个更重要?怎么做主动选样?

参考回答

质量、覆盖和数量共同起作用,没有一个固定排序适用于所有任务。少量高质量数据可能让小范围格式任务很快收敛;复杂任务、领域长尾和多轮场景往往需要更多有代表性的样本。真正判断应通过样本量曲线:固定验证集,分阶段增加训练数据,记录效果、成本和误差变化。

主动选样可以结合覆盖度与不确定性:先发现欠覆盖的任务簇或长尾类别,再选模型不确定的候选让人工标注;之后做答案质量检查、去重和验证集评估。语义聚类、TF-IDF、困惑度或分类器分数都是筛选信号,不是样本正确性的证明。

追问:为什么只选低概率样本可能适得其反?

模型可能对高质量难题不确定,也可能对错误标签、乱码、分布外样本不确定。若只根据不确定度加大训练,这些噪声会被反复学习。因此还要评估样本价值、质量、难度和安全性。

7. 全参数微调和 PEFT 的区别是什么?

参考回答

全参数微调更新底座大部分或全部权重,适配自由度较大,但要为权重、梯度、优化器状态和激活付出训练成本,多个任务还可能各存一份大权重。

PEFT 是参数高效微调方法的总称:冻结大部分底座,只训练少量增量参数、软提示或选定参数。它减少训练参数相关的梯度、优化器状态和增量存储,但底座仍要参与前向计算,激活和权重仍占显存。它可能降低灾难性遗忘风险,但不保证效果等同全参微调,也不能保证训练时间必然更短。

追问:如何公平比较?

固定底座、数据切分、目标 Token 数、训练预算、验证集和推理配置,同时记录可训练参数量、显存峰值、吞吐、适配器文件大小和任务质量。否则把不同模型、数据和评估指标的分数放一起没有说服力。

8. LoRA 的核心思想和参数量如何计算?

参考回答

对底座权重 $W_0\in\mathbb{R}^{d_{out}\times d_{in}}$,LoRA 冻结 $W_0$,用低秩矩阵表示更新:

$$ W'=W_0+\frac{\alpha}{r}BA $$ 其中 $A\in\mathbb{R}^{r\times d_{in}}$,$B\in\mathbb{R}^{d_{out}\times r}$,rank $r$ 小于原矩阵维数,$\alpha$ 是缩放参数。原矩阵需要 $d_{out}d_{in}$ 个参数;LoRA 需 $r(d_{in}+d_{out})$ 个。

例:单个 $4096\times4096$ 权重矩阵有 16,777,216 个参数;rank 8 的 LoRA 需要 $8(4096+4096)=65,536$ 个可训练参数,约占该矩阵的 0.39%。若投影到多个层/矩阵,总训练参数要把所选模块逐一求和。

LoRA 常用 A 随机、B 为零初始化,使初始增量为零;训练后可以保存为小型 Adapter,与兼容底座一起加载,也可将更新矩阵合并进底座权重。

追问:LoRA 为什么可能降低训练显存?

冻结底座后,不需为底座参数保存梯度和 Adam 优化器状态,只需为 LoRA 增量保存相应训练状态;但是底座前向和梯度传递仍需激活与计算,因此不会只占 Adapter 那一点参数的内存。

9. LoRA 的 rank、alpha、目标模块和合并如何取舍?

参考回答

rank 控制低秩更新的表达容量;alpha 控制更新缩放;目标模块决定哪些底座矩阵可以改变。更大 rank 或更多目标层可能增加表达能力,但也提高训练参数和资源,并可能过拟合。应按任务大小、数据多样性和算力做小规模验证,不照抄某题库的“rank 4–8 必然最优”。

合并可以把低秩增量加回原权重,部署时减少独立分支计算;独立保存则便于在多个任务间切换 Adapter。一个服务采用多 Adapter、是否能叠加合并以及数值精度影响都需按模型框架验证。

易错点

LoRA 的“低秩”不是说它只能改变文风或绝不改变知识;是否能学到目标内容取决于底座、数据、目标层、rank 和训练。也不要声称 LoRA 对推理永远零开销:合并前的独立分支可能增加计算。

10. QLoRA 和 LoRA 有什么区别?4 bit 是否代表总显存只有四分之一?

参考回答

LoRA 通常在未量化或其他精度的冻结底座上训练低秩 Adapter;QLoRA 把冻结底座量化存储,并把梯度传过量化底座去更新 LoRA Adapter,而不是更新量化底座参数。原始 QLoRA 工作包含 NF4、双重量化、分页优化器等设计。

4 bit 主要描述某些底座权重的存储精度,不涵盖所有开销。实际显存还包括量化尺度、Adapter、优化器状态、激活、临时张量、缓存和框架开销。长上下文或大批次仍可能 OOM。QLoRA 降低权重占用,不能保证对任意任务无精度差异或在任何 GPU 上都能训练。

11. Adapter、Prompt Tuning、Prefix Tuning 和自然语言 Prompt 有什么差别?

参考回答

  • Adapter 在 Transformer 层内插入小型可训练瓶颈模块,推理时若不合并/优化可能增加额外计算。
  • Prompt Tuning 冻结底座,在输入端学习连续的软 Token 向量。
  • Prefix Tuning 学习可注入多个注意力层的前缀表示,常与各层 K/V 状态相关。
  • P-Tuning/P-Tuning v2 是带提示编码器或深层提示等设计的不同方法,不应都混称为 Prompt Tuning。
  • Prompt Engineering(提示词工程)是人工设计自然语言提示,不通过梯度训练新参数。

Adapter、Prompt Tuning、Prefix Tuning 和不同版本的 P-Tuning 会训练新增模块或软提示参数,因此可归入 PEFT(参数高效微调)方法;自然语言 Prompt Engineering(提示词工程)只改输入文本,不训练参数,不属于 PEFT。可训练对象、参数注入位置、计算与上下文开销不同。旧课件中对方法的历史版本总结不能替代具体库/模型的当前实现说明。

12. 什么时候选 Base 模型或 Chat 模型做 SFT?何时选训练而非 RAG?

参考回答

Base 模型更接近预训练续写目标,适合希望从基础模型构建训练流程、且有足够数据和资源控制行为变化的场景。Chat 模型已经具备指令格式和对话行为,适合在有限资源下围绕已有聊天能力做有边界的适配;训练时要保留其正确聊天模板与停止标记,避免重复叠加模板。

选择仍取决于底座质量、许可、数据量与质量、目标行为以及期望保留的已有能力,不可仅用“低于某个样本数选 Chat”作硬规则。

知识频繁更新、私有、需要来源引用的内容优先试 RAG;稳定格式、语气、任务策略或行为流程优先试 Prompt/SFT/PEFT。做选择前先比较不训练基线,避免为能用提示解决的问题承担训练与维护成本。

13. 什么是灾难性遗忘?微调后模型变差怎么排查?

参考回答

灾难性遗忘是模型适配新任务后,原有能力在一些任务上显著退化。原因可能包括训练数据过窄或重复、更新过强、训练步数过多、模板和标签错误、学习率偏大、训练分布与原分布冲突。

先用固定的领域、通用、安全和格式测试集对比基线,定位是哪些能力退化;再检查数据重复/覆盖、掩码/聊天模板、学习率、训练轮次、过拟合和评估一致性。可能的缓解手段包括降低更新强度、早停、混入高质量通用回放数据、使用 PEFT 或约束更新,但每项都要验证,不能承诺完全避免遗忘。

追问:SFT 后模型为什么会重复训练答案或只会一种格式?

检查模板单一、目标答案高度重复、损失只覆盖某种格式、类别比例极不平衡、训练轮次过多,以及部署时的解码参数。扩大数据量不一定有用,关键是增加有效覆盖与修正监督信号。

14. 全参数微调大概需要多少显存?如何避免报一个误导的数字?

参考回答

显存至少分成参数权重、梯度、优化器状态、激活、临时工作区和通信/框架缓存。以混合精度加 Adam 类优化器为例,权重可能以低精度保存,Adam 的一阶/二阶状态常以 FP32 保存,某些配置还保留 FP32 主权重;因此可训练参数状态的粗略估算可能落在每参数十几字节量级,另需为激活和临时张量留空间。

以参数量 $P$ 作第一步估算时,可把 $P \times$ 每参数状态字节数作为权重/梯度/优化器的粗估,再单独估计激活。峰值还受序列长度、微批大小、精度、优化器、梯度检查点、分片/offload、并行策略、内存碎片和内核影响。

追问:为什么不直接回答 7B 一定需要多少 GB?

因为“7B”只告诉参数规模,没给训练精度、优化器、最大长度、批大小、是否全参、激活策略和分布式设置。应先问清假设,给范围与计算分项,再通过实际 profiling(性能分析)校准。不要重复“每 1B 参数恒需 16–20GB”这类脱离配置的固定结论。

15. Batch size、梯度累积、学习率和 Warmup 如何解释?

参考回答

在常见数据并行下,有效批次近似为每卡批次 × 设备数 × 梯度累积步数。梯度累积把多个微批梯度累加后再更新,降低每次前向的显存峰值,但每次优化更新仍然聚合这些 Token 的梯度。应同时记录有效 Token 数,不只记录样本条数。

Batch size 影响梯度估计噪声、并行利用率、通信和每次更新规模。较大批次未必总更好,较小批次也不必然“只有噪声”。学习率控制更新幅度;Warmup 在训练初期逐步提高学习率,之后常按计划衰减。两者都要结合底座和验证结果,课程里的数值不是普遍默认值。

追问:训练 loss 突刺如何排查?

先保存检查点和日志,定位突刺发生的数据段和训练状态;检查异常长/损坏样本、标签右移或掩码、学习率曲线、梯度范数、混合精度溢出/下溢、优化器状态和恢复训练进度。先用固定小批次重放,区分数据、数值与系统问题。不能仅凭一个旧理论断定是 Adam 某超参数导致,也不要未经验证就丢弃整个数据段。

16. 请完整介绍经典 RLHF 流程。

参考回答

经典 RLHF 流程通常从 SFT 模型开始:

  1. 收集 Prompt 与人工示范答案,对预训练底座做 SFT。
  2. 对每个 Prompt 从模型采样多个回答,由标注者排序或成对比较。
  3. 用偏好比较训练奖励模型,奖励模型对 Prompt-回答输出标量分。
  4. 策略模型根据 Prompt 采样回答,奖励模型评分。
  5. 使用 PPO 等强化学习算法更新策略,并常用 KL 惩罚限制它偏离冻结参考策略过远。
  6. 在与训练分离的数据上评估有用性、事实性、安全性和用户偏好。

这是方法范例而不是唯一 RLHF 定义。风险包括标注标准不一致、奖励模型外推错误、模型针对奖励投机、策略过度偏离参考模型和在线采样成本。

追问:为什么 KL 约束有用?

如果策略只最大化奖励模型分数,可能找到利用 RM 缺陷的输出。KL 约束惩罚策略分布相对参考策略的偏离,帮助控制更新范围;惩罚过强可能限制学习,过弱则可能增大漂移。它只是稳定性和分布约束的一种手段,不能替代独立评估。

17. 奖励模型如何训练?其分数代表真实质量吗?

参考回答

对同一 Prompt 的优选回答 $y_w$ 和较差回答 $y_l$,奖励模型输出 $r_\psi(x,y)$。常见成对排序目标是:

$$ \mathcal{L}{RM}=-\log\sigma(r\psi(x,y_w)-r_\psi(x,y_l)) $$ 这促使优选答案分数更高。标注数据常来自同一提示下的多个候选回答排序或成对比较。模型可从 SFT 模型初始化,并以标量头输出奖励;但具体架构、数据与训练方式依实现而异。

RM 分数是学到的偏好代理,不是事实正确概率或客观质量分。它会继承标注偏差,可能在训练分布外不可靠,也可能被策略利用。需要通过人工抽查、独立任务评估和对抗性案例评估。

18. PPO 在 RLHF 中做什么?什么是 clipped objective?

参考回答

PPO 是策略梯度强化学习算法,不等于整个 RLHF。语言模型中,已生成前缀可视为状态 $s_t$,下一个 Token 是动作 $a_t$。新旧策略概率比为:

$$ r_t(\theta)=\frac{\pi_\theta(a_t|s_t)}{\pi_{old}(a_t|s_t)} $$ 裁剪代理目标为:

$$ \mathcal{L}_{clip}= \mathbb{E}_t[\min(r_tA_t,\operatorname{clip}(r_t,1-\epsilon,1+\epsilon)A_t)] $$ 其中 $A_t$ 是优势估计,$\epsilon$ 限制每批更新中概率比可变化的范围。裁剪的直觉是防止策略一次更新过大,提升优化稳定性。RLHF 实际还要进行 rollout、RM 评分、参考策略 KL 约束、价值估计与多模型资源调度。

追问:Actor、Critic、RM、Reference Model 的分工?

Actor/Policy 负责生成 Token;Critic/Value 估计状态的未来价值,用于优势计算;RM 给回答偏好奖励;Reference Model 是冻结的起点策略,常用于 KL 约束。具体系统可能共享部分参数或采用不同估值方案,但概念职责不能混为一个模型。

19. DPO 是什么?它省略了什么,又没有省略什么?

参考回答

DPO 直接使用偏好对和参考策略概率来优化当前策略。设 $y_w$ 为优选回答、$y_l$ 为较差回答,常见损失为:

$$ \mathcal{L}{DPO} =-\mathbb{E}\log\sigma\left( \beta{DPO}\left[ \log\frac{\pi_\theta(y_w|x)}{\pi_{ref}(y_w|x)} -\log\frac{\pi_\theta(y_l|x)}{\pi_{ref}(y_l|x)} \right]\right) $$ 它在经典 DPO 流程中不需要先单独拟合奖励模型,再用 PPO 在线采样优化策略;参考模型和偏好数据仍然重要。回答的序列概率是目标 Token 条件概率的乘积;序列对数概率是各 Token 对数概率之和。DPO 计算对数概率时,提示 Token 需要按训练模板正确屏蔽。

$\beta_{DPO}$ 是 DPO 目标中的尺度/约束相关超参数;它不要与 PPO 中的 KL 惩罚系数混为一谈。DPO 简化训练链路,但不会自动净化偏好标注、不保证安全或消除过拟合。

20. PPO-RLHF 和 DPO 如何选择?

参考回答

如果需要利用在线采样奖励、复杂环境交互或已有的 RLHF 系统,PPO 路线有直接策略优化的灵活性,但训练流程和调试成本更高,需维护 RM、参考策略、价值估计和采样系统。

如果已有质量较高、与目标偏好相关的离线成对比较数据,想先采用更直接的偏好优化目标,DPO 通常更简单。它仍需要参考模型、正确的序列概率掩码和独立评测;离线数据覆盖不了的行为也不会凭空变好。

真实选择看数据来源、是否需要在线探索、计算资源、稳定性和评估能力。应在同一底座、同一数据切分和独立评估集上比较,而不是只引用某篇论文的绝对胜负。

易错点

RLHF 是训练范式/流程家族;PPO 是一种优化算法;DPO 是直接偏好优化方法。它们并非三个并列的同义微调产品。

21. 训练出现 OOM(显存不足)怎么办?

参考回答

先判定峰值出现在哪一步,是加载权重、前向激活、反向、优化器更新还是评估/保存。训练显存可拆成底座权重、梯度、优化器状态、激活、临时工作区、通信缓冲和缓存。检查参数规模、精度、每卡微批、序列长度、有效 Token、梯度累积、是否全参、是否缓存所有 Token 化数据在内存。

可逐项试验更短序列、较小微批与梯度累积、梯度检查点、PEFT、混合精度、量化底座、分片或 Offload。每次只改变关键变量并测峰值与吞吐;量化/Offload 会带来精度、速度或系统复杂度取舍。

易错点

数据集样本总条数增加,不应自动导致模型单步训练显存增加;若增加数据后 OOM,应检查是否把整套数据/缓存加载进 GPU 或进程内存、最大序列长度是否变化,以及预处理是否一次性物化全部张量。

22. 如何证明一次微调真的有收益?

参考回答

先建立不训练基线,固定底座版本、提示、检索数据、解码参数和评估集。按任务类型选指标:格式正确率、分类指标、任务成功率、引用忠实度、人工盲评、拒答边界等。分开报告平均表现、长尾类别、失败案例、延迟、显存和维护成本。

保留独立测试集,不在训练中反复调到它上面;记录数据版本、预处理、模板、训练配置、随机种子和检查点。自动指标可做大规模回归,但重要开放式回答应结合人工审查和明确评分标准。

追问:loss 更低但用户体验更差怎么解释?

训练 loss 衡量模型在训练目标 Token 上的拟合,不直接等于指令遵循、事实正确、安全或用户满意。检查过拟合、目标与业务指标错位、标签模板、长尾覆盖和偏好变化,并用任务级评估定位。

口述练习

  1. 90 秒讲清 CPT、SFT、偏好优化各自的数据与目标。
  2. 现场推导 LoRA 参数量,解释冻结底座为什么不等于零显存。
  3. 不看笔记画出经典 RLHF 数据流,并区分 Actor、Critic、RM、Reference。
  4. 用一条数据泄漏案例解释为什么随机切分会高估测试指标。
  5. 对比 PPO 与 DPO,分别说明它们依赖什么数据、训练组件和主要风险。
  6. 假设训练后通用能力下降,提出一个先评估、再定位、最后对照实验的排查计划。

相关笔记

  • 大模型训练微调与对齐
  • 大模型基础原理
  • 大模型面试精选
  • 训练与推理面试精选

追问演练补充(按上文题号)

以下追问补齐机制、边界或故障场景;回答时应把实验假设和实际经历分开。

原题 9:提高 LoRA rank 后验证集变好、通用能力却下降,下一步如何判断?

追问回答: 检查目标模块、rank/alpha、训练步数、学习率、数据混入比例与验证集是否泄漏;并在领域任务集和通用回归集上比较多个 rank。可尝试更低学习率、早停、扩大高质量多样数据或限制目标模块;不能只根据单一验证指标认定更高 rank 更好。

原题 10:QLoRA 的底座量化为 4 bit 后,哪些训练显存仍然存在?

追问回答: 可训练 LoRA 参数的梯度与优化器状态、前向激活、反向临时张量、量化元数据和 CUDA 工作区仍占显存。长序列主要可通过 gradient checkpointing、降低微批量/序列长度和优化器配置控峰;4 bit 指底座权重表示,不是整次训练所有状态都为 4 bit。

原题 11:自然语言 Prompt 和 Prompt Tuning 的最关键差异是什么?

追问回答: 自然语言提示是输入 Token,不通过训练更新模型参数;Prompt Tuning 学习连续软提示向量,属于 PEFT。若任务只是临时改变要求,先用普通提示;若要稳定适配且具备数据、算力和验证集,再评估软提示训练,并说明软向量通常不可像文字指令那样直接阅读。

原题 12:模型已经是 Chat 版,再用 Base 版做 SFT 会有什么风险?

追问回答: Base 版未必遵循目标聊天模板或角色分隔,样本格式错配可能学到错误的续写边界;Chat 版则已有对话行为,但也可能与新数据目标冲突。先检查 tokenizer/chat template 与 EOS、loss mask,再用同底座不同初始化做小样本对照和安全回归。

原题 17:奖励模型分数很高,为什么仍可能上线回答更差?

追问回答: 策略可能学会利用奖励模型漏洞,奖励模型也可能偏爱长度、特定措辞或训练分布内模式。对照人类偏好、独立任务指标、长度分层和红队样例,并检查策略与奖励模型的分布偏移;奖励分是代理信号,不等于客观质量或真实用户满意度。

原题 19:Token 条件概率为 0.8、0.5 时,序列概率和序列对数概率是多少?

追问回答: 序列概率是 $0.8\times0.5=0.4$;序列对数概率是 $\log0.8+\log0.5=\log0.4$。DPO 公式在对数域比较偏好回答与参考回答的序列对数概率;要按模板屏蔽提示 Token,只累积目标回答部分,不能把对数概率和叫作序列概率。

原题 20:有大量偏好对,但无法在线采样奖励,PPO 和 DPO 哪个更自然?

追问回答: 离线成对偏好数据通常使 DPO 更直接,省去独立奖励模型加在线 PPO 采样链路;但仍须有参考策略、正确模板掩码和独立评测。如果任务依赖环境交互、在线探索或复杂奖励,PPO 可能更适合但训练与稳定性成本高;应用同底座、同数据切分公平比较。

原题 21:训练中 OOM(显存不足)只在反向传播发生,说明什么?

追问回答: 反向传播需保存/重算激活并产生梯度,峰值往往高于推理;先记录最大显存时点和序列长度,再减小 micro-batch、缩短序列或开启 activation/gradient checkpointing,最后核对优化器状态、精度和碎片。梯度累积可保持有效批量,但并不会降低每个微批次本身的峰值之外的所有开销。

原始来源文件

以下列出本篇整理所依据的代表性原件;同主题重复版本与完整状态请查阅 source-manifest.csv。

  • Raw sources/002.大模型面试合集202605161/31-LLM-Interview-Plus/大模型(LLMs)增量预训练篇.pdf
  • Raw sources/002.大模型面试合集202605161/大模型(LLMs)强化学习—— PPO 面.pdf

放弃未保存的修改?

有未保存的修改,离开会丢失这些内容。