KNOWLEDGE NOTE / AI · 训练与推理

大模型训练、微调与对齐

梳理预训练、监督微调、参数高效微调和偏好对齐之间的关系。

创建
2026年9月24日
更新
2026年10月15日

大模型训练、微调与对齐

摘要

预训练学习通用语言模式,继续预训练补充领域语料,监督微调让模型适应指令任务,对齐阶段进一步调整回答偏好和行为。训练流程的关键是目标、数据、资源和评估相互匹配,不是单纯增加训练轮数。

正文

1. 训练阶段

阶段主要目标常见数据注意事项
预训练学习通用语言和知识表示大规模文本去重、质量、授权和污染控制
继续预训练补充领域词汇与知识领域无监督语料平衡通用与领域数据,防止遗忘
监督微调(SFT)学习指令遵循和输出格式指令、输入、理想回答准确、覆盖充分且格式一致
偏好对齐让输出更符合偏好与约束成对偏好、评分或策略反馈明确偏好标准,防止奖励被钻空子

数据格式应服务于训练目标。SFT 需要清楚区分指令、上下文与目标回答;偏好数据还需说明哪个回答更符合标准。样本数量没有通用门槛,数据质量、覆盖度、模型大小和任务难度都会影响结果。

2. 参数高效微调

全参数微调更新模型的大部分或全部权重,资源成本较高。参数高效微调(PEFT)冻结主体参数,只训练少量附加参数或低秩更新,以减少显存和存储需求。

  • LoRA:在选定权重旁学习低秩矩阵,常用于低成本适配。
  • QLoRA:结合量化底座与 LoRA,进一步降低底座显存占用。
  • Adapter:在网络层之间加入小型可训练模块。
  • Prompt / Prefix Tuning:学习软提示或前缀表示,而不直接改动大部分主体权重。

选型需考虑任务效果、训练资源、部署延迟、多个任务是否共享底座,以及是否需要合并权重。参数高效不代表效果必然相同,也不代表无显存成本。

3. RLHF 与 PPO

常见 RLHF 流程可以概括为:用监督示例做指令微调;收集偏好比较并训练奖励模型或偏好模型;再使用强化学习等方法调整策略,使输出更符合奖励信号。

PPO 是限制策略更新幅度的策略优化方法。应用到语言模型时,需要处理生成样本、奖励评估、参考策略约束、策略更新和显存开销。它不是“让模型自己判断答案正确”的简单按钮,效果取决于奖励信号是否可靠。

4. 训练数据治理

先定义任务边界和评价标准,再收集、清洗、去重、分桶和抽样。避免训练集与测试集严重重叠;跟踪来源、许可和敏感信息;保留数据版本。训练后应检查领域效果、通用能力、安全性和异常退化,并与基线比较。

5. 常见问题定位

  • 微调后能力下降:检查数据分布、学习率、训练轮数、通用数据混合策略和评估集。
  • 模型只会复述样例:检查重复、模板单一、目标泄漏和过拟合。
  • 领域任务没提升:确认检索或提示是否已能解决问题,再评估训练是否必要。
  • 成本过高:估算权重、优化器状态、梯度、激活和序列长度造成的峰值显存,再比较 PEFT、量化或分布式策略。

6. 从训练目标到样本格式

自回归语言模型的预训练通常让模型根据前面的 Token(词元)预测下一个 Token。模型在大量文本上反复计算预测分布与真实下一个 Token 的差异,再通过反向传播更新参数。常见损失是交叉熵,直观上就是:真实答案的概率越低,惩罚越大。

不同训练阶段的数据不能只看文件格式,而要先看“模型要学会什么”:

训练目标样本示意重点检查
继续预训练(CPT)连续领域文本领域覆盖、重复、许可、通用语料混合比例
监督微调(SFT)指令/问题 + 目标回答回答正确、输入输出边界清楚、多轮角色顺序正确
偏好优化同一问题的较优回答与较差回答比较标准一致,差异体现目标偏好而非标注噪声
奖励模型训练提示 + 多个回答的排序或评分标注者标准一致,分数与真实使用目标相关

对话数据常以 system、user、assistant 等角色组织。训练时还会经过 Tokenizer(分词器)处理,并按模型模板加入边界标记。不同底座模型的模板可能不同,不能把某一份 ChatML 或课程样例格式当成通用标准。训练集与验证集、测试集应按用户、文档或时间等合理边界划分,避免同一内容换个问法后同时落入训练集与测试集。

7. PEFT、LoRA 与提示调优的区别

参数高效微调(PEFT)不是一种单一算法,而是一类“冻结大部分底座,只训练较少参数”的方法。它节省可训练参数与适配器存储,但前向计算仍要经过底座模型。

LoRA(低秩适配)将权重更新表示成缩放后的低秩乘积:$W'=W_0+(\alpha/r)BA$。训练时冻结底座权重 $W_0$,只更新低秩矩阵 $A$、$B$。秩越高,可训练参数通常越多;应以目标任务验证选择 rank、缩放和目标模块,而不是盲目追求更大秩。矩阵形状与参数量计算见下文。

QLoRA 在量化后的冻结底座上训练 LoRA 适配器,以进一步压低底座权重显存。量化会引入近似误差,训练配置、优化器和激活仍然占资源,因此它不等于“任何模型都能在任意显卡上微调”。Adapter 会在网络层中插入可训练小模块;Prompt Tuning / Prefix Tuning 学习连续的软提示向量。它们与用户编写的自然语言提示(Prompt Engineering)不同:后者不更新模型参数。

8. 对齐方法与常见退化

经典 RLHF(基于人类反馈的强化学习)流水线通常包括:用 SFT 模型生成多个候选回答;标注者比较回答并形成偏好数据;据此训练奖励模型;再用 PPO(近端策略优化)调整生成策略,同时用参考模型约束策略漂移。每一环都会引入成本与误差:偏好标准含糊会污染奖励信号,奖励模型也只是人类偏好的近似。

DPO(直接偏好优化)直接利用“更偏好哪一个回答”的成对数据优化策略,省去了单独训练奖励模型再进行 PPO 的经典流程,但仍需要高质量偏好标注,也不能绕过安全评估。PPO、DPO 等方法目标和优化过程不同,回答时应先说清数据输入、优化对象和风险,不要只背名词。

训练后应按任务检查输出质量、格式遵循、拒答边界和通用能力。若出现能力退化,先检查数据是否重复或过于单一、学习率和训练轮次是否过高、训练模板是否错位,以及训练集与评估集是否泄漏。出现 loss 突刺或 OOM(显存不足)时,要同时检查异常样本、序列长度、批大小、梯度累积、激活峰值、混合精度和优化器状态;单独调低批大小不一定能解决根因。

9. 训练数据:先守住评估,再谈模型效果

9.1 训练、验证、测试集分别做什么

  • 训练集用于计算梯度并更新模型参数。
  • 验证集用于训练期间比较配置、检查过拟合和选择停止点;不应被反复“调到答案”后继续当成无偏评估。
  • 测试集尽量只在方案定稿后用于最终评估;如果根据测试结果反复改方案,它也会逐渐变成验证集。

切分边界要符合真实使用方式。若同一客户、同一篇文档、同一对话的改写版本同时落入训练集和测试集,指标可能主要反映重复记忆而非泛化。可以先按来源文档、用户、时间段或任务组切分,再做相似样本审计。对公开基准还要考虑模型预训练语料可能包含测试内容的污染风险。

9.2 指令数据质量检查清单

一条 SFT 样本至少要能回答:它要教什么能力、输入和目标输出边界在哪里、答案依据是什么、适用语言与格式是什么。清洗时检查重复与近重复、事实错误、格式错位、过时内容、隐私与许可、危险指令处理、任务覆盖和类别长尾。

合成数据可以降低部分标注成本,但“由更强模型生成”不等于自动正确。建议保留来源和生成模型版本,进行抽样人工审核、规则检查、去重以及独立验证。数据不确定性高也可能是答案质量差;不能单纯挑模型最不会做的样本,不检查样本本身。

主动学习的实际流程可以是:从线上/候选数据中筛选覆盖不足或模型不确定的样本 → 人工确认或改写标签 → 去重和质量过滤 → 加入训练 → 用固定验证集判断是否有收益。聚类、语义相似度、困惑度只是候选筛选信号,不是正确性证明。

10. 三种常见目标:CPT、SFT、偏好优化

阶段输入样本主要学习信号典型用途主要风险
继续预训练(CPT)连续领域文本预测下一个 Token适应领域术语、文风与语料分布语料重复/低质、通用能力遗忘、事实未必稳定记住
监督微调(SFT)指令、上下文、理想回答让模型提高目标回答 Token 的概率指令遵循、输出格式、任务流程和回答风格标签错、任务单一、模板错位或过拟合
偏好优化同一提示下的优选/较差回答,或评分优选回答相对更可能,或奖励更高有用性、风格、安全边界等偏好偏好标准不一致、奖励投机、标注偏差

预训练、CPT 和 SFT 都可以包含知识信息,但承担的任务不同。CPT 让模型适应大量领域语言与分布;SFT 能通过示例学到事实或步骤,但少量问答并非可靠的知识库存储方式;常更新、可追溯、需要引用的事实通常更适合由检索系统提供。领域数据与通用数据的固定混合比例没有通用答案,要由样本质量、数据量、目标能力和验证结果决定。

10.1 因果语言模型交叉熵

自回归训练将序列拆成前缀和下一个 Token 目标。对目标序列位置 $t$,模型输出 $p_\theta(y_t\mid x,y_{<t})$。忽略未参与损失的位置后,平均负对数似然可写成:

$$ \mathcal{L}{CE}=-\frac{\sum_t m_t\log p\theta(y_t\mid x,y_{<t})}{\sum_t m_t} $$

  • $x$:提示或输入上下文;$y_{<t}$:目标回答中当前位置之前的 Token。
  • $p_\theta$:参数为 $\theta$ 的模型给真实目标 Token 的概率。
  • $m_t$:损失掩码;参与训练的位置取 1,忽略的位置取 0。
  • 分母按有效目标 Token 数归一化,避免填充位或提示长度改变损失尺度。

在不少指令微调配置中,用户提示和系统消息只作为条件输入,主要对 assistant 目标回答计算损失;也有任务会选择对更多字段计算损失。必须查看具体的数据整理和标签掩码,不能仅凭“这是 SFT”推断哪些 Token 被训练。

10.2 Teacher Forcing 与训练/推理差异

Teacher Forcing(教师强制)是训练时使用样本中的真实前缀预测下一个目标 Token。以词元 $A,B,C$ 为例,训练可并行计算“输入 A 预测 B”和“输入 A、B 预测 C”,同时用因果掩码保证前者看不到 B、C。推理时没有真实后续前缀可用,模型必须把自己刚生成的 Token 接回输入。

这不是说训练“偷看答案”:标签被用来计算损失,但不允许目标位置通过注意力读取未来目标。若把标签掩码、序列右移或对话边界做错,模型可能学到用户提示的复述、角色错乱或目标泄漏。

11. 一次训练更新由哪些步骤组成

一个典型训练迭代可以概括为:

  1. 取一批样本并 Tokenize,应用聊天模板与截断/填充策略。
  2. 构造输入 Token、标签和损失掩码;检查标签是否与输入正确右移。
  3. 前向计算 logits 和有效目标 Token 的交叉熵。
  4. 反向传播得到可训练参数的梯度;必要时做梯度裁剪。
  5. 优化器更新参数,学习率调度器调整学习率。
  6. 定期在验证集计算损失和目标任务指标,记录配置并保存可恢复的检查点。

11.1 AdamW 的直觉

Adam 对梯度的一阶动量和平方梯度的二阶动量做平滑,再用二阶量缩放每个参数的更新。简化写法是:

$$ m_t=\beta_1m_{t-1}+(1-\beta_1)g_t,\quad v_t=\beta_2v_{t-1}+(1-\beta_2)g_t^2 $$ 经过偏差修正得到 $\hat m_t,\hat v_t$ 后,AdamW 更新中还会单独施加权重衰减。这里 $g_t$ 是当前梯度,$\beta_1,\beta_2$ 控制历史梯度平滑,$\eta$ 是学习率,$\epsilon$ 用于数值稳定。不同框架对权重衰减、精度和更新细节有具体实现;AdamW 的解耦权重衰减不应简单说成“完全等同于在 Adam 损失上加 L2 项”。

11.2 批次、梯度累积与学习率

常用有效全局批次近似为:

$$ \text{global batch} =\text{per-device batch}\times\text{设备数}\times\text{梯度累积步数} $$ 该式在数据并行配置下便于估算样本数;语言模型还应记录每步实际有效 Token 数,因为序列长度和填充比例不同会让“相同样本数”代表不同计算量。梯度累积把多个小批次的梯度合并后再更新,减少单步显存峰值,但不减少一次更新所需处理的总 Token。

小批次梯度估计噪声更大,但有时能帮助泛化;大批次提升并行效率,却增加显存和通信,也可能需要调整学习率与训练步数。学习率、批次和数据不能孤立地按一条固定比例规则设置。

训练常见配置包括学习率预热(Warmup)、随后衰减、梯度裁剪和混合精度。它们的目的分别是平滑初期更新、逐步减小步幅、限制异常梯度,以及用较低精度减少存储/计算;具体值应根据底座、优化器、训练规模和验证结果调参。不要把某份旧课件中的学习率、Warmup 比例或通用数据配比当作普适标准。

12. 全参数微调、PEFT 与 LoRA

12.1 全参数微调与参数高效微调

Full Fine-tuning(全参数微调)对底座模型主体的大部分或全部参数求梯度并更新,适配自由度大,但训练状态、检查点和多任务部署代价较高。PEFT(参数高效微调)是一类方法的总称:冻结底座的大部分权重,只训练少量新增参数、软提示或选定权重。

PEFT 减少可训练参数及其梯度、优化器状态和任务增量的存储,但不一定免除底座前向计算、激活显存或基础权重存储。效果也不能保证与全参数微调完全相同,应按统一任务集、训练 Token 数、推理配置和成本比较。

12.2 LoRA 的公式、参数量和初始化

设底座线性层权重 $W_0\in\mathbb{R}^{d_{out}\times d_{in}}$。LoRA 冻结 $W_0$,学习一个低秩增量:

$$ W'=W_0+\Delta W,\qquad \Delta W=\frac{\alpha}{r}BA $$ 其中 $A\in\mathbb{R}^{r\times d_{in}}$,$B\in\mathbb{R}^{d_{out}\times r}$,$r$ 是低秩维度,$\alpha$ 是缩放超参数。全量训练此矩阵需要 $d_{out}d_{in}$ 个参数;LoRA 只训练 $r(d_{in}+d_{out})$ 个参数。常见初始化为 A 随机初始化、B 初始化为零,使训练初始时增量为零,模型开始输出接近原底座。

例:对 $4096\times4096$ 的单个矩阵使用 $r=8$,原矩阵有 $16,777,216$ 个参数;LoRA 有 $8(4096+4096)=65,536$ 个可训练参数,约为该矩阵参数数的 0.39%。这是单矩阵示例,不等于整个模型总训练参数比例;真实比例还取决于选了哪些层、哪些投影和词表层。

LoRA 的训练参数量和行为由目标模块、秩、缩放、Dropout 和层选择共同决定。Q/K/V/O 投影、FFN 投影等均是可能目标;不能把某份旧实验中某个目标层或 rank=4/8 的结论当成所有任务的最优配置。

12.3 合并权重和推理开销

对于线性层,可以在部署前把 $\Delta W$ 加入 $W_0$,得到合并权重,减少额外适配器运算;若保留独立 LoRA 分支,通常仍要做一条低秩分支计算。合并后更简洁但切换任务不如独立 Adapter 灵活;多个 Adapter 是否能直接合并且不损失目标效果,需要验证。LoRA 文件通常只保存增量参数和必要配置,加载时仍需要对应的底座及兼容版本。

“LoRA 加速训练”需要限定口径:它减少可训练参数的梯度与优化器状态,也可降低多卡同步的可训练梯度量;但冻结的底座仍参与前向,反向仍要把梯度传到适配器之前的激活。具体吞吐未必总快于全量训练,尤其受序列长度、激活检查点、内核和系统通信影响。

12.4 QLoRA 和其他 PEFT 变体

QLoRA 把冻结的底座权重量化存储,再让梯度经过量化底座传到可训练 LoRA 适配器;底座权重本身不更新。原论文提出 NF4(4 位正态浮点)、双重量化和分页优化器等显存节约组件。量化尺度、激活、中间工作区、优化器状态和长序列仍需内存,因此“4 位”不等于整体只占 4 bit/参数,也不能保证任意模型都能装进任意显卡。

方法可训练部分主要交换条件
全参数微调底座大部分/全部参数表达自由度高;训练与存储成本高
LoRA低秩矩阵 A、BAdapter 小、可按任务切换;效果依任务与目标模块而定
QLoRA量化冻结底座上的 LoRA显著压低底座权重存储;量化与激活仍有开销
AdapterTransformer 层内的瓶颈模块每层新增分支,模块化强;未合并时增加推理计算
Prompt Tuning输入端可学习软 Token 向量底座冻结、增量小;软提示长度也占上下文/计算
Prefix Tuning多层注意力可学习前缀状态控制更深;实现与 KV 结构相关,会增加前缀开销
P-Tuning / P-Tuning v2软提示及其编码器或深层提示方法版本差异大;名称不可与自然语言提示词混同

Prompt Engineering(提示词工程)是人编写文本指令,不更新模型参数;Prompt Tuning(提示调优)则训练连续向量,两者名字相似但训练方式不同。

13. RLHF、PPO 与 DPO:目标相近,训练路径不同

13.1 经典 RLHF 流程

RLHF(基于人类反馈的强化学习)是训练流程/方法家族,不是某一个单独优化器。经典 InstructGPT 式流程包括:

  1. 从预训练底座出发,用高质量示范回复进行 SFT,得到策略初始模型。
  2. 对同一 Prompt 采样多个候选回答,由标注者排序或比较,形成偏好对。
  3. 用偏好对训练 Reward Model(奖励模型,RM),输入 Prompt 与回答后输出标量分数。
  4. 用当前策略生成回答,由 RM 评分,并用 PPO 等强化学习方法调整策略;通常加入与参考策略的 KL 约束,避免只追逐奖励分数而过度偏离 SFT 模型。
  5. 在独立评估集检查有用性、真实性、安全性和退化案例。

偏好只代表标注规范和参与人群下的相对选择,不是客观真理。RM 是人类偏好代理,可能错误、过拟合或被模型利用。奖励提高不必然意味着真实质量、安全性或事实性提高。

13.2 奖励模型的偏好损失

对同一个 Prompt $x$,设优选回答为 $y_w$、较差回答为 $y_l$,奖励模型输出 $r_\psi(x,y)$。常见成对排序损失为:

$$ \mathcal{L}{RM}=-\log \sigma(r\psi(x,y_w)-r_\psi(x,y_l)) $$ $\sigma$ 是 Logistic Sigmoid 函数。目标是让优选回答的分数高于较差回答。若标注只说明相对顺序,不代表分数差距的绝对大小,因此 RM 分数本身通常不是经过校准的“回答真实概率”。

13.3 PPO 如何用于语言模型

PPO(近端策略优化)是策略梯度强化学习算法。每个状态 $s_t$ 可理解为已生成前缀,动作 $a_t$ 是下一个 Token。新旧策略概率比为 $r_t(\theta)=\pi_\theta(a_t|s_t)/\pi_{old}(a_t|s_t)$,常见剪切代理目标为:

$$ \mathcal{L}_{clip}= \mathbb{E}_t\left[ \min\left(r_t(\theta)A_t,; \operatorname{clip}(r_t(\theta),1-\epsilon,1+\epsilon)A_t\right) \right] $$ $A_t$ 是优势估计,表示当前动作相对基准价值好多少;$\epsilon$ 是限制单次策略概率比变化范围的剪切超参数。语言模型 RLHF 还需处理生成采样、奖励分配、价值估计、Token 级/序列级 KL 惩罚和参考策略。实际实现通常由策略模型、价值模型、奖励模型及参考策略共同组成,系统和调参成本较高。

可将每条回答的总奖励粗略理解为“RM 偏好分 − KL 偏离惩罚”;具体是按 Token 还是按序列计算、如何归一化,依训练实现而定。PPO 的价值函数估计未来回报,不等同于 RM;两个模型/头可以在工程实现中有不同共享方式。

13.4 DPO 如何直接用偏好数据

DPO(直接偏好优化)直接利用优选/较差回答及冻结参考模型的对数概率优化策略,不在经典路径中单独训练奖励模型并通过 PPO 反复在线采样更新。常见目标写为:

$$ \mathcal{L}{DPO} =-\mathbb{E}\left[ \log \sigma\left( \beta{DPO} \left[ \log\frac{\pi_\theta(y_w|x)}{\pi_{ref}(y_w|x)} -\log\frac{\pi_\theta(y_l|x)}{\pi_{ref}(y_l|x)} \right]\right) \right] $$ $\pi_\theta$ 是待训练策略,$\pi_{ref}$ 是冻结参考策略,$y_w/y_l$ 是优选/较差回答。回答的序列概率是各 Token 条件概率的乘积;序列对数概率才是这些 Token 对数概率之和。DPO 目标使用序列对数概率差来计算偏好比值,提示 Token 需按训练模板正确屏蔽。$\beta_{DPO}$ 控制目标尺度和相对参考策略的偏离权衡。它不等于 PPO 奖励中的 KL 系数,虽然文献中符号可能复用。

DPO 训练路径较简洁,但并非“无需好数据、无需参考策略、没有偏好失真”。它仍依赖偏好样本、参考模型、正确的序列掩码与可靠评估,也可能因偏好噪声、数据分布窄或优化过强产生退化。

比较项PPO-RLHF 经典路线DPO
训练信号RM 对采样回答给出的奖励同一 Prompt 的优选/较差回答对
关键模型/对象策略、RM、参考策略、价值估计待训策略、冻结参考策略
是否在线采样经典路线训练过程中会采样并更新策略标准 DPO 用离线偏好对做监督式分类目标
优势可对策略直接优化奖励,可组合复杂在线反馈流程和工程系统较简单,不单独训练 RM/PPO 循环
风险/成本采样与多模型显存、奖励投机、PPO 稳定性仍受偏好数据覆盖、参考分布和目标过拟合影响

14. 选型:什么时候继续预训练,什么时候做 SFT 或对齐

先确定待解决问题:

  • 缺少大量领域语言/术语和领域文本分布:评估 CPT;检查可用高质量语料量、许可、重复率和遗忘风险。
  • 需要稳定遵循新任务流程、输出结构或示例风格:先做提示词与结构化校验试验;若仍不稳定,再评估 SFT。
  • 需要利用更新频繁、私有或必须引用来源的知识:优先考虑检索增强(RAG)而非把事实都写进权重。
  • 需要调节多种回答偏好的相对取舍:评估偏好数据、RM/PPO 或 DPO,并设置独立的人类/自动安全评估。
  • 资源紧张但需任务适配:先比较 PEFT、LoRA/QLoRA;如果需要较大范围改变且资源允许,再评估全参数微调。

这不是互斥选择表。系统可以组合 RAG 与 SFT,也可以先用 Prompt 验证方向,再判断训练是否带来稳定收益。训练前应记录不训练的基线,否则无法证明微调值得维护。

15. 训练异常与故障排查

15.1 微调后“模型变笨”

这不是一个单一诊断。先用固定的旧能力集、新任务集和安全测试集对比基线,判断是通用能力下降、输出风格变窄、提示模板损坏还是采样差异。再排查训练数据是否单一/重复,是否把用户问题当目标让模型学会复述,学习率或训练轮次是否过大,是否只观察训练损失而没有看验证指标。

可尝试的对照包括:减少训练轮数或学习率、提高任务多样性与质量、混入代表性通用回放数据、用 PEFT 控制更新范围、早停或回滚到验证表现更好的检查点。数据配比、低学习率或 PEFT 都不能保证绝不遗忘。

15.2 Loss 突刺和显存溢出

Loss 突刺(Loss Spike)指训练损失突然升高。不要仅根据旧课件中的理论推断某一个 Adam 参数是根因。按证据排查:

  1. 检查突刺样本的长度、乱码、标签移位、掩码、异常值及数据解码。
  2. 检查学习率曲线、梯度范数、损失缩放溢出/下溢、混合精度和梯度裁剪记录。
  3. 检查优化器状态是否与检查点一致、恢复训练是否误重置学习率或数据游标。
  4. 用可复现的小批次重放确认是数据异常、数值不稳定还是配置变化。
  5. 先保存故障前检查点和日志;只有确认数据损坏或异常样本后,才考虑跳过相应样本并记录原因。

OOM(显存不足)需分辨权重/优化器状态/激活/临时工作区/缓存。可依次检查序列长度、每卡批次、梯度累积、激活检查点、精度、PEFT、量化、分片和并行方案。只降低批次有时会缓解峰值,但可能没有解决过长序列或重复加载全数据到内存的问题。

面试复习顺序

先能比较 CPT/SFT/偏好优化,再讲完整 SFT 与 RLHF 数据流;接着写出 LoRA 增量公式并解释矩阵形状;最后比较 PPO 与 DPO,并用一个过拟合/能力退化案例说明如何评测和定位。逐题练习见 大模型训练微调与对齐面试题库。

相关笔记

  • 大模型基础原理
  • 大模型推理与性能优化
  • 训练与推理面试精选
  • 大模型训练微调与对齐面试题库

参考资料

  • 《大模型(LLMs)微调面》《大模型(LLMs)训练集面》《大模型(LLMs)增量预训练篇》。
  • 《大模型(LLMs)强化学习——RLHF 及其变种面》《大模型(LLMs)强化学习——PPO 面》。
  • 《参数高效微调篇 PEFT》《LoRA 篇》《适配器微调篇》《提示学习篇》。
  • 《大型语言模型的 11 种高效微调方法》;重点用于比较软提示、Adapter 与 LoRA 的训练对象。
  • InstructGPT 原始研究:https://arxiv.org/abs/2203.02155。
  • PPO 原始研究:https://arxiv.org/abs/1707.06347。
  • LoRA 原始研究:https://arxiv.org/abs/2106.09685。
  • QLoRA 原始研究:https://arxiv.org/abs/2305.14314。
  • DPO 原始研究:https://arxiv.org/abs/2305.18290。
  • 本文优先采用可核对的目标、公式和实验设定;旧题库里“参数量越大效果一定越好”、固定数据配比/学习率、Adam 等同牛顿法及“QLoRA 任何显卡都适用”等简化说法不当作普遍规律。示例代码与旧框架接口不作为当前可运行操作指南。

原始来源文件

以下列出本篇整理所依据的代表性原件;同主题重复版本与完整状态请查阅 source-manifest.csv。

  • Raw sources/002.大模型面试合集202605161/31-LLM-Interview-Plus/大模型(LLMs)增量预训练篇.pdf
  • Raw sources/002.大模型面试合集202605161/大模型(LLMs)参数高效微调(PEFT)面/参数高效微调篇PRFT.pdf

放弃未保存的修改?

有未保存的修改,离开会丢失这些内容。