KNOWLEDGE NOTE / AI · 面试

训练与推理面试精选

集中复习 PEFT、RLHF、PPO、显存估算和并行优化的核心对比。

创建
2026年9月24日
更新
2026年10月15日

训练与推理面试精选

摘要

训练与推理面试常考概念对比、资源估算和工程取舍。回答重点是说明假设与瓶颈,不给脱离硬件、序列长度和精度的绝对结论。

正文

推理与部署:快速入口

先区分 Prefill(输入预填充)和 Decode(逐步解码),再按模型权重、KV Cache、运行时工作区与安全余量估算显存。TTFT(首 Token 延迟)偏高时先拆队列、输入处理和 Prefill;TPOT(每输出 Token 时间)偏高时检查 Decode、KV 读取、批次和通信。量化、连续批处理、分页 KV、FlashAttention 与多卡并行针对的瓶颈不同,必须用同一负载实测质量、延迟和吞吐。

详细公式、显存算例、20 道逐题问答和场景排查见 大模型推理与部署面试题库;完整教材见 大模型推理与性能优化。

训练微调与对齐:快速入口

先区分目标:CPT 用领域连续语料继续学习分布,SFT 用理想回答学习任务行为,偏好优化用回答比较调整相对倾向。再比较全参数微调和 PEFT;LoRA/QLoRA 是参数高效微调方案,PPO 是强化学习优化算法,DPO 是直接偏好优化方法,不能当作同层级同义词。

面试时要能解释样本格式、loss mask、LoRA 矩阵形状、RLHF 数据流以及验证集如何防止泄漏。细节题与逐步答案见 大模型训练微调与对齐面试题库;完整教材见 大模型训练微调与对齐。

1. LoRA、QLoRA、Adapter 与 Prompt Tuning

  • LoRA 在部分权重旁学习低秩更新,减少需要训练和保存的参数。
  • QLoRA 在量化底座上训练 LoRA 参数,节省底座权重显存,但计算和优化器仍占资源。
  • Adapter 在网络层插入小模块。
  • Prompt / Prefix Tuning 学习额外提示表示。

回答比较时说明更新参数、显存占用、任务效果、推理部署方式和多任务管理;实际选择必须用目标任务验证。

2. RLHF 与 PPO

RLHF 是以人类偏好参与优化的一类流程,常见环节包括 SFT、偏好数据或奖励模型、策略优化。PPO 通过限制策略更新幅度改善训练稳定性;在大模型上还需考虑采样成本、参考策略约束、奖励质量和显存。不要把 PPO 等同于全部 RLHF,也不要声称奖励模型能够保证事实正确。

3. 训练显存为什么比参数量大?

除了权重,还可能需要梯度、优化器状态、激活、中间缓冲和通信缓存。序列长度、批大小、精度、检查点策略与并行方式会显著改变峰值。先说明参数规模和精度,再分项估算,并留出框架和碎片余量。

4. 数据、张量与流水线并行

  • 数据并行:各设备处理不同样本并同步梯度。
  • 张量并行:把层内矩阵计算拆分到多卡,需要通信。
  • 流水线并行:把模型不同层放在不同设备,可能出现流水线空闲。

大规模训练可组合多种策略。选择看模型是否能放入单卡、设备互联带宽、显存、通信比例和工程复杂度。

5. 推理显存与加速

推理包含模型权重和随上下文增长的 KV Cache。量化降低权重占用,批处理提高吞吐,蒸馏可使用更小模型,推理引擎可优化算子和内存调度。面试中应说明质量、延迟、吞吐之间的取舍,并描述如何基准测试。

6. 一分钟回答模板

“我会先确认模型大小、精度、上下文长度、批大小和硬件。然后估算权重及训练/推理额外状态,测出主要瓶颈。若受限于显存,优先比较量化、PEFT 或并行策略;若受限于吞吐,则测试批处理和引擎优化。最后用同一任务集检查质量、延迟和资源。”

相关笔记

  • 大模型训练微调与对齐
  • 大模型推理与性能优化
  • 大模型面试精选
  • 本页为速览;完整训练/对齐逐题问答见 大模型训练微调与对齐面试题库,推理/部署逐题问答见 大模型推理与部署面试题库。

参考资料

  • 《大模型(LLMs)微调面》《训练集面》《强化学习——RLHF 及其变种面》《强化学习——PPO 面》。
  • 《PEFT》《LoRA》《Adapter-tuning》《Prompting》《分布式训练》《显存问题》《推理加速》《蒸馏》。

原始来源文件

以下列出本篇整理所依据的代表性原件;同主题重复版本与完整状态请查阅 source-manifest.csv。

  • Raw sources/002.大模型面试合集202605161/31-LLM-Interview-Plus/大模型(LLMs)推理加速篇.pdf
  • Raw sources/002.大模型面试合集202605161/31-LLM-Interview-Plus/大模型(LLMs)显存问题面.pdf

放弃未保存的修改?

有未保存的修改,离开会丢失这些内容。