大模型推理与部署面试题库
怎么使用这份题库
先用一句话回答,再讲机制、写出估算假设,最后补充如何验证。推理问题往往没有脱离模型、硬件、上下文长度、并发和服务目标的唯一数字答案。遇到“能跑多少并发”“量化后快几倍”等问题,应先问清输入条件,不要背固定结论。
本文中的数字用于展示计算过程,不是任意模型或服务器的承诺值。完整推理教材见 大模型推理与性能优化;训练和推理的速记入口见 训练与推理面试精选。
一、推理链路与显存
1. Prefill 和 Decode 有什么区别?
回答: Prefill(输入预填充)把整段输入提示一次送入模型,计算各层状态并建立 KV Cache;同一层中的输入 Token 可较充分地并行处理。Decode(逐步解码)则基于已处理上下文逐个生成新 Token,每一步依赖上一步的结果。前者常随输入长度增加计算和临时激活,后者受自回归依赖、权重读取、KV 读取和调度影响。
追问: Prefill 一定是算力瓶颈、Decode 一定是带宽瓶颈吗?
回答: 不是。它们是常见倾向,不是定义。硬件、批次大小、上下文长度、模型宽度、低精度内核、并发和框架调度都会改变瓶颈。要分别测 Prefill 与 Decode 时间,并用设备指标或 Profiler(性能分析器)核实。
易错点: 只报一个 tokens/s,无法说明慢在输入、生成、排队还是网络。
2. KV Cache 缓存什么?怎样估算它的显存?
回答: 每层注意力会为历史 Token 保存 Key 和 Value,使生成下一个 Token 时不必重新计算所有历史 Token 的投影。对结构规则、长度相同的一批 Decoder 序列,近似占用为:
$$ M_{KV}=B\times T\times N_L\times 2\times H_{KV}\times D_H\times S $$ 其中 $B$ 是同时驻留的序列数,$T$ 是每条序列已缓存的 Token 数,$N_L$ 是层数,2 表示 Key 与 Value,$H_{KV}$ 是 KV 头数,$D_H$ 是每头维度,$S$ 是每个缓存元素的字节数。变长请求应分别计算后求和。
算例: 32 层、8 个 KV 头、每头维度 128、BF16(每元素 2 字节)时,每个 Token 每条序列约占 $2\times32\times8\times128\times2=131072$ 字节,即 128 KiB。8192 Token 约 1 GiB;8 条同长度序列约 8 GiB。
验证思路: 先用公式得到理论量,再对照推理引擎的 KV 使用指标或显存曲线。分页块取整、缓存量化元数据、前缀共享、临时张量和框架实现会让实际值有差异。
易错点: 把 $T$ 只按输出长度算;实际缓存一般还包含 Prompt。把注意力头数当成 KV 头数;GQA/MQA 下 KV 头数更少。
3. 为什么 KV Cache 会成为长上下文服务的瓶颈?GQA 如何影响它?
回答: KV Cache 随层数、缓存 Token 数、并发序列数和 KV 头数近似线性增长。长 Prompt、长输出以及很多同时驻留的请求会叠加占用。GQA(分组查询注意力)让一组 Query 头共享较少的 KV 头,MQA(多查询注意力)则把 KV 头进一步减少,所以在层数、头维度和精度相同的条件下,它们能降低 KV 存储量。
追问: 减少 KV 头数是否可以不影响效果?
回答: 这取决于模型训练与架构设计,不能把某个模型改成更少 KV 头当成无损部署参数。使用已有 GQA/MQA 架构时,估算公式中的 $H_{KV}$ 应取实际 KV 头数。
验证思路: 从模型配置确认层数、KV 头数、头维度和缓存数据类型,不凭模型名字或总参数量猜。
4. 7B 模型大约需要多少权重显存?为什么这不是完整部署容量?
回答: 令参数量 $P=7\times10^9$。若 BF16/FP16 每参数按 2 字节,权重约 $14\times10^9$ 字节,即 14 GB(约 13.0 GiB)。理论 4 bit 权重按每参数 0.5 字节约 3.5 GB;实际量化加载还会包含比例、零点或分组元数据、未量化层和运行时空间。
完整推理显存还要考虑 KV Cache、算子工作区、运行时上下文、临时张量、碎片和保留余量。可以用“权重 + KV + 运行时/工作区 + 安全余量”作为规划分项,但最终容量必须按目标框架和请求分布压测。
单位追问: GB 是十进制 $10^9$ 字节,GiB 是二进制 $2^{30}$ 字节,不能把两个标注直接当成同一单位。
易错点: 把模型文件大小等同于 GPU 必需容量;把 4 bit 的理论字节数说成完整显存需求;把训练显存公式套到推理。
5. 显存不足时,你会怎样系统估算和排查?
回答与步骤:
- 确认模型真实参数量、权重精度/量化格式、实际加载副本数和可用显存。
- 估算权重,并单独按层数、KV 头数、头维度、缓存精度、输入输出长度和并发计算 KV。
- 用监控或引擎指标确认 OOM 发生在模型加载、Prefill、Decode 还是并发上升时;记录峰值和请求参数。
- 检查超长 Prompt、最大新 Token、并发、静态预分配、缓存策略与批处理;先排除意外配置。
- 若主要是权重容量,验证低比特量化或模型拆分;若主要是 KV,评估上下文上限、并发、KV 精度、GQA 架构和调度;若主要是工作区,检查内核/批次配置。
- 每次只改一个因素,同时回归回答质量、错误率、延迟和峰值显存。
追问: 为什么不一开始就把模型放到 CPU?
回答: CPU Offload(把部分权重移到内存)可缓解容量问题,但 CPU/GPU 间数据传输、内存带宽和调度会增加延迟;它是容量/成本取舍,不自动提升速度。
6. 权重量化和 KV Cache 量化有什么区别?
回答: 权重量化降低模型参数的存储精度,常见目标是缩小模型占用或降低 Decode 读取权重的带宽压力。KV Cache 量化降低历史 Key/Value 的精度,主要节省随上下文和并发增长的缓存容量。它们作用于不同张量,质量误差、内核支持与速度收益也要分别测量。
追问: 是否只要权重改成 4 bit,就能让超长上下文翻倍?
回答: 不一定。若瓶颈是 KV Cache,单独减少权重对缓存容量帮助有限;权重量化可能释放一部分显存给 KV,但增加量取决于原权重占比和实际格式。仍要重新核算全链路峰值。
验证思路: 分别记录权重显存、KV 显存、可承载上下文/并发、任务质量与延迟,不把“总显存下降”误写成所有指标都改善。
二、量化与性能优化
7. PTQ、GPTQ 和 AWQ 是什么?如何判断量化是否成功?
回答: PTQ(训练后量化)指模型训练完成后,通过校准数据或误差补偿等方法降低参数精度,不进行通常意义上的全量再训练。GPTQ 是基于近似二阶信息逐步量化权重的一类方法;AWQ 利用激活分布信息保护对输出更敏感的权重通道。它们是具体方法,不是所有模型、位宽和内核上的性能保证。
验证流程: 使用代表业务的校准集和留出评测集;测量困惑度或任务指标、长上下文、多语言、结构化输出、工具调用与安全回归;再在同硬件/请求下对比 TTFT、TPOT、吞吐、峰值显存和成本。
易错点: 只比较模型文件大小;用训练/校准数据本身做唯一质量评估;忽略目标 GPU 是否有匹配的量化内核。
8. W4A16 和 W8A8 表示什么?哪一个更快?
回答: W 表示权重精度,A 表示参与计算的激活精度。W4A16 通常指 4 bit 权重和约 16 bit 激活;它常用于压缩权重占用,但是否提速取决于解量化和内核实现。W8A8 表示权重和激活都使用约 8 bit,若硬件有高效低精度矩阵计算支持,可能提高算力密集阶段效率。
结论: 没有脱离硬件、模型、批次、上下文与软件内核的固定速度排名。还需区分模型精度、KV 精度和累积精度;这些不是同一个配置项。
9. 首 Token 慢与后续生成慢,应该怎样区分?
回答: 本题采用明确口径:TTFT(首 Token 延迟)是请求进入服务到首个输出 Token 返回;TPOT(每输出 Token 时间)是第一个 Token 之后的平均相邻 Token 间隔,例如 $(t_{last}-t_{first})/(N_{out}-1)$,只对至少输出两个 Token 的请求计算。端到端延迟是请求开始到最后 Token;吞吐还要说明按请求还是按 Token 统计。
若 TTFT 高,先拆排队、网络/路由、Tokenizer、Prefill、首 Token 采样,并检查输入长度。若 TPOT 高,检查 Decode 算力/带宽、KV 读取、批次利用率、卡间通信和内核效率。指标名在各平台可能不同,报告中应写出计算定义。
易错点: 用端到端时长除输出数来代替 TPOT;不同长度请求混算却不标明分布;将吞吐与单请求延迟混为一个指标。
10. TTFT 高,你会如何定位?
回答: 先在同一请求时间线上分出接入/排队、路由、Tokenizer、Prefill 和生成首 Token 阶段。再比较不同 Prompt 长度与并发下的 TTFT 分布。如果随 Prompt 长度明显增长,关注 Prefill 计算、上下文和输入处理;如果并发时增长且队列时间上升,优先看调度容量;若设备空闲而 Tokenizer/CPU 时间偏高,则检查预处理、网络和服务链路。
验证: 固定输出上限、硬件、模型和采样设置,对短/长输入、低/高并发分别压测;报告 P50/P95/P99,而不是只给平均值。
易错点: 一看到 TTFT 慢就盲目换 GPU;没有区分模型计算时间和请求排队时间。
11. TPOT 高或生成中途变慢,如何排查?
回答: 查看单步 Decode 速度随上下文长度和并发变化,并监控显存带宽、GPU 利用率、KV Cache、通信、批次组成和 CPU 调度。TPOT 随上下文增长可能和历史 KV 读取增多有关;低设备利用率可能来自到达请求不足、批处理效率、Padding 或前后处理瓶颈;多卡时还要核对集体通信是否抵消并行收益。
验证: 固定输出长度和输入分布,再逐项改变并发、批次、上下文上限、量化或并行策略;用相同质量回归集确认收益。
12. 静态批处理和连续批处理有什么差别?
回答: 静态批处理先组成一批请求,常要等待批内较慢请求完成后再整体替换;不同长度请求混在一起可能造成等待或填充浪费。连续批处理(也称在途批处理)在每轮生成后可移出已完成请求、引入新请求,使设备持续处理活跃请求,通常更适合请求长度不一的在线服务。
权衡: 调度可提高吞吐和设备利用率,但队列、公平性、Prefill 与 Decode 竞争及最大延迟目标仍要管理。高吞吐不保证每个用户的 TTFT 都下降。
验证: 使用真实到达率和长度分布比较请求吞吐、P95 延迟、超时率、GPU 利用率与 KV 占用,不能仅用同长度离线批次。
13. PagedAttention 和 FlashAttention 分别解决什么问题?
回答: PagedAttention(分页式 KV 管理)把 KV Cache 按固定块组织,改善可变长请求的内存分配、碎片和缓存共享管理;它属于推理服务的缓存组织思路。FlashAttention(闪存注意力)通过分块计算降低注意力过程中的显存读写和中间矩阵物化,是注意力算子层面的 IO 优化。经典 FlashAttention 计算精确注意力,仍有 $O(T^2)$ 的序列长度计算关系。
易错点: 把二者当作同一个算法;把分页说成消除 KV 数据;说 FlashAttention 把标准全注意力变成线性复杂度。
可追问: PagedAttention 的收益需在目标服务负载下测量;FlashAttention 的算子可用性需检查具体模型、数据类型、GPU 和运行库支持。
14. 量化后显存下降了,为什么速度却没提升?
回答: 原瓶颈可能不在权重带宽,而在 Prefill 算力、KV 读取、调度、CPU/网络或卡间通信;也可能目标硬件没有高效低位内核,解量化开销抵消收益。若请求批次很小、服务端存在排队或模型算子不匹配,权重变小也未必改变关键路径。
排查: 对照量化前后的阶段耗时、GPU 利用率、显存带宽、内核支持、吞吐和质量;确保硬件、提示长度分布、并发和模型版本相同。
三、并行部署与服务压测
15. 推理服务中的数据并行、张量并行和流水线并行有什么区别?
回答:
| 方式 | 推理部署方式 | 主要收益 | 主要代价 |
|---|---|---|---|
| 数据并行 | 多份完整模型副本各自处理不同请求 | 增加总服务吞吐和并发 | 每份副本都要容纳模型;单请求通常不因此变快 |
| 张量并行 | 将层内矩阵/注意力计算切到多设备 | 分摊权重并并行完成层内运算 | 频繁通信,强依赖高速互联 |
| 流水线并行 | 不同模型层驻留在不同设备,数据逐段通过 | 分摊模型层权重 | 单请求需经过多个阶段;并发不足时有气泡和设备空闲 |
先明确需求是“更多请求”“单模型放不下”还是“缩短单请求计算时间”,再结合设备互联、批次和延迟目标选择;这些方式可以组合,但增加设备不等于线性提速。
16. 什么时候优先考虑数据并行,什么时候考虑张量/流水线并行?
回答: 若单卡已能承载模型和目标并发,且目标是扩展总体请求吞吐,可先评估数据并行副本;若权重或单请求计算无法在单卡满足,再考虑张量或流水线拆分。张量并行通常需要较低延迟、高带宽互联;流水线并行在并发较低时可能有阶段气泡。
验证: 先测单卡基线和真实请求,然后测扩卡后的单请求时延、总吞吐、通信占比、显存峰值和利用率。部署拓扑需同时看卡内、节点内与跨节点互联。
17. CPU Offload 能解决什么,代价是什么?
回答: Offload(卸载)把部分模型状态放到 CPU 内存,在 GPU 显存不足时扩大可运行模型的容量。代价是 CPU/GPU 数据传输、内存带宽、同步和调度;若权重频繁跨 PCIe 搬运,生成时延可能显著上升。
选择: 它可作为容量不足时的折中或低吞吐场景方案。必须明确是权重、KV 还是其他状态被卸载,测量传输是否位于每步关键路径,并与量化/多卡/较小模型进行同负载成本比较。
18. 如何设计一份可信的推理压测?
回答: 固定并记录模型和权重版本、Tokenizer/聊天模板、硬件和互联、软件版本、量化/缓存精度、提示和输出长度分布、并发数、请求到达模式、采样参数以及缓存冷热状态。先跑预热,再使用代表性负载多次测量。
至少报告 TTFT、TPOT、端到端延迟的 P50/P95/P99、请求吞吐、Token 吞吐、错误/超时率和峰值显存;同时注明指标定义、测量窗口和输出 Token 是否计入统计。线上目标要覆盖长尾输入和并发变化,不只测单个短 Prompt。
易错点: 把合成短问题的结果当生产结论;只给 tokens/s 不交代是总服务还是单卡;没有记录软件版本和量化格式。
19. GPU 利用率不高就一定是模型太小或 GPU 不够吗?
回答: 不一定。设备低利用率可能因为请求到达太稀、批次不足、CPU Tokenizer/后处理、网络/队列、Padding、同步等待或多卡通信。应该沿完整链路看时间,而不只盯一个利用率百分比。
诊断次序: 查看输入到达率和排队;拆分 CPU 预处理、Prefill、Decode、网络和后处理;观察批次大小、显存带宽、计算利用率及互联通信;最后再测试动态批处理、输入管线或并行配置。
验证: 在不改变质量的前提下逐项调整,并比较 TTFT/TPOT、P95、总吞吐、错误率和成本。
20. 给定“7B 模型、目标并发、长上下文”,你会怎样提出部署方案?
回答框架:
- 澄清需求: 使用哪些任务、提示与生成长度分布、目标并发、TTFT/TPOT/P95、质量底线、数据隐私、可用硬件和成本上限。
- 估算容量: 按模型配置与权重精度估权重;按层数/KV 头/头维/缓存精度/上下文/并发估 KV;另留运行时、工作区和安全余量。
- 建立基线: 选择可复现模型与框架版本,测实际质量、延迟、吞吐、峰值显存和错误率。
- 按瓶颈试验: 权重占主导则比较量化/模型副本;KV 占主导则检查上下文与并发、KV 精度及缓存调度;计算或通信占主导则再测低精度内核、张量/流水线并行。
- 上线验收: 做长输入、峰值并发、失败恢复、安全与权限测试,设置超时/限额/监控;分阶段上线并保留回退方案。
收尾: 在没有具体硬件、模型架构和负载分布时,我只给估算范围与测量计划,不报“保证支持多少并发”。
参考资料
- 大模型推理与性能优化
- 面试合集:《大模型(LLMs)推理面》《大模型(LLMs)推理加速篇》《大模型(LLMs)显存问题面》《大模型(LLMs)分布式训练面》。
- PagedAttention 原始研究:https://arxiv.org/abs/2309.06180。
- FlashAttention 原始研究:https://arxiv.org/abs/2205.14135。
- GPTQ 原始研究:https://arxiv.org/abs/2210.17323。
- AWQ 原始研究:https://arxiv.org/abs/2306.00978。
追问演练补充(按上文题号)
以下问题为独立追问,按编号回到原题练习;数字题先写明架构、精度和容量假设。
原题 2:若批次 2、缓存长度 4096、32 层、8 个 KV 头、每头 128 维、BF16,KV Cache 约占多少?
追问回答: 每 Token、每序列约 $2\times32\times8\times128\times2=131072$ 字节,即 128 KiB;乘 4096 Token 得约 512 MiB/序列,批次 2 约 1 GiB。该估算不含块管理、对齐、临时张量及框架开销;变长序列应逐条按实际缓存长度求和。
原题 4:7B 参数的 BF16 权重为什么通常估成约 14 GB,而不是 7 GB?
追问回答: 每参数 BF16 通常占 2 字节,所以 $7\times10^9\times2=14\times10^9$ 字节,按十进制约 14 GB、按二进制约 13.0 GiB。模型加载还需运行时工作区、KV Cache、激活/临时缓冲和显存余量,因此不能把权重容量当成整机部署容量。
原题 7:量化模型“文件更小、回答质量看起来也可以”,还应检查哪些证据?
追问回答: 在同一提示集和硬件上比较量化前后的任务准确性、格式失败、长上下文与长尾样例,并记录峰值显存、TTFT、TPOT、吞吐和尾延迟。模型能成功加载不等于内核真正使用了低比特算子;还要查量化格式、算子回退、解量化开销及批次下的实测性能。
原题 8:模型权重用了 4 bit,就能断言它比 W8A8 推理快吗?
追问回答: 不能。W4A16 与 W8A8 的激活精度、矩阵算子、硬件支持和内存带宽行为不同;4 bit 权重可能省带宽,却因反量化或内核不适配更慢。应在同型号 GPU、同软件栈、同输入长度和批次下压测质量、吞吐与尾延迟。
原题 9:TTFT 很低但总完成时间长,通常说明什么?
追问回答: 首 Token 已较快返回而后续生成慢,问题更可能在 Decode 阶段、输出长度、KV Cache 读取、并发排队或单 Token 调度。分别记录首 Token 时间、生成 Token 数、TPOT 分位数和队列时间,并用相同输出上限对照,避免把生成得更长误当成单步速度下降。
原题 10:如何判断 TTFT 高是 Prefill 慢还是请求排队?
追问回答: 给请求打时间戳,分开统计入口排队、批次等待、Prefill 计算和首 Token 返回时间;同时改变提示长度与并发。若低并发短提示仍慢,检查模型加载/Prefill 内核;若排队时间随并发陡升而单请求计算时间稳定,则优先处理调度、容量或限流。
原题 11:TPOT 随并发上升而恶化,首先应看什么?
追问回答: 对齐每请求的 Decode 时间与批次组成,观察 KV Cache 占用、显存带宽、GPU 利用、批次等待和抢占/驱逐。高并发可能提高吞吐却拉长单用户 TPOT;测试时应同时报告吞吐和 p95/p99 TPOT,明确服务目标是总吞吐还是交互时延。
原题 12:连续批处理为何能提高 GPU 利用率,又会引入什么调度难题?
追问回答: 请求完成后可把新请求加入仍在解码的批次,减少等待整批结束的空闲。但不同请求长度、KV 显存、优先级和取消时间不同,调度器必须管理显存块、饥饿、抢占及公平性;应验证混合长短请求下的尾延迟与缓存碎片。
原题 13:PagedAttention 与 FlashAttention 能互相替代吗?
追问回答: 不能简单替代。PagedAttention 主要以分页/块式管理 KV Cache,改善动态请求显存利用与批处理;FlashAttention 主要通过分块与 IO 感知算法降低注意力中间数据读写。它们作用层次不同,可以在系统中组合,实际收益取决于框架实现与负载。
原题 14:量化后只看到显存下降,速度没提升,如何形成可验证解释?
追问回答: 先确认延迟瓶颈是否原本由权重带宽决定;再看量化内核是否生效、是否发生高开销解量化/算子回退、批次是否太小,以及瓶颈是否转到 KV Cache 或通信。用 profiler(性能分析器)和相同负载逐层比较,分开报告显存、吞吐、首字延迟和质量,而不以权重文件大小推断速度。
原题 15:张量并行为什么可能被跨卡通信拖慢?
追问回答: 张量并行把单层矩阵计算拆到多个设备,部分结构需要在层间执行 All-Reduce 等同步通信;当单卡计算量小或互联带宽/延迟不足时,通信占比会上升。记录通信耗时、互联带宽与计算利用率,并比较单卡、张量并行和更大批次,不能只看 GPU 数量。
原题 16:什么时候增加副本比扩大单个模型的张量并行更合适?
追问回答: 若单卡/单节点能放下模型且主要目标是服务更多相互独立请求,复制多个实例再负载均衡通常可避免跨卡通信;若模型无法单卡容纳或单请求计算/显存确实需要多卡,才考虑 TP/PP。用目标并发、模型容量、互联和单用户时延约束做小规模基准。
原题 17:CPU Offload 能运行更大模型,为什么常让时延恶化?
追问回答: Offload 把部分权重或状态放在主存,执行时要经 CPU/GPU 总线搬运;模型层反复访问这些数据时,传输和同步延迟可能抵消容量收益。适合显存是硬约束且可接受较慢推理的场景;需实测 PCIe/互联传输、并发和每 Token 时延。
原题 18:压测中只报平均 tokens/s,为什么不够?
追问回答: 平均值会掩盖排队长尾、请求长度差异、超时、错误和少数用户体验。固定并公开提示/输出长度分布、并发阶梯、热身、模型版本与硬件;报告成功率、TTFT/TPOT 的 p50/p95/p99、总吞吐、峰值显存和成本,并重复多轮。
原题 19:GPU 利用率低但请求延迟高,你会检查哪些非 GPU 原因?
追问回答: 检查请求是否卡在网络、Tokenization、CPU 预处理、队列、锁、工具调用、数据加载或同步等待;再看批次太小、请求稀疏、内核启动开销和监控采样窗口。用端到端 trace(追踪)分段计时,不能仅凭 GPU 百分比判断硬件不足。
原题 20:如果负载预计一半是短请求、一半是长上下文,如何修正“并发”估算?
追问回答: 不能只给请求数;按提示长度、输出长度、同时驻留 KV、到达率和目标尾延迟建负载模型。分别压短/长请求及混合比例,观察调度公平性与显存水位,再决定连续批处理、最大上下文、限流、分池或多副本策略,并留下峰值余量。
原始来源文件
以下列出本篇整理所依据的代表性原件;同主题重复版本与完整状态请查阅 source-manifest.csv。
Raw sources/002.大模型面试合集202605161/31-LLM-Interview-Plus/大模型(LLMs)推理加速篇.pdfRaw sources/002.大模型面试合集202605161/31-LLM-Interview-Plus/大模型(LLMs)显存问题面.pdf