大模型推理与性能优化
摘要
推理性能不仅由参数量决定,还受权重精度、上下文长度、KV Cache、批处理、硬件带宽和运行框架影响。优化应先测量瓶颈,再在质量、延迟、吞吐和资源之间做取舍。
正文
1. 推理过程与指标
推理通常包含 Prefill(处理输入上下文)和 Decode(逐步生成)。常看指标包括首 Token 延迟、每 Token 延迟、端到端响应时间、吞吐量、并发能力和显存峰值。长输入往往增加 Prefill 成本;长输出会增加 Decode 时间和 KV Cache 占用。
KV Cache 缓存注意力层中历史 Token 的 Key、Value,避免每一步重复计算旧上下文,但会随着并发请求、上下文长度和模型层数增加而占用更多显存。
2. 显存粗略估算
权重显存可先粗估为:
参数数量 × 每个参数占用字节数
例如低精度权重会比高精度占用少,但实际总显存还要加上 KV Cache、激活、临时缓冲、运行时和碎片。因此该公式只是下限估算,不能直接当作部署规格。
训练通常还需保存梯度、优化器状态和中间激活,显存需求明显不同于推理。混合精度、梯度检查点、优化器切分和并行策略会改变占用。
3. 常见优化维度
- 量化:减少权重存储和带宽压力;需检查任务质量和硬件内核支持。
- 蒸馏:用较小学生模型学习教师模型行为;适合把能力迁移到更低成本模型。
- 批处理:提高 GPU 利用率,但可能增加单请求等待时间。
- 缓存:复用重复前缀、提示或检索结果,注意缓存隔离与失效。
- 并行:数据并行适合扩展样本处理;张量并行切分权重计算;流水线并行按层分布。跨卡通信和负载不均可能抵消收益。
- 推理引擎:图优化、编译和内存管理可能加速执行,但需针对模型与硬件验证。
4. 选择优化方案
固定模型、输入长度、输出长度、批大小和硬件,建立可重复基线;分别测量预处理、Prefill、Decode、排队与网络时间;先解决主要瓶颈;每次只变更一个因素,记录质量、延迟、吞吐和资源;用真实任务回归评估,避免只优化合成测试。
量化可能降低回答质量,增加批量可能损害交互延迟,分布式部署会带来通信成本;不存在适用于所有场景的单一最佳参数。
5. 显存估算与生成参数
权重显存的初步估算是“参数量 × 每个参数的字节数”。例如,参数以 16-bit 浮点数保存时,每个参数约占 2 字节;以 8-bit 保存时约占 1 字节。实际显存还包括量化比例等元数据、运行时缓存和临时缓冲,所以不能把权重文件大小直接当成服务器显存需求。
KV Cache(键值缓存)的粗略公式为:
缓存字节数 ≈ 2 × 层数 × KV 头数 × 每头维度 × 缓存 Token 数 × 每元素字节数 × 并发序列数
式中的 2 分别对应 Key 与 Value。分组查询注意力(GQA)或多查询注意力会改变 KV 头数;分页、前缀共享和框架实现也会改变实际分配。因此该公式用于理解趋势,不替代实际压测。上下文越长、并发越高,KV Cache 越可能成为显存瓶颈。
常见生成参数各有不同作用:
max_new_tokens限制最多生成多少新 Token;输入上下文本身不计入这个上限。temperature调整概率分布的尖锐程度;温度降低通常使高概率候选更突出,但不保证事实正确。top_p(核采样)只从累计概率达到阈值的一组候选中采样;它和温度共同影响多样性。top_k只保留概率最高的 K 个候选。是否支持以及默认值取决于具体推理接口。- 重复惩罚、停止词等参数用于控制重复或终止位置,配置过强会损害自然度或截断有效答案。
确定性复现还取决于模型版本、提示、Tokenizer、采样参数、随机种子、并行执行和服务端实现。记录参数时应连同这些条件一起记录。
6. 推理框架与压测方法
课程材料提到 vLLM 的 PagedAttention(分页式注意力内存管理)与连续批处理,以及 TensorRT、FasterTransformer、TGI 等推理或服务化方案。这些名称适合用来理解“内存管理、算子融合、批处理、模型服务”几个优化方向,不代表在今天或所有硬件上始终由某个框架最快。框架能力会随版本、模型架构、量化格式和 GPU 支持变化,正式选型前要按当前文档和实际模型测试。
一次可比较的压测至少固定并记录:模型与权重精度、硬件、提示长度、输出长度、并发数、批处理设置、采样参数和软件版本。分别统计首 Token 延迟(TTFT)、每输出 Token 时间(TPOT)、端到端延迟的 P50/P95、吞吐量、错误率、显存峰值和单次请求成本。短问题的交互场景更关注响应延迟;离线批任务更关注吞吐与总成本。平均值会掩盖长尾,不能只看一个 tokens/s 数字。
7. 显存或速度异常时的排查顺序
- 确认权重精度、KV Cache 设置和是否有多份模型副本。
- 检查输入长度、最大输出长度、并发请求及批处理是否超出预期。
- 通过框架指标或 Profiler(性能分析器)区分计算、显存带宽、通信、CPU 预处理和排队瓶颈。
- 每次只调整一个因素,在固定质量测试集上复测。
- 若使用 CPU Offload(将部分权重移至内存),同时测量 PCIe 传输和延迟;省下显存不一定换来更快服务。
8. Prefill 与 Decode 的计算差别
一次生成请求可拆成输入处理和输出生成两段:
| 阶段 | 处理什么 | 计算特征 | 常见瓶颈 |
|---|---|---|---|
| Prefill(输入预填充) | 一次处理整段 Prompt,并生成各层的 Key/Value | 同一层可以并行计算多个输入 Token;长输入会增加注意力计算 | 长上下文计算、输入排队、临时激活 |
| Decode(逐步解码) | 根据已有上下文每步生成一个或少量新 Token | 每步之间存在自回归依赖;通常读取模型权重和历史 KV | 权重/KV 显存带宽、并发、逐步调度 |
对单请求、低批次的 Decode,常会受显存带宽限制;长 Prompt 的 Prefill 常会呈现更高的计算负载。这是常见倾向,不是固定定律:批次、硬件、模型结构、量化内核和并发都会改变瓶颈。
KV Cache 让 Decode 不必为每个新 Token 重新算过去 Token 的 Key/Value。但新 Token 仍需与已缓存 Key 做注意力,并读取可用历史 Value;随着上下文增长,每步工作和缓存读取也会增长。KV Cache 节省的是重复投影与历史层状态重算,不是把生成变成与上下文完全无关的常数时间。
9. KV Cache 显存公式与算例
对一个 Decoder 模型、每个请求缓存长度相同的简化情况:
$$ M_{KV}=B\times T\times N_L\times 2\times H_{KV}\times D_H\times S $$
- $B$:同时驻留的序列数;每个请求长度不同时,应按各请求长度求和。
- $T$:已缓存 Token 数,通常包含 Prompt 与已经生成的 Token。
- $N_L$:Transformer 层数。
- $H_{KV}$:Key/Value 头数。标准多头注意力通常与 Query 头数相同;GQA/MQA 会更少。
- 数字 2:分别计入 Key 与 Value。
- $D_H$:每个 KV 头的维度。
- $S$:每个 KV 元素占用字节数。例如 BF16/FP16 通常为 2 字节,FP32 为 4 字节;量化 KV Cache 的有效字节数需额外考虑比例、零点或分组元数据。
算例:假设 32 层、8 个 KV 头、每头 128 维,KV 使用 BF16(2 字节),每条序列缓存 8192 Token。
每个 Token 的缓存:
$$ 2\times32\times8\times128\times2 =131{,}072\ \text{bytes}=128\ \text{KiB} $$ 单条 8192 Token 序列约占 $128\ \text{KiB}\times8192=1\ \text{GiB}$。8 条同长度序列约需 8 GiB KV Cache。实际实现还可能有分页块取整、对齐、临时张量、共享前缀或量化格式等差异,因此这是容量趋势估算,不是某个推理引擎的精确分配值。
10. 权重与总显存估算
设模型参数量为 $P$,每个权重平均储存 $S_W$ 字节,则权重原始占用约为:
$$ M_W=P\times S_W $$ 若某个 7B 模型以 BF16/FP16(每参数 2 字节)保存,权重十进制大小约 $7\times10^9\times2=14$ GB,换成二进制约为 13.0 GiB。若只按 4 bit(每参数理论 0.5 字节)计算,原始权重约 3.5 GB;实际加载通常会更大,因为量化比例、分组元数据、非量化层、工作区和运行时都要占空间。
务必区分:
- GB 是 $10^9$ 字节;GiB 是 $2^{30}$ 字节。两者换算差约 7.4%。
- 权重文件大小只是权重存储的估计,不包括 KV Cache、计算工作区、CUDA/驱动上下文、内存碎片和并发请求。
- 推理通常不保存全模型梯度和优化器状态;训练/全参数微调必须额外考虑它们和激活,不能套用推理公式。
可以先用:
$$ M_{GPU}\approx M_W+M_{KV}+M_{runtime}+M_{workspace}+M_{reserve} $$ 做容量规划。对可用显存作保守预留后,再用实际请求长度、并发和最大新 Token 压测。不要把“权重刚好装得进卡”当成“服务可以安全接请求”。
11. 量化:节省什么,不保证什么
量化(Quantization)用较少的位表示权重或激活值。简化的线性量化可写成:
$$ x\approx s(q-z) $$ 其中 $x$ 是原浮点值,$q$ 是低位整数表示,$s$ 是缩放系数,$z$ 是零点。真实实现可能按张量、通道或小组使用不同的比例,也可能使用非均匀码本;量化元数据因此会增加额外占用。
常见精度记法:
- W4A16:权重约 4 bit,激活约 16 bit;通常主要减少权重存储与 Decode 读带宽。
- W8A8:权重与激活约 8 bit;若硬件具备高效低精度矩阵内核,可能提升计算密集阶段效率。
- KV Cache 量化:单独降低缓存元素精度,影响上下文驻留容量;这与权重量化不是同一项开关。
GPTQ 与 AWQ 是不同的训练后权重量化方法(Post-Training Quantization,PTQ)。它们使用校准统计或误差补偿来减少低位量化带来的输出误差,但部署时仍要检查目标硬件、量化格式、算子内核和任务表现。量化不自动等于加速:若低位内核不受支持、解量化开销高或批次已受其他瓶颈限制,速度可能不升反降。
量化验证至少覆盖:
- 代表性任务准确率/人工质量、长上下文与多语言样例。
- 量化前后的困惑度或任务级指标,观察特定层/输出退化。
- 相同硬件与负载下的 TTFT、TPOT、吞吐、显存峰值和功耗/成本。
- 工具调用、JSON 格式、拒答、安全与重复等回归场景。
12. 延迟、吞吐与压测口径
速度讨论前先说明从哪个时间点计时。本文采用以下口径;实际框架或平台的指标名称可能不同:
- TTFT(首 Token 延迟):请求进入服务至第一个输出 Token 到达。通常包含排队、调度、模型加载/路由、Prefill 和首 Token 采样。
- TPOT(每输出 Token 时间):从第一个 Token 之后,平均相邻输出 Token 间隔;一种明确计算方式是 $(t_{last}-t_{first})/(N_{out}-1)$,仅当输出不少于 2 个 Token 时计算。
- 端到端延迟:请求进入服务至最后一个输出 Token 返回。
- 请求吞吐:单位时间完成的请求数。
- Token 吞吐:单位时间生成的 Token 总数;应说明是整个服务、单卡还是每 GPU 的数字。
TTFT 高可能来自长 Prompt、排队、CPU Tokenizer、网络或 Prefill;TPOT 高可能来自 Decode 算力/带宽、KV Cache 读取、低利用率或通信。端到端时间同时受到输入长度、输出长度、排队和系统网络影响,不能仅凭一个“tokens/s”归因。
可复现压测要固定并记录:模型与量化版本、Tokenizer/聊天模板、硬件和卡间互联、提示长度分布、输出长度上限、并发和请求到达模式、批处理/调度设置、软件版本、采样参数与缓存冷热状态。报告 P50/P95/P99、错误/超时、吞吐与显存峰值。只报平均值可能掩盖长尾;只用短 Prompt 或单请求基准也不能代表生产负载。
13. 批处理、连续调度与分页 KV
静态批处理把一批请求放在一起,通常要等整批或较长请求结束才重新组成下一批;短请求可能被长请求拖住。连续/在途批处理在每轮 Decode 后按请求完成情况重新组批,可以让新请求进入并释放已完成请求的资源,提高繁忙服务的设备利用率。效果仍取决于调度策略、Prefill 与 Decode 竞争及服务延迟目标。
PagedAttention(分页式注意力内存管理)将 KV Cache 按固定块分配,而不要求每个请求在显存中占一段连续大区域,减少动态长度请求造成的碎片,并可支持共享前缀等内存管理策略。它解决的是缓存分配/管理与服务批次效率问题,不会把所有请求的真实 KV 数据凭空消除,也不改变标准全注意力的计算阶数。
FlashAttention 是另一类优化:通过分块计算并减少高带宽显存与片上存储之间的读写,避免完整物化部分注意力中间矩阵。经典 FlashAttention 仍计算精确注意力,其主要贡献是减少 IO 和中间存储,而不是把注意力从 $O(T^2)$ 变成线性算法。二者优化对象不同:一个偏向 KV 管理/服务内存,一个偏向注意力算子的 IO 效率。
14. 推理并行与硬件取舍
| 并行方式 | 推理时怎么分 | 常见收益 | 主要代价 |
|---|---|---|---|
| 数据并行 | 每张卡/设备保留完整模型副本,路由不同请求 | 扩展服务总吞吐与并发 | 单个请求通常仍只跑一个副本;每副本都需容纳权重 |
| 张量并行 | 把层内矩阵和注意力头切分到多设备 | 单卡放不下权重时分摊内存;高速互联下可并行计算 | 层间/层内频繁集体通信;互联慢时延迟可能变差 |
| 流水线并行 | 把不同层放到不同设备,数据按层依次流过 | 分摊层权重,适合模型太大无法在少量单卡容纳 | 单请求需经过多个阶段;并发不足时出现流水线空闲与气泡 |
这些方式可以组合,但不能只看卡数。先测单卡基线、模型是否能容纳、显存压力和通信时间;数据并行优先扩吞吐,张量并行/流水线并行优先解决模型容量或单请求计算拆分。张量并行尤其依赖高速卡间互联;普通跨机网络可能让通信抵消计算。
CPU 推理或 CPU Offload 有助于容量不足时运行模型,但一般需要评估内存带宽、CPU 算力、PCIe 传输和并发。将权重在 CPU 与 GPU 间来回搬运可能显著增加延迟。结论应以实际机器、量化格式和请求长度为准,不引用旧课件中的固定 CPU/GPU 速度比。
15. 优化的分层排查
- 先把质量要求和延迟/吞吐目标写清楚,收集实际输入、输出长度与并发分布。
- 分开测队列、路由/网络、Tokenize、Prefill、Decode 与后处理时间。
- 若受权重显存或 Decode 带宽限制,比较更低权重精度、权重量化和部署内核;若受 KV 容量限制,检查上下文上限、并发、KV 头数、缓存精度和分页策略。
- 若设备算力利用率低,检查批次、连续调度、Padding、Tokenizer/CPU 预处理和请求到达模式;再考虑算子融合、FlashAttention 或图编译。
- 多卡时通过 Profiler/设备指标分辨计算、显存带宽和通信占比;检查互联拓扑,不要直接增加卡数。
- 每次改一个主要变量,同步记录任务质量、TTFT、TPOT、P95、吞吐、错误率和峰值显存。
工具名称与接口会更新。旧面试材料里出现的 FasterTransformer、TGI、Transformers/vLLM 命令行和参数仅用于理解技术类别,不作为当前可复制部署教程;选型时以目标版本的官方文档、模型支持列表和真实基准为准。
相关笔记
- 大模型基础原理
- 大模型训练微调与对齐
- 训练与推理面试精选
- 大模型推理与部署面试题库
参考资料
- 《大模型(LLMs)推理面》《大模型(LLMs)推理加速篇》《大模型(LLMs)显存问题面》《大模型(LLMs)分布式训练面》《大模型(LLMs)蒸馏面》。
- 其中旧硬件性能数字、旧框架支持情况和旧命令示例不作为当前部署结论。
- 《大模型的本地部署和微调》课件:选读部署选择、显存估算、模型失败原因相关页;其中每 B 参数固定显存、LoRA 固定参数百分比、固定数据条数等数值未当作普遍规律。
- PagedAttention 原始研究:https://arxiv.org/abs/2309.06180。
- FlashAttention 原始研究:https://arxiv.org/abs/2205.14135。
- GPTQ 原始研究:https://arxiv.org/abs/2210.17323。
- AWQ 原始研究:https://arxiv.org/abs/2306.00978。
- KV 公式是标准 Decoder 自注意力下的容量估算;示例明示层数、KV 头数、头维度、缓存长度、批次数和缓存精度,不替代目标推理框架压测。
原始来源文件
以下列出本篇整理所依据的代表性原件;同主题重复版本与完整状态请查阅 source-manifest.csv。
Raw sources/002.大模型面试合集202605161/31-LLM-Interview-Plus/大模型(LLMs)分布式训练面.pdfRaw sources/002.大模型面试合集202605161/31-LLM-Interview-Plus/大模型(LLMs)推理加速篇.pdf