AI · 训练与推理
大模型推理与性能优化
从推理阶段、KV Cache 和内存构成出发理解延迟、吞吐量与优化取舍。 大模型推理与性能优化 摘要 推理性能不仅由参数量决定,还受权重精度、上下文长度、KV Cache、批处理、硬件带宽和运行框架影响。优化应先测量瓶颈,再在质量、延迟、吞吐和资源之间做取舍。 正文 1. 推理过程与指标 推理通常包含 Prefill(
正在读取最新同步的笔记,请稍候。
KNOWLEDGE INDEX / 知识索引
从 Obsidian 同步而来的个人知识索引。按主题翻阅,或直接找到记忆里的那句话。
支持搜索标题、正文与标签,筛选状态会保存在网址中。
检索结果
从推理阶段、KV Cache 和内存构成出发理解延迟、吞吐量与优化取舍。 大模型推理与性能优化 摘要 推理性能不仅由参数量决定,还受权重精度、上下文长度、KV Cache、批处理、硬件带宽和运行框架影响。优化应先测量瓶颈,再在质量、延迟、吞吐和资源之间做取舍。 正文 1. 推理过程与指标 推理通常包含 Prefill(