AI · 面试
大模型推理与部署面试题库
围绕 KV Cache、显存估算、量化、延迟吞吐、批处理、并行和压测的详细面试问答。 大模型推理与部署面试题库 怎么使用这份题库 先用一句话回答,再讲机制、写出估算假设,最后补充如何验证。推理问题往往没有脱离模型、硬件、上下文长度、并发和服务目标的唯一数字答案。遇到“能跑多少并发”“量化后快几倍”等问题,应先问清输入条
正在读取最新同步的笔记,请稍候。
KNOWLEDGE INDEX / 知识索引
从 Obsidian 同步而来的个人知识索引。按主题翻阅,或直接找到记忆里的那句话。
支持搜索标题、正文与标签,筛选状态会保存在网址中。
检索结果
围绕 KV Cache、显存估算、量化、延迟吞吐、批处理、并行和压测的详细面试问答。 大模型推理与部署面试题库 怎么使用这份题库 先用一句话回答,再讲机制、写出估算假设,最后补充如何验证。推理问题往往没有脱离模型、硬件、上下文长度、并发和服务目标的唯一数字答案。遇到“能跑多少并发”“量化后快几倍”等问题,应先问清输入条
从推理阶段、KV Cache 和内存构成出发理解延迟、吞吐量与优化取舍。 大模型推理与性能优化 摘要 推理性能不仅由参数量决定,还受权重精度、上下文长度、KV Cache、批处理、硬件带宽和运行框架影响。优化应先测量瓶颈,再在质量、延迟、吞吐和资源之间做取舍。 正文 1. 推理过程与指标 推理通常包含 Prefill(