AI · 面试
大模型推理与部署面试题库
围绕 KV Cache、显存估算、量化、延迟吞吐、批处理、并行和压测的详细面试问答。 大模型推理与部署面试题库 怎么使用这份题库 先用一句话回答,再讲机制、写出估算假设,最后补充如何验证。推理问题往往没有脱离模型、硬件、上下文长度、并发和服务目标的唯一数字答案。遇到“能跑多少并发”“量化后快几倍”等问题,应先问清输入条
正在读取最新同步的笔记,请稍候。
KNOWLEDGE INDEX / 知识索引
从 Obsidian 同步而来的个人知识索引。按主题翻阅,或直接找到记忆里的那句话。
支持搜索标题、正文与标签,筛选状态会保存在网址中。
检索结果
围绕 KV Cache、显存估算、量化、延迟吞吐、批处理、并行和压测的详细面试问答。 大模型推理与部署面试题库 怎么使用这份题库 先用一句话回答,再讲机制、写出估算假设,最后补充如何验证。推理问题往往没有脱离模型、硬件、上下文长度、并发和服务目标的唯一数字答案。遇到“能跑多少并发”“量化后快几倍”等问题,应先问清输入条