大模型面试精选(资料整编)
使用方法
先尝试用自己的话回答,再对照要点补充机制、权衡和边界。技术回答可按“定义 → 原理 → 适用场景 → 局限或风险 → 验证方式”组织。以下是第一批精选框架,不等同于 89 份题库文件的逐题转写;后续还要从题库中继续筛选高价值且不重复的问题。
一、基础原理
1. 大语言模型如何生成文本?
Tokenizer 把文本拆成 Token ID,模型通过 Embedding、位置信息和 Transformer 计算上下文表示,再预测后续 Token 的分布。解码策略选择一个 Token 并追加到上下文,重复直到停止。概率生成解释了流畅性,但不保证事实正确。
2. 自注意力的 Q、K、V 分别做什么?
Query 表示当前位置要寻找什么,Key 表示各位置可匹配的特征,Value 携带被汇总的信息。模型根据 Query 与 Key 的相关性计算权重,再对 Value 加权。多头注意力在多个子空间并行学习关系。
3. Decoder-only、Encoder-only 和 Encoder-Decoder 有什么区别?
常见 Decoder-only 使用因果掩码逐 Token 生成;Encoder-only 双向读取输入,常用于表示或理解任务;Encoder-Decoder 先编码输入,再生成输出。实际模型可能采用变体,应结合具体架构和目标回答。
4. Token 数为什么不等于汉字数?
Tokenizer 会按词表把文字、词片段、符号和空格切成不同 Token。不同语言和代码的切分长度不同,上下文窗口和用量通常按 Token 计量。
5. Temperature、Top-p 和 Top-k 有什么作用?
它们改变采样时的候选集合或随机性,不会给模型补充事实,也不能单独保证正确。参数应通过目标任务评测选择。
6. 为什么模型会产生幻觉?
训练数据噪声、知识缺失、上下文误读、检索失败、生成偏差和评测目标不匹配都可能造成错误。应区分事实错误与证据不支持,再说明对应缓解方法。
二、训练、微调与推理
7. 预训练、SFT 和偏好对齐分别解决什么问题?
预训练学习大规模序列中的通用模式;SFT 用指令示例塑造任务交互;偏好对齐让输出更符合行为目标。具体数据和算法因模型而异,不存在唯一流水线。
8. LoRA 如何降低微调成本?
LoRA 冻结大部分原模型参数,在部分权重变换中加入可训练的低秩更新矩阵,只更新少量参数。它降低训练状态规模,但效果受目标层、秩、数据和任务影响,不能保证等同全量微调。
9. KV Cache 解决什么问题?有什么代价?
自回归生成时保存先前 Token 的 Key/Value,避免每一步重复计算整个历史。它降低解码重复计算,但占用显存;上下文越长、并发越高,内存压力通常越大。
10. Prefill 与 Decode 有什么区别?
Prefill 处理输入提示并建立上下文状态;Decode 逐 Token 生成输出。两阶段计算形态不同,服务优化要分别关注首 Token 延迟、生成速度、批处理和显存。
11. 量化一定会降低模型效果吗?
量化用较低精度表示部分权重或激活,降低显存并可能提升吞吐。精度损失取决于方法、位宽、模型和任务,应在目标数据上测质量、延迟与内存。
三、RAG 与知识库
12. 什么是 RAG?为什么使用它?
RAG 先检索外部资料,再把证据提供给模型生成。它适合私有或更新知识场景,可保留来源;检索或解析错误会影响回答,不能说它能消灭幻觉。
13. RAG 的主要链路是什么?
采集解析文档、清洗切分、向量化建索引、查询改写、召回过滤、重排、组装上下文、生成并返回引用,最后评估检索和生成结果。
14. 为什么要混合检索?
向量检索擅长语义相似,关键词检索擅长精确术语、编号和名称。混合可覆盖两种查询,但仍要检查索引、排序、重复结果和过滤规则。
15. 为什么需要 Reranker?
初次召回强调覆盖,可能把相似但不相关的片段排靠前。Reranker 对较小候选集精细排序,提升上下文质量,但会增加延迟和成本。
16. 如何评估 RAG?
检索侧看 Recall@K、Precision@K 和排序;生成侧看正确性、相关性、证据忠实度与引用准确率;系统侧看延迟、成本、拒答和权限。检索和生成要分开定位。
四、Agent、MCP、Skill 与框架
17. Agent 和固定工作流有什么区别?
固定工作流预先确定步骤;Agent 根据中间结果决定下一步,可能调用工具。Agent 更灵活,但更难预测、成本更高、风险更大。流程可预先定义时优先固定工作流。
18. Tool Calling 的工具由谁执行?
模型提出工具名称和参数,宿主应用或运行时校验后执行,再把结果返回模型。模型输出本身不是已经完成的外部操作;权限校验不能只靠提示词。
19. MCP 与普通 API 有什么区别?
API 描述具体服务的接口;MCP 约定 AI 应用与外部能力之间的标准化连接和发现方式。MCP 可统一接入多个服务,但不替代身份验证和授权。
20. Agent Skill 和 MCP 有什么区别?
Skill 打包“怎样完成任务”的说明、参考材料和可选脚本;MCP 负责“怎样连接外部数据或工具”。Skill 不等于工具授权,脚本和来源同样需要审查。
21. LangChain 和 LangGraph 如何选?
LangChain 提供模型、消息、工具、结构输出和 Agent 等应用抽象;LangGraph 显式表达状态、节点、分支和循环,适合持久化、恢复或人工审批流程。API 随版本变化,代码按课程或项目版本核对。
22. LangGraph 的 State、Node、Edge 是什么?
State 保存共享数据;Node 读取状态并返回更新;Edge 决定后续节点。并行节点更新同一字段时,需要明确 reducer 规则。
23. 为什么需要 Checkpointer 和 thread_id?
Checkpointer 保存状态快照,thread_id 把快照关联到一段会话,以支持多轮继续、故障恢复或中断恢复。生产环境还要有用户隔离、权限检查和保留规则。
24. 如何安全执行高风险工具?
采用最小权限、服务端身份和参数校验、只读与写入分离、重要操作二次确认、超时限额、审计日志和幂等保护。外部内容应视为不可信数据。
五、评测与项目设计
25. Benchmark 分数为什么不能代表完整产品质量?
分数只说明特定数据集、题型和评分标准下的表现。真实场景还有长尾问题、时效、隐私、延迟和成本;测试集也可能与训练数据重合。
26. 如何设计模型应用的回归测试?
建立覆盖常见输入、边界条件、无答案、对抗内容和权限条件的样本集。每次更换模型、提示词、索引或工具后,比较分领域指标、失败案例、成本和延迟。
27. 如何判断错误来自检索还是生成?
查看检索候选。没有找到正确证据,排查解析、切分、查询和排序;有证据但答错,排查上下文组装、指令、引用和生成忠实度。串联各阶段日志可缩短排错时间。
28. 如何避免 Agent 无限循环和成本失控?
设置工具白名单、最大迭代数、Token 或费用预算、超时和停止条件;记录模型与工具调用,检测重复动作,失败时提供明确退出结果,必要时转人工。
29. 如何处理无答案的问题?
检测证据是否充分,允许明确拒答或请求补充条件。评测时同时记录正确回答率与恰当拒答率,避免模型为了“必须回答”从记忆中猜测。
30. 面试回答怎样避免只背术语?
先说机制,再给端到端链路,接着讲适用场景和取舍,最后补充失败模式与验证方式。解释一个具体例子通常比堆框架名称更有说服力。
进一步自测
- 用自己的话画出 Token 到输出文本的流程。
- 画出 RAG 离线与在线链路,并标注三个失败点。
- 设计一个需要人工批准工具调用的 LangGraph 流程。
- 对一条回答分别判断它是否正确、是否有证据、引用是否准确。
- 为每个答案补上来源和自己仍不确定的部分。
相关笔记
- 大模型基础原理
- LangChain(资料整编)
- LangGraph(资料整编)
- Agent、MCP与Skill
- RAG检索增强生成
- 评测幻觉与多模态
参考资料
- 《大模型八股文面试题》目录中的 55 份 PDF 与《大模型面试合集》中的 28 份资料,按文件级盘点归入面试池。
- 《大模型(LLMs)基础面》《进阶面》《幻觉面》《评测面》《推理面》《训练集面》《agent 面》《langchain 面》《RAG 检索增强生成面》。
- 《大模型校招面试题》《Transformer 面试题总结》《大模型常见面试题及答案解析》。
- 本稿是第一批主题自测题,不是 89 份文件的完整逐题转换。
原始来源文件
以下列出本篇整理所依据的代表性原件;同主题重复版本与完整状态请查阅 source-manifest.csv。
Raw sources/002.大模型面试合集202605161/大模型(LLMs)基础面.pdfRaw sources/大模型官方课程-视频资料/2026最新大模型全套资料(持续更新)/⑤、大模型八股文面试题/1-大模型(LLMs)基础面.pdf