KNOWLEDGE NOTE / AI · 面试

大模型面试精选

大模型原理、RAG、可靠性和应用设计面试的速览入口;逐题详解见专题题库。

创建
2026年9月24日
更新
2026年10月15日

大模型面试精选

摘要

这份笔记是复习速览入口,不是完整题库。回答时先给结论,再解释机制、取舍和边界,最后联系项目中的验证方式;完整问答、追问答案和易错点见各专题题库。课程样例和设计练习不得说成个人生产经历。

正文

1. Transformer 如何利用上下文?

快速回答:Tokenizer 把输入编码为 Token ID,Embedding 和位置信息形成初始表示;每层通过 Q/K/V 自注意力聚合可见上下文,再用残差、归一化和前馈网络更新表示。Decoder-only 使用因果掩码阻止读取未来 Token,并将最后位置映射为词表 logits,按解码策略逐步生成。

追问时要能写出缩放点积注意力公式、说清矩阵维度与 Softmax 的归一化方向、解释为什么用 $\sqrt{d_k}$ 做缩放,并区分训练时的并行预测与推理时的逐 Token 生成。完整讲解和手算例子见 大模型基础原理;逐题追问见 大模型基础原理面试题库。

2. Encoder、Decoder 与 Encoder-Decoder 有何区别?

从注意力可见范围和任务目标回答:Encoder 常双向编码输入,Decoder 常按因果顺序生成,Encoder-Decoder 先编码输入再生成输出。随后给出典型任务,并指出现代模型可能使用混合或改造架构,不能只凭名字推断细节。

3. 预训练、SFT、继续预训练如何区分?

预训练学习通用语言模式;继续预训练在领域语料上补充知识;SFT 使用指令示例学习目标任务和输出方式。区别训练目标、数据形式、要解决的问题,再说明训练后需检查领域能力和通用能力是否平衡。

4. RAG 与微调如何选择?

RAG 适合需要更新知识、引用来源或使用私有文档的场景;微调更适合稳定地改变行为、格式、领域表达或任务模式。先判断问题是“缺知识”还是“行为不合适”;也可组合两者。选择后通过准确率、忠实度、延迟、维护成本和隐私要求比较。

5. 如何减少幻觉?

先定位根因:知识缺失、检索不相关、上下文冲突、生成不确定或评测不足。对应采用检索来源、证据约束、资料不足时拒答、来源引用、人工复核和回归测试。避免承诺“完全消除幻觉”。

6. 如何评估一个大模型?

从任务目标构建代表性测试集,分开看能力、可靠性、系统成本和安全边界。自动指标适合可客观计算的任务,人工评测适合质量判断但要控制偏差。记录模型、提示、参数和版本,避免将榜单分数直接等同于业务效果。

7. 讲项目的回答顺序

用“问题与约束 → 数据和流程 → 模型或检索选择 → 评估方法 → 结果与失败案例 → 下一步优化”组织答案。对自己没有实际做过的环节,明确说是设计或学习实验,不要把课件示例说成生产经验。

专题题库入口

  • Python与机器学习基础面试题库
  • 大模型基础原理面试题库
  • 大模型训练微调与对齐面试题库
  • 大模型推理与部署面试题库
  • RAG检索增强生成面试题库
  • Prompt与编排框架面试题库
  • Agent-MCP-Skill面试题库
  • 幻觉评测与多模态面试题库
  • AI应用项目设计与案例面试题库

相关笔记

  • 大模型基础原理
  • 大模型基础原理面试题库
  • 评测幻觉与多模态
  • 训练与推理面试精选
  • RAG与Agent项目精选

参考资料

  • 《大模型(LLMs)基础面》《进阶面》《校招面试题》《面试题答案 Plus》。
  • 《大模型(LLMs)评测面》《幻觉面》《多模态常见面试题》。

原始来源文件

以下列出本篇整理所依据的代表性原件;同主题重复版本与完整状态请查阅 source-manifest.csv。

  • Raw sources/002.大模型面试合集202605161/大模型(LLMs)幻觉面.pdf
  • Raw sources/002.大模型面试合集202605161/大模型(LLMs)基础面.pdf

放弃未保存的修改?

有未保存的修改,离开会丢失这些内容。