大模型基础原理面试题库
怎么使用这份题库
每道题建议按“先下定义 → 写出计算过程或结构 → 解释为什么这样设计 → 说明边界和变体”的顺序回答。下列答案是完整复习稿,面试现场不必逐字背诵;先给结论,再根据面试官追问展开。
本题库与 大模型基础原理 配套:教材负责连贯理解,题库负责口头复述和追问演练。这里的 Transformer 指经典结构及常见 Decoder-only 语言模型;不同模型可能有结构变体。
一、Token 与输入表示
1. Token 是什么?为什么模型不直接按“字”处理?
参考回答
Token 是模型词表里的离散符号,可能对应一个汉字、一个完整英文词、词的一部分、标点、空格片段或特殊控制符。Tokenizer 把文本编码为 Token ID 序列;模型再将每个 ID 映射为向量。ID 是查表索引,不是有大小含义的语义数字。
若只按整词切分,词表会很大,而且新词或拼写变化会成为未登录词;若只按字符或字节切分,序列会变长,模型需要更多计算步。子词方案在词表规模、未登录词覆盖和序列长度之间折中。不同模型使用不同预分词规则、字节处理方式和词表,因此同一句话在不同模型里可能对应不同 Token 数。
Token 数会影响上下文窗口消耗、推理计算量、延迟和部分服务的费用。中文字符数不能可靠地直接换算成 Token 数,代码、数字、空格和表情符号也可能造成切分差异。
追问:BPE 如何构造子词?
BPE(字节对编码)的一种典型构造过程是从较小单元开始,统计语料中相邻片段的频次,反复合并常一起出现的片段,直到词表或合并次数达到设定值。推理时使用已经训练好的词表与合并规则,不会在每条用户输入上重新训练。具体 Tokenizer 可能还包含预切分、字节级处理和特殊 Token 规则,不能把简化版 BPE 当成所有模型的完整实现。
易错点
不要说“一个 Token 就是一个词”或“中文一个字就是一个 Token”;不要用某模型的切分结果推断其他模型。
场景追问
如果同一提示在模型 A 和模型 B 上 Token 数差很多,应先检查实际 Tokenizer、特殊 Token、聊天模板和输入内容,而不是只比较字符数。
2. Embedding 做了什么?它和 Tokenizer 有什么区别?
参考回答
Tokenizer 负责离散编码,把文本转换成 Token ID;Embedding 负责把离散 ID 查表映射为连续向量。设词表大小为 $V$、隐藏维度为 $d_{model}$,输入 Embedding 矩阵形状通常写成 $E \in \mathbb{R}^{V \times d_{model}}$。Token ID $t$ 取出矩阵第 $t$ 行,得到 $d_{model}$ 维向量。一个批次的输入表示可以写成 $[B,L,d_{model}]$,其中 $B$ 是批次大小,$L$ 是序列长度。
Embedding 的向量参数通过训练更新,不是人工词典释义。初始 Embedding 只表示 Token 身份;经过多层 Transformer 后,每个位置会融合上下文,得到上下文化表示。所以同一 Token 在不同句子中的最终隐藏状态可以不同。
追问:向量相近是否代表语义完全相同?
不代表。相似度取决于训练目标、上下文、层、向量空间和具体比较方式;反义词也可能出现在相似语境中而靠得较近。Embedding 相似度是有用信号,但不能被解释成完整、稳定的人类语义判定。
易错点
Tokenizer 不是向量模型;Embedding 也不是外部词典查询。Token ID 的数值大小没有语义排序。
3. 为什么 Transformer 需要位置编码?绝对位置、相对位置和 RoPE 有何区别?
参考回答
标准自注意力根据输入向量之间的关系进行计算,但它本身不携带 Token 的先后顺序。如果没有任何位置信息,模型不能可靠地区分“狗咬人”和“人咬狗”这类仅顺序不同的输入。因此需要将位置信息注入模型。
绝对位置编码让表示携带“这是第几个位置”的信息。原始 Transformer 使用固定的正弦/余弦位置向量;也有模型使用可学习的位置向量。相对位置方法强调两个位置之间的距离或相对次序。RoPE(旋转位置编码)对 Query 和 Key 的成对维度施加与位置相关的旋转,使它们的点积能够体现相对位移信息。
不同方案在外推到训练长度以外、缓存实现、数值稳定性和模型结构上有不同表现。RoPE 并不自动保证任意长上下文都准确;扩展长度通常要结合训练或缩放策略及实测验证。
追问:经典正弦位置编码公式里的符号是什么?
$PE(pos,2i)=\sin(pos/10000^{2i/d_{model}})$,奇数维使用余弦。$pos$ 是 Token 位置,$i$ 是频率维度对的索引,$d_{model}$ 是总隐藏维数。不同维度使用不同频率,让位置差异能以多种尺度表示。现代模型不一定仍使用这个固定公式。
易错点
不要把“位置编码”说成只有一种固定方法,也不要把 RoPE 等同于上下文扩展技术本身。
二、注意力机制
4. 请从输入开始推导一次 Scaled Dot-Product Attention,并说明张量形状。
参考回答
输入 $X$ 的形状为 $[B,L,d_{model}]$。单个注意力头分别应用三个可学习投影:
$$ Q=XW_Q,\quad K=XW_K,\quad V=XW_V $$ 其中 $W_Q,W_K$ 的最后一维是每头 Key/Query 维度 $d_k$,$W_V$ 的最后一维是 Value 维度 $d_v$。因此 $Q,K$ 为 $[B,L,d_k]$,$V$ 为 $[B,L,d_v]$。计算 $QK^\top$ 后,得到每个 Query 对所有 Key 的分数矩阵 $[B,L,L]$。除以 $\sqrt{d_k}$ 控制分数尺度,加上掩码 $M$ 屏蔽不可读位置,再沿 Key 位置做 Softmax 得到权重;权重乘 $V$,输出 $[B,L,d_v]$。
$$ \operatorname{Attention}(Q,K,V)= \operatorname{softmax}\left(QK^\top/\sqrt{d_k}+M\right)V $$ 多头实现时,张量可整理为 $[B,H,L,d_k]$;分数成为 $[B,H,L,L]$,每个头先分别算输出,再拼接并经过输出投影回到 $d_{model}$ 维。
追问:Query、Key、Value 各自起什么作用?
可以把 Query 理解为当前 Token 的检索偏好,Key 理解为每个 Token 可被匹配的特征,Value 理解为被加权汇总的信息。对当前 Query 与所有 Key 做相似度计算,得到读取权重,再用该权重加权所有 Value。这个类比有助理解,但 Q/K/V 都是从隐藏状态学习到的向量,不是人工填写的问题、索引和答案。
易错点
Softmax 是沿 Key 维度进行:对于一个 Query,所有可见 Key 的权重和为 1。不要把输出说成“挑选最相关的一个 Value”,一般是多个 Value 的加权和。
5. 为什么点积注意力要除以 $\sqrt{d_k}$?
参考回答
假设 Query 和 Key 每一维的分量近似独立、均值为 0、方差为 1,它们的点积是 $d_k$ 个乘积项相加,点积分数的方差会随 $d_k$ 增大。维度较大时,未缩放分数的绝对值容易变大,Softmax 输出会过度集中,其他位置梯度变小,训练可能不稳定。
除以 $\sqrt{d_k}$ 主要是把分数尺度控制在较稳定范围,减轻 Softmax 饱和问题。它并不保证权重平均,也不表示注意力只看局部。
追问:如果除以 $d_k$ 呢?
那会是不同的缩放,通常会把分数压得更小。经典 Scaled Dot-Product Attention 使用平方根,是基于点积方差随维数增长的尺度分析;具体变体可以采用其他归一化,但不能把公式随意替换后仍说是原始标准形式。
6. Softmax 在注意力里做什么?给出一个手算例子。
参考回答
Softmax 将一组实数分数变为非负且总和为 1 的权重。对于分数 $[2,1,0]$,计算指数并归一化,约得到 $[0.665,0.245,0.090]$。如果对应 Value 是 $[10,0]$、$[0,10]$、$[4,4]$,加权求和为:
$$ [0.665\times10+0.245\times0+0.090\times4,; 0.665\times0+0.245\times10+0.090\times4] \approx [7.01,2.81] $$ 于是该 Query 的输出是由多个 Value 混合得到的向量。实际模型的向量维度通常远大于 2。
追问:Softmax 的数值稳定性如何处理?
数学上对所有分数同时减去最大值不改变 Softmax 结果,因为公共缩放会在归一化时抵消;实现常先做这一步,避免指数溢出。掩码位置在 Softmax 前设成负无穷或足够大的负数,使其权重变成 0 或数值上接近 0。
7. Decoder 的因果掩码是什么?它和 Padding 掩码有什么区别?
参考回答
因果掩码规定位置 $i$ 只能读取位置 $j\le i$,不能读取未来的 $j>i$。这样训练时每个位置可以并行计算,但不会通过注意力看到真实的未来目标。以行为 Query、列为 Key,三个位置的可见矩阵为:
$$ \begin{bmatrix} 1&0&0\ 1&1&0\ 1&1&1 \end{bmatrix} $$ Softmax 前把 0 对应分数屏蔽掉。Padding 掩码则标记批处理为对齐长度而补出的无效 Token,防止模型把补位当作真实内容。一个请求可能同时需要因果掩码和 Padding 掩码。
追问:训练目标如何右移?
原序列 $[x_1,x_2,x_3]$ 可构成输入 $[x_1,x_2]$ 与目标 $[x_2,x_3]$。位置 1 预测 $x_2$,位置 2 预测 $x_3$。因果掩码让所有输入位置并行算出预测,同时禁止看未来。批次和边界处还需正确处理起止符与无效位。
易错点
因果掩码不是屏蔽历史,而是屏蔽未来;Padding 掩码不是因果约束。
8. 多头注意力比单头注意力多了什么?各头维度怎么计算?
参考回答
多头注意力为每个头学习不同的 Q/K/V 投影,让多个子空间并行关注输入关系。每头输出沿特征维拼接,再经 $W_O$ 投影回模型维度。常见配置满足 $d_{model}=H d_k$,其中 $H$ 是头数、$d_k$ 是单头维度,但模型也可以选择其他宽度或非等宽 Value 维度。
输入形状 $[B,L,d_{model}]$ 投影、重排后为 $[B,H,L,d_k]$;分数为 $[B,H,L,L]$;各头输出为 $[B,H,L,d_v]$;拼接得到 $[B,L,Hd_v]$,经输出投影返回 $[B,L,d_{model}]$。
追问:每个头能否对应一个清晰语义?
不能保证。某些头可能呈现可观察的模式,但注意力头会共同工作,头之间也可能冗余。仅凭热力图或一个例子给头贴上“语法头”“事实头”标签并不可靠。
9. 残差连接、LayerNorm、Pre-LN 和 Post-LN 分别解决什么问题?
参考回答
残差连接把子层输入绕过变换后相加,为信息和梯度提供较短路径,帮助训练深层网络。LayerNorm 在单个样本、单个 Token 的特征维上归一化,并带可学习的缩放和偏移参数。
Post-LN 的示意顺序是先子层计算,再对输入与子层输出之和做归一化;Pre-LN 的示意顺序是先归一化输入,再送入子层,最后与原输入做残差相加。两者梯度传播与训练稳定性特性不同,但完整效果依赖深度、初始化、学习率等条件。现代模型还可能使用 RMSNorm 等替代方案。
追问:LayerNorm 与 BatchNorm 有何区别?
LayerNorm 通常对同一个 Token 的特征维归一化,不依赖批次中其他样本的统计量;BatchNorm 通常利用批次维的统计量。Transformer 的变长序列和生成场景中,LayerNorm 更适合按 Token 独立处理。
易错点
不要说残差可以消除梯度问题,也不要把 Pre-LN/Post-LN 讲成“一个先归一化、一个不归一化”;它们是归一化相对于子层和残差的放置次序不同。
10. Transformer 的 FFN/MLP 在做什么?和注意力有什么分工?
参考回答
FFN 通常逐 Token 独立执行两次线性变换,中间使用非线性激活:
$$ \operatorname{FFN}(x)=W_2\phi(W_1x+b_1)+b_2 $$ 第一层把 $d_{model}$ 映射到较宽的 $d_{ff}$,非线性后再投回 $d_{model}$。注意力负责不同位置之间的信息交换;FFN 主要对已经融合上下文的每个位置表示做特征变换。常见激活包括 GELU,也有 SwiGLU 等门控结构。
追问:为什么中间层通常更宽?
扩展特征通道可以让网络在更丰富的中间表示空间中组合特征,再压回模型维度。宽度、参数量和计算量之间需要取舍;具体倍数依模型设计而定,没有适用于所有模型的固定比例。
11. Encoder、Decoder-only 和 Encoder-Decoder 有什么区别?
参考回答
Encoder 通常双向读取输入序列,适合生成输入的上下文表示;Decoder-only 使用因果掩码,只看当前位置及过去位置,适合自回归续写;Encoder-Decoder 先由 Encoder 双向编码源输入,再由 Decoder 生成目标,并可通过交叉注意力从 Encoder 表示读取信息。
交叉注意力中,Query 通常来自 Decoder 当前状态,Key 和 Value 来自 Encoder 输出。经典用途包括输入到输出转换,如翻译和摘要。现代模型存在大量结构变体,所以必须说明自己讨论的是哪种典型架构。
易错点
不要把 Encoder 说成“不能生成任何内容”;架构是计算结构,外围任务头可以不同。也不要认为所有新模型都严格符合早期教科书结构。
三、训练目标与逐步生成
12. 为什么训练可以并行,而生成通常逐 Token 进行?
参考回答
训练时完整目标序列已知。因果掩码允许一次把所有位置送入网络,各位置只能读取自己左侧的输入,因此可以并行计算每个位置预测下一个 Token 的损失。
推理时未来 Token 尚未知。模型先根据提示算出下一 Token 分布,选出一个 Token,再把它追加到上下文,之后才能计算下一步分布,所以普通自回归生成具有顺序依赖。并行化能够提升每一步内部的矩阵计算效率,但不能直接消除“下一步依赖上一步输出”的关系。
追问:Teacher Forcing 是什么?
训练某个位置时,以真实数据前缀作为历史输入,这叫教师强制。推理时则把模型此前生成的 Token 作为历史输入。两种阶段的前缀来源不同,训练与推理之间因此可能有误差累积或暴露偏差。
13. 自回归语言模型学习的概率目标是什么?
参考回答
它利用概率链式法则将序列联合概率分解为:
$$ P(x_1,\ldots,x_T)=\prod_{t=1}^{T}P(x_t\mid x_1,\ldots,x_{t-1}) $$ 训练通常最大化真实下一个 Token 的条件概率,等价于最小化负对数似然或交叉熵损失。模型每个位置输出词表 logits,经 Softmax 后得到分布;损失主要惩罚真实目标 Token 概率过低。
因果掩码和目标右移共同保证每个位置用过去预测下一个 Token。不同训练配方还可能加入辅助目标、数据混合和加权策略,不能把所有模型训练都简化为唯一损失。
14. logits、Greedy、Temperature、Top-k 与 Top-p 分别是什么?
参考回答
logits 是输出层对词表候选给出的未归一化分数。Softmax 把 logits 转成概率分布。Greedy 每一步选最大概率 Token;Temperature 将 logits 除以温度后再做 Softmax,较低温度通常让分布更尖锐,较高温度通常更平坦。Top-k 只在分数最高的 k 个候选中采样;Top-p 选择按概率排序并累计概率达到 p 的最小候选集合后采样。
Greedy 可重复、可预测,但可能保守或重复;随机采样可增加变化,但会增加结果不确定性。Top-k 的候选数固定,Top-p 的候选数随分布变化。参数之间会相互作用,必须结合任务、模型服务和实际验证集调整。
追问:温度为 0 会发生什么?
许多服务把温度为 0 作为尽量确定或接近 Greedy 的配置,但具体接口可能对 0 的处理不同,且并发、硬件、服务端实现也可能导致输出不完全一致。回答时要说明依赖服务实现,不能承诺数学意义上的全链路绝对确定性。
15. 上下文窗口是什么?窗口增大是否等于模型记忆变好?
参考回答
上下文窗口是单次请求中模型可处理的 Token 容量上限。它可能同时容纳系统指令、对话历史、检索内容、工具输入和生成输出,因此可用输入空间会被总请求共同占用。
窗口增大不等于长期记忆:新请求若没有携带旧信息,模型通常不能依赖上次对话;外部系统需要显式存储和检索。窗口变大也不保证所有位置都能同样准确利用,长上下文仍要考虑注意力成本、关键信息位置、噪声、检索质量和任务评估。
易错点
不要把上下文长度写成“模型知识量”,也不要把“能输入这么多 Token”说成“能准确记住并推理全部内容”。
16. 自注意力复杂度为什么是二次方?KV Cache、MQA/GQA 分别优化什么?
参考回答
长度为 $L$ 的序列中,每个位置的 Query 都要与 $L$ 个 Key 计算分数,因此有 $L^2$ 个位置对。若每头维度为 $d_k$,点积计算量主要约为 $O(BHL^2d_k)$,注意力分数矩阵存储约为 $O(BHL^2)$。
KV Cache 用于自回归解码:缓存历史 Token 在各层的 Key/Value,生成新 Token 时不再重新计算整个前缀的 K/V 投影,降低重复计算;代价是显存随缓存长度增长。
MQA 让多个 Query 头共享较少的 K/V 头;GQA 让一组 Query 头共享一个 K/V 头组。它们降低 K/V 投影和缓存宽度,但不是把所有注意力计算变成与 $L$ 线性。FlashAttention 一类方法通过分块和减少高带宽内存读写,降低中间矩阵物化和内存开销;通常不改变精确全注意力的 $L^2$ 位置对本质。
追问:KV Cache 会不会消除每步对历史 Token 的计算?
不会。它避免重复计算历史 Token 的 K/V 投影和各层历史表示,但当前新 Query 仍需与已有缓存 Key 进行注意力计算。随着上下文变长,单步要读取和比较的历史位置仍会增长。
易错点
区分“降低重复计算”“降低缓存宽度”“降低内存访问”和“改变渐近复杂度”这几类优化,不要统称为“把注意力变成线性”。
四、综合追问
17. 如果面试官问“Transformer 如何理解上下文”,怎样给出不夸大的回答?
参考回答
我会描述可验证的计算过程:文本经 Tokenizer 变成离散 ID;Embedding 和位置信息形成向量;注意力层按可见范围计算位置间权重并聚合 Value;FFN、残差和归一化在多层中更新表示;输出头给出下一个 Token 的条件分布。这个结构让模型能利用上下文模式完成预测任务。
但“理解”是容易产生歧义的日常词。模型在统计意义上学习了复杂表示和规律,不等于它拥有人的意识、可靠事实校验或稳定世界模型。具体能力应通过任务测试、失败案例和证据核对评估,而不是从流畅表达推断。
追问:注意力权重能解释模型为什么回答吗?
注意力权重能展示某一层某一头在一次输入中的信息混合模式,但模型计算还包括 Value 内容、输出投影、残差、归一化、FFN 和多层组合。权重图不是完整因果解释,也不应仅凭它声称模型依据了某个事实。
18. 一个大模型回答质量差,基础原理层面如何排查?
参考回答
先区分问题类型,而不是一开始就调 Temperature:
- 输入是否被正确 Tokenize,聊天模板和特殊控制 Token 是否符合目标模型要求。
- 提示与历史是否超出上下文窗口,关键信息是否被截断或被大量噪声淹没。
- 任务是知识缺失、指令遵循、推理、格式控制还是采样波动。
- 若要求实时或私有事实,是否提供可信检索证据;模型是否忠实引用证据。
- 记录模型版本、系统提示、解码参数和输入样本,用代表性测试集比较改动前后效果。
若问题来自知识更新或私有文档,评估检索增强生成是否合适;若是稳定行为或格式问题,再考虑提示、微调或输出校验。不要将采样调参当成解决知识缺失的万能方法。
复习自测
- 不看笔记,画出从文本到输出 Token 的数据流。
- 给出 Attention 公式,能逐个解释 $B,L,H,d_k,M$ 和 Softmax 维度。
- 手算 $[2,1,0]$ 的 Softmax 权重,并做一次二维 Value 加权。
- 画出三个 Token 的因果可见矩阵,并解释 Padding 掩码不同之处。
- 用一句话分别解释注意力复杂度、KV Cache、MQA/GQA 和 FlashAttention 优化的对象。
- 能回答上下文窗口为什么不是长期记忆。
相关笔记
- 大模型基础原理
- 机器学习与深度学习基础
- 大模型面试精选
- 大模型推理与性能优化
追问演练补充(按上文题号)
以下问题为独立追问,按编号回到原题练习;先自己作答,再看参考回答。
原题 11:Encoder-Decoder 为什么适合翻译,而 Decoder-only 更常用于开放式续写?
追问回答: Encoder 可双向读取完整源句并形成上下文表示,Decoder 在交叉注意力中逐步生成目标句,适合输入与输出序列映射。Decoder-only 用因果掩码统一处理提示与续写,训练和使用形式一致,适合多种文本续写任务;具体模型选择仍取决于任务、数据和系统设计,不是能力高低的绝对排序。
原题 13:若词表概率是 0.5、0.2,两个 Token 的序列概率和对数概率分别是多少?
追问回答: 若第二个值已是给定前缀条件下的概率,序列概率为 $0.5\times0.2=0.1$;序列对数概率为 $\log0.5+\log0.2=\log0.1$。不能把“对数概率之和”称作“概率”,实现通常在对数域相加以避免很多小概率相乘造成数值下溢。
原题 15:把上下文窗口从 8K 提到 128K,是否意味着模型能永久记住更多用户信息?
追问回答: 不能。窗口只规定一次请求可处理的 Token 容量,不是跨会话持久记忆;长输入还会增加注意力/缓存成本,并可能出现中间信息利用不稳定。需要长期保存的资料应进入有权限控制的存储或检索系统,并通过召回和引用测试验证。
原题 18:你会如何把回答差的问题定位到“表示、注意力、上下文或生成策略”中的某一层?
追问回答: 先用固定样例核对原始输入和 Token 切分,再确认关键证据是否真的位于有效上下文及其位置;之后比较提示、解码参数和不同模型版本,并检查输出概率/拒答与引用。若证据缺失优先修数据/检索,若证据在场但答案偏离再测提示、模型和解码;不能仅凭一次错答推断 Transformer 内部具体哪层失效。
原始来源文件
以下列出本篇整理所依据的代表性原件;同主题重复版本与完整状态请查阅 source-manifest.csv。
Raw sources/002.大模型面试合集202605161/大模型(LLMs)基础面.pdfRaw sources/大模型官方课程-视频资料/2026最新大模型全套资料(持续更新)/②、大模型入门资料/Transformer面试题总结.pdf