KNOWLEDGE NOTE / AI · 基础原理

Transformer 从输入到下一个 Token:计算全链路

沿张量形状推导 Token、Embedding、自注意力、前馈网络到自回归生成。

创建
2026年10月15日
更新
2026年10月15日

Transformer 从输入到下一个 Token:计算全链路

这篇要回答什么

给定一段文本,模型如何把它变成向量、结合上下文,并逐步生成下一个 Token?本篇按一次 Decoder-only Transformer 前向计算串起来,并用形状检查每个阶段。这里讨论的是通用结构;具体模型可能使用不同的位置编码、归一化、激活函数、注意力变体或专家层。

1. 文本先被切成离散 Token

Tokenizer(分词器)把字符串切成词表内的 Token,再将每个 Token 映射为整数 ID。Token 可能是一个字、一个词、词的一部分、标点、空格或控制符;ID 只是查表地址,不是数值大小意义上的“词”。不同模型的词表、预切分规则和聊天模板不同,同一段文字的 Token 数也可能不同。

若词表大小为 V、序列长度为 T,批量输入 ID 通常是整数张量 [B, T]。B 是批次大小,T 是这次上下文中的 Token 个数。

2. Token ID 变为隐藏向量

Embedding 矩阵可以记作 E ∈ R^(V×d)。对每个 ID 查一行后,得到 X ∈ R^(B×T×d),其中 d 是隐藏维度。Token ID 的整数值没有语义顺序,语义表示来自训练后的向量及后续网络计算。

自注意力本身对输入位置置换具有相应的等变性质,不会凭空知道哪个 Token 在前。因此模型还要注入位置信息:经典 Transformer 使用正弦/余弦位置编码;其他模型会使用可学习位置向量、相对位置偏置或 RoPE(旋转位置编码)。RoPE 将位置相关的旋转施加到 Query/Key,使注意力分数能包含相对位移信息;它并不自动保证模型能可靠处理任意长上下文。

3. Q、K、V:把“读上下文”写成矩阵运算

每层会把当前隐藏状态投影为 Query(查询)、Key(键)和 Value(值):

text
Q = X W_Q       K = X W_K       V = X W_V

单头简化形状分别为 [B,T,d_k]、[B,T,d_k]、[B,T,d_v]。对每个位置的 Query 与所有位置的 Key 做点积:

text
scores = Q Kᵀ / sqrt(d_k)       # [B,T,T]
weights = softmax(scores + mask, dim=-1)
output = weights V               # [B,T,d_v]

点积衡量匹配程度;除以 sqrt(d_k) 是为了控制维度增大时点积方差,避免 Softmax 过早饱和、梯度变小。Softmax 沿“被读取的 Key 位置”归一化,使每个 Query 的权重和为 1。V 才是按这些权重汇总的内容。

可以把 Q/K/V 记为“当前需要什么 / 每个位置可如何被匹配 / 匹配后取回什么”,但它们都是学习得到的向量,不是模型里人工写好的问答索引。

3.1 因果掩码为什么重要

自回归训练要求位置 t 只能读取 ≤ t 的 Token,不能偷看未来答案。因果掩码把 j > i 的注意力分数设成负无穷(实现中通常是很大的负数),经 Softmax 后这些位置的权重近似为 0。填充位置还可能有 padding mask;两类掩码目的不同。

3.2 多头注意力

多头注意力用多组投影并行学习不同的匹配模式。形状可重排为 [B,H,T,d_h],其中 H 是头数、每头维度 d_h,常见关系是 d = H × d_h。各头分别得到上下文,再拼接并经输出矩阵投影回 d 维。多头的价值不是“头越多一定越聪明”,而是提供多组可学习子空间;显存和计算成本也随实现而变化。

4. 残差、归一化与前馈网络

注意力输出通常经过输出投影,并通过 residual(残差连接)与输入相加;然后由 FFN/MLP(前馈网络)在每个 Token 的位置上独立变换通道维。经典 FFN 可写为 FFN(x)=W₂ σ(W₁x+b₁)+b₂:先升维、逐元素非线性、再投回隐藏维。现代模型可能使用 SwiGLU 等门控变体。

LayerNorm 或 RMSNorm(均方根归一化)用于稳定激活尺度。Pre-LN(先归一化再做子层)和 Post-LN(子层后归一化)在梯度路径与训练稳定性上有所不同;不要把某一种结构说成所有模型固定不变。

一个 Transformer block 可概括为:

text
隐藏状态 → 归一化 → 因果自注意力 → 残差
         → 归一化 → 前馈网络   → 残差

堆叠多个 block 后,每个位置的表示就能逐层整合更丰富的上下文。MoE(混合专家)模型会由门控网络选择部分 FFN 专家计算;它减少每个 Token 激活的参数量,但引入路由、负载均衡和通信问题,不等于整个模型参数变少。

5. 训练目标:让位置 t 预测位置 t+1

语言模型通常把隐藏状态投影到词表大小 V,得到每个位置的 logits(未归一化分数),经 Softmax 得到下一个 Token 分布。训练样本会错位一位:输入是 x₁…xₜ,标签是 x₂…xₜ₊₁。常用交叉熵损失是正确下一 Token 概率的负对数;对 padding 或不计入损失的位置会用 mask 排除。

训练时模型通过上下文预测目标 Token;推理时把一个 Token 追加到序列,再预测下一个,直到停止 Token、长度限制或其他终止条件。这是自回归生成。

6. Prefill、Decode 与注意力成本

  • Prefill(提示词预填充):一次并行处理已有 T 个输入 Token,建立隐藏状态并计算注意力;通常更偏计算密集。
  • Decode(逐 Token 解码):每次产生一个新 Token;已有 Key/Value 可放入 KV Cache,避免重新计算整段前缀。随着生成长度增加,缓存占用增长。
  • 标准全注意力的分数矩阵随序列长度近似按 T² 增长;KV Cache 用显存换重复计算减少。GQA/MQA 让多个 Query 头共享较少的 Key/Value 头,以降低缓存占用,但具体收益取决于模型结构与实现。

温度(Temperature)、Top-k、Top-p 改变 logits 到采样分布的转换,控制多样性和随机性;它们不会改变模型已学到的知识,也不能单独修复事实错误。

7. 高频误解与检查方法

常见说法更准确的理解
一个 Token 就是一个词Token 是模型词表单元,可能小于、等于或大于一个词
Q 是问题、K 是索引、V 是答案这是帮助理解的类比;实际三者由隐藏状态投影学习得到
Attention 就是模型全部Transformer 还包含位置机制、残差、归一化、FFN、输出头等
增大上下文窗口就一定能用好更多文本可接收长度不等于能有效定位、整合和忠实使用长上下文
低温就没有幻觉低温减少采样随机性,不会验证事实来源
KV Cache 保存“对话记忆”它缓存当前模型调用的中间 Key/Value,不等同于跨会话持久记忆

排查实现时,先打印各层张量形状,再确认 Softmax 维度、因果掩码方向、标签是否错位、padding 是否计入损失。注意力矩阵可视化有帮助,但不能单凭漂亮热图证明模型“理解”了某种关系。

8. 面试回答顺序

如果被问“请讲 Transformer”,按下面顺序展开:

  1. 文本经 Tokenizer 转为 ID,Embedding 与位置信息形成隐藏状态。
  2. 每层由 Q/K 相似度算注意力权重,加权读取 V;Decoder 用因果掩码防止看未来。
  3. 多头并行表示不同匹配,残差/归一化稳定深层计算,FFN 做逐位置非线性变换。
  4. 输出头给出词表 logits;交叉熵训练下一 Token,推理时自回归追加。
  5. 再讨论上下文复杂度、KV Cache、GQA、长上下文和事实可靠性边界。

来源依据

  • Raw sources/002.大模型面试合集202605161/大模型(LLMs)基础面.pdf
  • Raw sources/002.大模型面试合集202605161/31-LLM-Interview-Plus/大模型(LLMs)Tokenizer篇.pdf
  • Raw sources/大模型官方课程-视频资料/2026最新大模型全套资料(持续更新)/⑤、大模型八股文面试题/1-大模型(LLMs)基础面.pdf
  • Attention Is All You Need(Transformer 原始论文)

相关笔记

  • 大模型基础原理
  • 机器学习与深度学习基础
  • 大模型推理与性能优化
  • 大模型基础原理面试题库

原始来源文件

以下列出本篇整理所依据的代表性原件;同主题重复版本与完整状态请查阅 source-manifest.csv。

  • Raw sources/002.大模型面试合集202605161/大模型(LLMs)基础面.pdf
  • Raw sources/大模型官方课程-视频资料/2026最新大模型全套资料(持续更新)/②、大模型入门资料/Transformer面试题总结.pdf

放弃未保存的修改?

有未保存的修改,离开会丢失这些内容。