大模型基础原理
摘要
大语言模型(Large Language Model,LLM)先把文字变成 Token ID,再把 ID 映射为向量;Transformer(变换器)层通过注意力读取上下文、通过前馈网络变换表示;最后将当前位置的表示映射为词表上的分数,并按解码策略选出下一个 Token。这个过程解释了模型为何能续写,也解释了上下文长度、注意力计算量、采样随机性和事实可靠性的边界。
本篇按“原始文本 → Token → 向量 → Transformer → 概率分布 → 新 Token → 文本”的顺序讲。公式中的形状以常见 Decoder-only Transformer 为例;具体模型可能更换位置编码、归一化、激活函数、注意力实现或词表。
1. 从文本到 Token ID
1.1 Token 是什么
Token(词元)是模型词表中的离散符号。一个 Token 可以是一个汉字、一个英文单词、单词的一部分、标点、空格片段或特殊控制符。它不是固定的“字”或“词”,所以文本字符数、单词数与 Token 数不能互换。
Tokenizer(分词器)承担两种相反操作:
- 编码:文本 → Token 序列 → Token ID 序列。
- 解码:Token ID 序列 → Token 序列 → 文本。
Token ID 只是词表中的整数编号,本身没有大小或语义顺序。例如 ID 900 不表示比 ID 120 更重要。模型在输入层把 ID 当作索引,查出对应向量。
1.2 子词切分与 BPE
Byte Pair Encoding(字节对编码,BPE)是一类常见的子词词表构造方法。直观地说,它从较小的字符或字节片段开始,反复合并语料中常一起出现的相邻片段,得到一组常见子词。推理时再按训练好的词表和规则切分输入。不同模型的预分词、字节处理、合并表和特殊 Token 都可能不同,不能假设所有模型的切词结果相同。
一个仅用于说明的玩具词表可能包含“学”“习”“机器”“学习”。遇到“机器学习”时,某个分词器可能切成[机器,学习];遇到较少见的“机器学习者”,可能切成[机器,学习,者],也可能有其他结果。这里的方括号表示序列,不代表真实模型一定如此切分。
为什么使用子词,而不是只按整词建词表?
- 纯整词词表容易遇到未登录词;子词能组合表示新词。
- 纯字符序列通常更长,处理同一段文本需要更多步。
- 子词是在词表规模、罕见词覆盖和序列长度之间的折中。
Token 数会影响上下文窗口占用、计算量、延迟和按 Token 计价的服务成本。中文、英文、代码、数字串和表情符号切分密度不同;估算时应使用目标模型的实际 Tokenizer,而不要用字符数直接换算。
2. Embedding:把离散编号变成向量
Embedding(嵌入)是把每个 Token ID 映射到可训练的稠密向量。设词表大小为 $V$,模型隐藏维度为 $d_{model}$,嵌入矩阵可写成 $E \in \mathbb{R}^{V \times d_{model}}$。ID 为 $t$ 的 Token 对应矩阵第 $t$ 行,得到 $x_t \in \mathbb{R}^{d_{model}}$。
批量输入通常表示为 $X \in \mathbb{R}^{B \times L \times d_{model}}$:
- $B$:一次并行处理的样本数。
- $L$:序列中的 Token 数。
- $d_{model}$:每个 Token 表示向量的宽度。
Embedding 不是查字典得到的人工定义释义,而是训练中不断调整的参数。相似上下文、语法关系和任务需要会影响向量几何关系,但单凭“向量相近”不能保证两个词在所有语境下含义相同。一个词的上下文表示会在后续 Transformer 层继续变化。
3. 位置:让模型知道顺序
自注意力本身只根据向量内容计算关系;若输入向量完全相同而只调换顺序,标准自注意力不会天然知道原始顺序。因此模型还需把位置或相对距离信息纳入计算。
3.1 正弦位置编码
原始 Transformer 使用固定的正弦/余弦位置向量,并把它加到 Token Embedding 上:
$$ PE(pos, 2i)=\sin\left(pos / 10000^{2i/d_{model}}\right), \quad PE(pos, 2i+1)=\cos\left(pos / 10000^{2i/d_{model}}\right) $$
- $pos$:Token 在序列中的位置,从 0 开始计。
- $i$:一对正弦/余弦维度的索引。
- $d_{model}$:向量总维度。
- $2i$ 与 $2i+1$:该对维度中的偶数维和奇数维。
不同维度使用不同频率,因此位置差异可以在多个尺度上表示。这是经典方案,不代表所有现代大模型都直接采用这条公式。
3.2 绝对位置与相对位置
绝对位置方案表示“当前在第几个位置”;相对位置方案强调“两个 Token 相隔多远或谁在谁前面”。Rotary Position Embedding(旋转位置编码,RoPE)将位置信息融入 Query 和 Key 的旋转变换,使注意力分数能够体现相对位移关系。模型还可能采用其他相对位置偏置或位置扩展方法。
位置编码属于模型结构的一部分:训练时如何注入位置、推理时支持多长输入、超出训练长度时能否稳定工作,都取决于具体实现。不能只看到 RoPE 就推断任意超长上下文都有效。
4. 自注意力:Q、K、V 如何交流信息
Self-Attention(自注意力)让序列中每个位置按相关性读取其他位置的信息。设某一层的输入为 $X \in \mathbb{R}^{B \times L \times d_{model}}$。单个注意力头通过三个可学习的线性映射得到:
$$ Q=XW_Q,\quad K=XW_K,\quad V=XW_V $$ 在常见的单头记法中:
- $W_Q,W_K \in \mathbb{R}^{d_{model} \times d_k}$。
- $W_V \in \mathbb{R}^{d_{model} \times d_v}$。
- $Q,K \in \mathbb{R}^{B \times L \times d_k}$,$V \in \mathbb{R}^{B \times L \times d_v}$。
直觉上,Query(查询)表示“当前位置正在寻找什么”,Key(键)表示“当前位置可以提供什么线索”,Value(值)表示“真正要传递的内容”。这只是帮助理解的类比;Q/K/V 都是从隐藏状态经训练得到的向量,并没有人手工写入的问题和答案。
4.1 点积注意力公式
$$ \operatorname{Attention}(Q,K,V) =\operatorname{softmax}\left(\frac{QK^\top}{\sqrt{d_k}}+M\right)V $$ 符号含义:
- $QK^\top$:每个 Query 与每个 Key 做点积,得到位置之间的兼容分数。
- $d_k$:Key/Query 每头维度;$\sqrt{d_k}$ 是缩放因子。
- $M$:可选掩码矩阵。可见位置加 0,不可见位置加负无穷或足够大的负数。
- softmax:沿 Key 所在的最后一个维度归一化,使每个 Query 对可读位置得到和为 1 的权重。
- 乘 $V$:按注意力权重对 Value 加权求和。
加入 $M$ 的写法将因果掩码和 Padding 掩码统一表达;有的实现会把掩码单独作为逻辑操作,而不是实际加负无穷,数学含义相同。
4.2 缩放因子为什么是平方根
若 Query 和 Key 的各维分量近似独立、均值为 0、方差为 1,它们的点积是 $d_k$ 个乘积之和,点积分数的方差会随 $d_k$ 增大。维度越大,未缩放分数的绝对值往往越大,Softmax 越容易集中到少数位置,梯度也可能变小。除以 $\sqrt{d_k}$ 是为了让分数尺度较稳定,改善训练数值与梯度状况;它不是为了把注意力权重强制变平均。
4.3 手算 Softmax 与 Value 加权例子
假设一个 Query 对三个 Key 的缩放后分数为 $[2,1,0]$。Softmax 权重约为 $[0.665,0.245,0.090]$,权重和约为 1。对应的三个二维 Value 假设为 $[10,0]$、$[0,10]$、$[4,4]$,加权结果约为:
$$ [0.665(10)+0.245(0)+0.090(4),;0.665(0)+0.245(10)+0.090(4)] \approx [7.01,;2.81] $$ 这个结果是三个 Value 的加权组合,不是从三个输入中挑一个。例子中的数值只展示计算过程,真实模型会在高维向量中进行同类运算。
4.4 因果掩码的小例子
Decoder-only 语言模型预测下一个 Token 时,位置 $i$ 不能读取未来位置 $j>i$,否则训练时会偷看答案。以下按“行是 Query 位置,列是 Key 位置”的约定,1 表示可见,0 表示遮挡:
$$ \begin{bmatrix} 1&0&0\ 1&1&0\ 1&1&1 \end{bmatrix} $$ 第一行只读第一个位置,第二行可读前两个位置,第三行可读前三个位置。实现时把 0 对应的分数在 Softmax 前置为负无穷,Softmax 后这些位置权重为 0(实际浮点实现是极接近 0)。Padding 掩码则用于忽略批次补齐出来的无效位置,两者目的不同。
5. 多头注意力:在多个子空间中读取
Multi-Head Attention(多头注意力)使用 $H$ 套不同的 Q/K/V 投影,让模型可以并行形成不同的关系视角。例如一个头可能关注近邻语法,一个头可能关注指代或远处主题;这是可解释性的直观假设,不保证每个头都能被稳定地对应成一种人类标签。
常见形状为:
- 输入 $X$:$[B,L,d_{model}]$。
- 拆头后的 $Q,K,V$:$[B,H,L,d_k]$(若 Value 维度不同则最后一维为 $d_v$)。
- 注意力分数:$[B,H,L,L]$。
- 每头输出:$[B,H,L,d_v]$。
- 拼接后:$[B,L,Hd_v]$,再经输出矩阵 $W_O$ 投影回 $[B,L,d_{model}]$。
常见设计令 $d_{model}=H d_k$,但这是常用配置,不是所有架构必须满足的定律。多头也不是简单复制同一份注意力:每个头通常有独立投影参数。
6. 一个 Transformer Decoder 层做什么
标准 Decoder 层可概括为因果自注意力、残差与归一化、逐位置前馈网络、再一次残差与归一化。现代模型常改变模块顺序、归一化类型和门控结构,但仍可用“信息交流 + 非线性变换 + 稳定训练”的主线理解。
6.1 残差连接与 LayerNorm
Residual Connection(残差连接)把子层输入直接绕过变换后相加,让信息和梯度有更短的传递路径。它有助于训练较深网络,但不能保证训练一定稳定。
Layer Normalization(层归一化)在每个样本、每个 Token 的特征维上归一化,并带有可学习的缩放与偏移参数。它不同于对批次样本整体统计均值方差的 Batch Normalization。
两种常见排列:
- Post-LN:先做子层,再对“输入 + 子层输出”归一化,示意为 $x'=\operatorname{LN}(x+\operatorname{Attn}(x))$。
- Pre-LN:先归一化再送入子层,并通过残差相加,示意为 $x'=x+\operatorname{Attn}(\operatorname{LN}(x))$。
这是结构示意,不是所有模型的完整公式;具体模型还可能使用 RMSNorm、门控残差或不同的归一化放置方式。
6.2 前馈网络 / MLP
Feed-Forward Network(前馈网络,FFN)或 MLP(多层感知机)通常对每个 Token 的表示独立做两次线性变换和中间非线性:
$$ \operatorname{FFN}(x)=W_2,\phi(W_1x+b_1)+b_2 $$ 若按列向量记法,$W_1$ 把 $d_{model}$ 扩展到 $d_{ff}$,$W_2$ 再映射回 $d_{model}$;$\phi$ 是 GELU、ReLU 或其他激活函数。SwiGLU 等门控变体也很常见,不能把某个激活函数当作全部模型的固定选择。
注意力负责不同 Token 之间交换上下文信息;FFN 主要在单个 Token 的通道维上变换已经融合的表示。它不是另一个跨位置检索模块。
7. Encoder、Decoder、Encoder-Decoder 的差别
| 架构 | 典型可见范围 | 常见用途 | 关键说明 |
|---|---|---|---|
| Encoder | 输入 Token 可双向互看(遵守 Padding 掩码) | 文本表示、分类、检索向量 | 经典例子是 BERT 类双向编码器 |
| Decoder-only | 位置只能看自己和左侧历史 | 续写、对话、代码生成 | 通过因果掩码逐 Token 预测后续内容 |
| Encoder-Decoder | Encoder 双向读输入;Decoder 因果读已生成内容,并通过交叉注意力读取 Encoder 表示 | 翻译、摘要、输入到输出转换 | 交叉注意力中 Query 来自 Decoder,Key/Value 来自 Encoder |
这些是经典结构对比。模型可能把编码器、解码器或注意力做成混合、稀疏或其他改造,因此回答时要说清讨论的是典型架构。
8. Decoder-only 的训练与生成
8.1 下一 Token 训练目标
给定 Token 序列 $x_1,x_2,\dots,x_T$,自回归模型学习:
$$ P(x_1,\dots,x_T)=\prod_{t=1}^{T}P(x_t\mid x_1,\dots,x_{t-1}) $$ 训练时通常把整段文本并行送入网络,用因果掩码保证位置 $t$ 看不到 $t$ 之后的 Token;损失比较各位置预测分布与真实下一个 Token。Teacher Forcing(教师强制)指训练计算某个位置时,前缀使用数据里的真实 Token;它不等于模型推理时也能知道未来答案。
例如训练文本“今天 天气 很 好”会构造成输入前缀和右移一位的目标:模型在“今天”后预测“天气”,在“今天 天气”后预测“很”,依此类推。各 Tokenizer 的边界未必与中文词语一致,这里只为说明位移关系。
8.2 推理时逐 Token 生成
给定提示“今天”,生成过程可以写成:
- 模型计算下一个 Token 的 logits(未归一化分数)。
- 按 Greedy、温度、Top-k 或 Top-p 等策略选择 Token。
- 把新 Token 接到上下文末尾。
- 再预测下一个 Token,直到 EOS、停止串、长度上限或服务端停止条件触发。
模型一次前向计算可以并行处理提示中的多个位置,但普通自回归解码中未来 Token 尚未产生,所以输出阶段通常逐步生成。新生成 Token 会依赖先前采样结果,错误或随机变化也可能向后传递。
8.3 logits、Softmax 与采样
logits 是词表中每个候选 Token 的未归一化分数;Softmax 把它们变成总和为 1 的概率。Greedy 每一步选概率最大项,结果通常更确定,但容易重复或缺少变化。随机采样按概率抽取候选。
Temperature(温度)把 logits 除以正温度后再 Softmax:较低温度让分布更尖锐,较高温度让分布更平坦。Top-k 先保留分数最高的 k 个候选;Top-p(核采样)保留按概率从高到低累计到 p 的最小候选集合。它们解决的问题不完全一样,也不能从参数名直接推断某个服务的实际默认值。
9. 上下文窗口、复杂度与 KV Cache
上下文窗口(Context Window)表示一次请求中模型可处理的 Token 容量上限。系统消息、历史对话、检索片段、工具调用内容和本次输出都可能占用窗口;窗口变大不等于模型拥有永久记忆,也不保证对窗口中每个位置都同样可靠。
全注意力需要构造每个 Query 与每个 Key 的两两分数。序列长为 $L$ 时,注意力分数矩阵包含 $L^2$ 项;在每头维度 $d_k$ 下,主要点积计算量约为 $O(BHL^2d_k)$,注意力权重本身的存储量约为 $O(BHL^2)$。FFN 则约随 $B L d_{model} d_{ff}$ 线性增长。实际速度和显存还取决于内核、批次、精度、硬件和实现。
KV Cache(键值缓存)在自回归解码中保留前缀各层已算出的 Key/Value,下一步通常只需为新 Token 计算新的 Q/K/V,并让新 Query 读取缓存,不必重新计算所有旧位置的投影。它减少重复计算,但会占显存;缓存规模大致随批次、层数、已缓存长度、KV 头数和每头维度线性增长。多查询注意力(MQA)或分组查询注意力(GQA)通过让多个 Query 头共享部分 K/V 头,进一步降低 KV 缓存宽度;它们与“注意力分数关于序列长度的平方关系”是不同层面的优化。
10. 从表示到下一个 Token
最后一层隐藏状态经语言模型输出矩阵映射到词表大小 $V$,得到 logits $z \in \mathbb{R}^{B \times L \times V}$。自回归下一步通常取最后一个有效位置的 logits,解码策略选择 Token ID,再由 Tokenizer 解码为可见文本。某些模型会让输入 Embedding 与输出矩阵共享权重,但并非必须。
完整计算链可记为:
文本 → Tokenizer → Token ID → Embedding + 位置信息 → 多层 Transformer → logits → 解码策略 → 新 Token → 文本。
模型生成的是条件概率序列,不是经过数据库查询后自动核真的事实表。它的流畅度和真实性需要分别评估;需要可靠事实时应使用可核验资料、检索和验证流程,见 RAG检索增强生成 与 评测幻觉与多模态。
11. 常见误区
- Token 不等于汉字、单词或语义概念;词表和切分依模型而定。
- Q/K/V 不是人工写入的“问题、答案和内容”字段,而是训练得到的投影表示。
- Softmax 权重表达本层、本头、当前 Query 对 Key 位置的归一化选择,不是稳定的人类解释标签。
- 因果掩码的作用是阻止读取未来位置;它不是屏蔽所有历史位置。
- 注意力权重不是最终答案;后续 Value 聚合、输出投影、残差、归一化、FFN 和层堆叠仍会改变表示。
- 上下文窗口是输入容量限制,不等同长期记忆、知识库或准确率保证。
- Greedy、Temperature、Top-k、Top-p 的效果要结合任务和服务实现评测,不能背固定万能参数。
相关笔记
- 机器学习与深度学习基础
- 大模型训练微调与对齐
- 大模型推理与性能优化
- RAG检索增强生成
- 评测幻觉与多模态
- 大模型面试精选
- 大模型基础原理面试题库
参考资料与核读范围
- 《大模型(LLMs)基础面》3 页、《大模型(LLMs)进阶面》12 页、《Tokenizer篇》2 页、《Attention升级面》3 页、《Transformer面试题总结》17 页:用于定位题目与概念,不把标题或题库答案当作正确性证明。
- 《大规模语言模型:从理论到实践》297 页:本专题选读并核对第 26–35 页的 Transformer、位置编码、注意力、FFN、归一化和因果掩码,第 63 页起的 BPE/Tokenizer 内容;未声称全书逐页精读。
- 公式、张量形状和手算例子按本文明示的维度约定重新整理与交叉核算;来源中可能过时或表述不严谨的内容不照搬。
原始来源文件
以下列出本篇整理所依据的代表性原件;同主题重复版本与完整状态请查阅 source-manifest.csv。
Raw sources/002.大模型面试合集202605161/大模型(LLMs)基础面.pdfRaw sources/大模型官方课程-视频资料/2026最新大模型全套资料(持续更新)/②、大模型入门资料/Transformer面试题总结.pdf