AI · 基础原理
大模型基础原理
从 Token、Transformer 和训练目标理解大语言模型的能力与边界。 大模型基础原理 摘要 大语言模型(Large Language Model,LLM)先把文字变成 Token ID,再把 ID 映射为向量;Transformer(变换器)层通过注意力读取上下文、通过前馈网络变换表示;最后将当前位置的表示映
正在读取最新同步的笔记,请稍候。
KNOWLEDGE INDEX / 知识索引
从 Obsidian 同步而来的个人知识索引。按主题翻阅,或直接找到记忆里的那句话。
支持搜索标题、正文与标签,筛选状态会保存在网址中。
检索结果
从 Token、Transformer 和训练目标理解大语言模型的能力与边界。 大模型基础原理 摘要 大语言模型(Large Language Model,LLM)先把文字变成 Token ID,再把 ID 映射为向量;Transformer(变换器)层通过注意力读取上下文、通过前馈网络变换表示;最后将当前位置的表示映
从数据集、特征、损失与梯度开始,讲清训练流程、神经网络、泛化和评估指标,为理解大模型打基础。 机器学习与深度学习基础 [!abstract] 学习目标 学完后应能说明模型从样本中如何学习参数,能读懂训练/验证曲线,能根据任务选择评价指标,并能解释深度学习中的前向传播与反向传播。这里的公式都从最小例子出发,不要求先掌握高
沿张量形状推导 Token、Embedding、自注意力、前馈网络到自回归生成。 Transformer 从输入到下一个 Token:计算全链路 这篇要回答什么 给定一段文本,模型如何把它变成向量、结合上下文,并逐步生成下一个 Token?本篇按一次 Decoder-only Transformer 前向计算串起来,并