AI · 基础原理
Transformer 从输入到下一个 Token:计算全链路
沿张量形状推导 Token、Embedding、自注意力、前馈网络到自回归生成。 Transformer 从输入到下一个 Token:计算全链路 这篇要回答什么 给定一段文本,模型如何把它变成向量、结合上下文,并逐步生成下一个 Token?本篇按一次 Decoder-only Transformer 前向计算串起来,并
正在读取最新同步的笔记,请稍候。
KNOWLEDGE INDEX / 知识索引
从 Obsidian 同步而来的个人知识索引。按主题翻阅,或直接找到记忆里的那句话。
支持搜索标题、正文与标签,筛选状态会保存在网址中。
检索结果
沿张量形状推导 Token、Embedding、自注意力、前馈网络到自回归生成。 Transformer 从输入到下一个 Token:计算全链路 这篇要回答什么 给定一段文本,模型如何把它变成向量、结合上下文,并逐步生成下一个 Token?本篇按一次 Decoder-only Transformer 前向计算串起来,并