KNOWLEDGE NOTE / AI · 面试

AI 面试必备知识

创建
2026年11月20日
更新
2026年11月20日

AI 面试必备知识

一、大模型

大语言模型(Large Language Model,LLM):

通过大规模文本训练,学习语言规律并生成、理解和转换文本的模型。

词元(Token):

模型处理文本的基本单位,可以是字符、词的一部分、完整词或特殊符号。

分词器(Tokenizer):将文本与词元编号相互转换的组件。

模型参数(Parameter):训练过程中学习得到、用于决定模型计算结果的数值。

向量嵌入(Embedding):将离散对象映射为连续数值向量的表示方法。

Transformer(基于注意力的神经网络架构):

Transformer 是以注意力机制为核心的神经网络架构。它通过自注意力,预测下一个词元。

注意力机制(Attention):根据输入之间的相关性,对信息进行加权聚合的机制。

自注意力(Self-Attention):同一序列中的位置相互计算相关性并聚合信息的机制。

交叉注意力(Cross-Attention):使用一个序列的查询,从另一个序列的键和值中聚合信息的机制。

Q、K、V(Query、Key、Value,查询、键、值):注意力计算中分别用于发起匹配、计算匹配程度和提供聚合内容的表示。

多头注意力(Multi-Head Attention):并行计算多个注意力头,再组合结果的机制。

因果掩码(Causal Mask):阻止当前位置访问未来位置,保证自回归生成顺序的约束。

位置编码(Positional Encoding):向模型提供序列位置或相对位置关系的信息表示。

旋转位置编码(Rotary Position Embedding,RoPE):通过旋转查询和键的特征表示,将位置信息引入注意力计算的方法。

前馈网络(Feed-Forward Network,FFN):对每个位置的表示进行非线性特征变换的网络。

残差连接(Residual Connection):将模块输入与其输出相加,保留信息并改善梯度传播的结构。

层归一化(Layer Normalization):对单个样本的特征进行归一化,以稳定训练的操作。

编码器(Encoder):将输入转换为上下文特征表示的网络结构。

解码器(Decoder):根据已有上下文逐步生成输出序列的网络结构。

自回归生成(Autoregressive Generation):根据已有词元预测下一个词元,并反复扩展序列的生成方式。

预训练(Pretraining):在大规模数据上学习通用表示和预测能力的训练阶段。

有监督微调(Supervised Fine-Tuning,SFT):使用输入与目标输出样本调整模型行为的训练方法。

指令微调(Instruction Tuning):使用指令及对应响应训练模型遵循任务要求的方法。

对齐(Alignment):使模型行为符合目标偏好、规则和安全要求的过程。

基于人类反馈的强化学习(Reinforcement Learning from Human Feedback,RLHF):利用人类偏好形成奖励信号,再通过强化学习优化模型的方法。

直接偏好优化(Direct Preference Optimization,DPO):直接使用偏好样本优化模型相对输出概率的训练方法。

低秩适配(Low-Rank Adaptation,LoRA):冻结原模型主要权重,通过训练低秩增量矩阵进行适配的方法。

量化(Quantization):使用更低精度表示权重或激活,以减少存储和计算开销的方法。

知识蒸馏(Knowledge Distillation):利用教师模型的输出或内部表示训练学生模型的方法。

混合专家模型(Mixture of Experts,MoE):由路由机制为输入选择部分专家网络参与计算的模型结构。

上下文窗口(Context Window):

模型一次处理可容纳的词元范围,具体输入输出预算由模型和服务约定决定。

上下文学习(In-Context Learning,ICL):不修改模型参数,仅利用上下文中的说明和示例完成任务的方式。

零样本提示(Zero-Shot Prompting):不提供任务示例,直接通过指令要求模型完成任务的方法。

少样本提示(Few-Shot Prompting):在上下文中提供少量示例,引导模型完成任务的方法。

思维链(Chain of Thought,CoT):

利用中间推理步骤支持复杂问题求解的提示或训练方式。

幻觉(Hallucination):

模型生成缺乏依据、与来源冲突或事实错误内容的现象。

幻觉的根因可以归到三个层面。

第一是训练数据层面:互联网语料本身就有错误、矛盾、过时的信息,模型把这些都「学进去」当作事实记 忆。 第二是生成机制层面:LLM本质是「按概率续写下一个token」,不是[查询知识库」。模型对「自己知不知道某件事」没有显式信号,碰到不熟悉的问题,会按训练时见过的相似上下文[编一个看起来合理的答案」。这就是为什么Temperature=0也会幻觉,因为概率最高的那条路径本身就是错的。 第三是对齐目标层面:SFT和RLHF训练时,[自信地回答」往往比[我不知道」得分更高,模型被无形中 训练成了「不会拒答」。 幻觉分三类:

事实性幻觉(编造不存在的事实,把人物事件张冠李戴)、

推理性幻觉(推理链条错乱、前后矛盾)、

上下文不一致(违背用户给的明确条件)。

温度(Temperature):

Temperature 控制输出的随机性,越低越稳定可复现,越高越发散有创意

Top-k 采样(前 k 项采样):

仅在概率最高的 k 个候选词元中采样的方法。

Top-p 采样(核采样):

在累计概率达到阈值 p 的高概率候选集合中采样的方法。

键值缓存(Key-Value Cache,KV Cache):保存已处理词元的注意力键和值,减少生成时重复计算的机制。

首词元延迟(Time to First Token,TTFT):从提交请求到收到首个输出词元所需的时间。

吞吐量(Throughput):单位时间内系统完成的请求数量或处理的词元数量。

多模态模型(Multimodal Model):能够处理或生成文本、图像、音频等多种模态数据的模型。

结构化输出(Structured Output):使模型输出符合预定字段、类型或数据模式的机制。

常见状态码

状态码含义典型情况
200请求成功查询完成;仍需看业务结果
201已创建创建资源成功
202已接受处理任务排队,不代表已完成
204成功且无响应内容删除成功,不返回响应体
301永久重定向地址永久迁移
302临时重定向暂时跳转
304未修改条件请求后复用已有缓存,不是普通跳转
307临时重定向,保持方法和请求体原样转发到临时地址
308永久重定向,保持方法和请求体原样转发到永久地址
400请求有误请求格式损坏等
401缺少有效认证凭证未携带凭证或凭证失效
403拒绝访问权限或访问策略限制
404未找到目标资源,或不愿透露资源存在路径、资源编号、路由错误
405目标资源不支持所用方法只支持 POST 却使用 GET
408请求超时服务端未及时收到完整请求
409与资源当前状态冲突更新状态冲突等
410资源已不可用,通常为永久状态明确移除的资源
413请求内容过大上传文件超过限制
415不支持的媒体类型接口不支持所提交内容格式
422内容格式可理解,但无法处理其中指令字段值违反业务校验,具体映射依接口
429请求过多触发速率或并发限制
500服务内部错误未处理异常等
501不支持所需功能服务未实现所需能力
502网关收到上游无效响应上游异常断连等,具体需查日志
503服务暂时不可用过载、维护或无可用服务实例
504网关等待上游超时上游未在规定时间内返回

Prompt(提示词):

是提供给模型的输入,可以是一句问题,也可以是包含角色、任务、上下文、输入和输出规则的一组结构化消息。

提示词工程(Prompt Engineering):

是系统地设计、组织、测试和改进这些输入,让模型更稳定地达到目标。

Prompt Injection(提示词注入):

是攻击者通过用户输入或外部内容嵌入指令,试图让模型把外部内容当成高优先级指令。

提示词注入如何防护

提示词注入要分层防护。先把网页、文档和工具返回的内容当作不可信数据,不能让里面的指令改变任务。再给工具最小权限,每次调用都由后端校验权限和参数。删除数据、对外发送这类高风险操作,要先让用户确认。系统提示词和关键词过滤只能辅助,真正的安全边界要由程序强制执行。

Function Calling(函数调用)

是让大模型请求使用外部工具的机制。应用先告诉模型有哪些工具、各自做什么、需要哪些参数。模型需要查询数据或执行业务操作时,就返回工具名和参数。后端负责校验和执行,再把结果交给模型,由模型回答用户或继续调用其他工具。

模型是怎么调用函数的

开发者先提供工具的名称、描述和参数 Schema,模型决定是否调用并返回结构化参数。后端收到后做工具白名单、参数校验和权限检查,再执行真正的函数,把结果以工具消息传回模型,最后由模型生成回答。

为什么不能直接相信模型参数

模型输出具有不确定性,参数可能缺失、类型错误或越权。

数调用和 Agent 的区别

Function Calling 是模型调用工具的一种能力和协议;Agent 是更高层的任务执行系统,除了工具调用,还包含任务分解、决策循环、状态管理、停止条件和错误恢复。一个 Agent 可以在多轮循环中进行多次工具调用。

WebSocket、SSE 和普通请求

普通 JSON 请求

适合一次请求、一次完整返回。

SSE

Server-Sent Events,服务器发送事件。特点:

  • 基于 HTTP。
  • 客户端发起连接。
  • 服务器可以持续向客户端发送数据。
  • 单向通信,适合模型生成文本。
  • 浏览器支持 EventSource,但带复杂请求头时也常用 fetch 自己读取流。
WebSocket

双向长连接。适合:

  • 实时协作。
  • 多方消息。
  • 双向推送。
  • 复杂实时系统。

面试回答:

大模型回答通常是服务器持续向客户端输出,单向流式通信已经够用,因此 SSE 结构简单,适合聊天生成。需要客户端和服务器双向持续通信时,再考虑 WebSocket。

MCP(模型上下文协议)

Host(宿主):承载用户交互、模型调用和 MCP 连接管理的 AI 应用。

Client(客户端):宿主中负责与 MCP 服务端交换协议消息的组件。

Server(服务端):通过 MCP 接口暴露工具、资源和提示模板等能力的程序。

Tool(工具):服务端暴露的、可由客户端请求执行的操作能力。

Resource(资源):服务端提供的、可按标识读取的上下文数据。

Prompt(提示模板):服务端提供的、可按参数生成消息内容的复用模板。

JSON Schema(JSON 数据模式):描述 JSON 数据结构、类型和校验约束的规范。

stdio(Standard Input/Output,标准输入输出):通过进程的标准输入和标准输出传输协议消息的方式。

Streamable HTTP(可流式 HTTP 传输):通过 HTTP 请求及可选流式响应承载 MCP 通信的传输方式。

认证(Authentication):确认调用方身份的机制。

授权(Authorization):确定身份可访问哪些资源或执行哪些操作的机制。

模型适配(Model Adaptation):宿主或集成层将 MCP 能力转换为具体模型支持的工具和消息格式的过程。

MCP(Model Context Protocol,模型上下文协议):

是一种用于连接人工智能应用与外部工具、数据源的开放协议。它统一能力发现、调用和结果返回的方式,减少不同应用与工具之间重复编写适配代码的成本。

MCP 由哪几部分组成

MCP由三层组成,可以从角色、能力、协议三个维度来理解。

角色层有三个:Host是AI应用本身(比如 Claude Desktop),Client是Host里负责和Server 通信的模块,Server是工具提供方实现的独立进程,一个Host可以同时连多个Server。 能力层定义了Server 能暴露三类东西:Tools是有副作用的操作(比如创建文件、调API),Resources 是只读数据(比如读取文档内容),Prompts是预定义的提示词模板。 协议层是底层通信:消息格式统一用JSON-RPC2.0,传输方式支持stdio(本地子进程通信)和Streamable HTTP(远程HTTP连接)两种 这三层合在一起,就是MCP的完整组成。

MCP、RAG、Agent 的关系

可以这样理解:

  • RAG 解决“模型需要查什么知识”。
  • Tool Calling 解决“模型如何请求一次工具”。
  • Agent 解决“模型如何围绕任务多步决策”。
  • MCP 解决“外部工具和资源如何以标准协议接入”。

它们不是互斥关系:

text
Agent
  ├── RAG:查询知识库
  ├── Tool Calling:调用单个工具
  └── MCP:通过标准协议发现和调用外部工具

Tool 是可执行能力,MCP 是宿主接入外部能力的标准协议,Skill 是处理某类任务的方法与资源包

Skill(技能)

Skill(技能包):围绕特定任务封装说明、操作流程及可选脚本和资源的可复用能力单元。

SKILL.md(技能说明文件):用于描述技能用途、适用条件和执行要求的 Markdown 文件。

技能元数据(Skill Metadata):描述技能名称、用途和发现条件等信息的属性。

触发条件(Trigger):判断当前任务是否适合使用某个技能的规则或描述。

渐进式披露(Progressive Disclosure):先加载技能摘要,再按需读取详细说明及资源的上下文组织方式。

技能指令(Skill Instructions):规定任务处理步骤、质量标准和异常处理要求的文本。

技能脚本(Skill Scripts):为技能提供确定性计算、文件处理或自动化操作的程序。

参考资料(References):供技能按需查阅的规范、文档和领域知识。

技能资产(Assets):技能使用的模板、图片或其他静态素材。

技能路由(Skill Routing):根据任务匹配并选择适用技能的过程。

技能组合(Skill Composition):将多个技能配合使用以完成复杂任务的方式。

技能权限边界(Skill Permission Boundary):技能执行所受的宿主授权、工具权限和运行环境约束。

技能与工具的关系:技能规定任务怎么完成,工具提供实际可执行的操作能力。

技能与 MCP 的关系:技能封装任务知识和流程,MCP 标准化外部能力的连接与调用。

Skill的渐进式披露:

先让Agent发现“有哪些能力”,任务匹配后再读“怎么做”,执行中才加载所需细节。

为什么不把所有技能放进系统提示词?

全部加载会消耗上下文,并可能引入无关或冲突指令;按需加载更便于维护,但依赖技能发现和选择准确。

二、RAG(检索增强生成)

知识库(Knowledge Base):组织原始资料、内容块、元数据和检索能力的知识管理系统。

文档解析(Document Parsing):从文件中提取文本、表格、图片和结构关系的过程。

光学字符识别(Optical Character Recognition,OCR):将图像中的文字转换为机器可处理文本的技术。

文档清洗(Document Cleaning):去除噪声、修复格式和结构问题,并保留有效语义的处理过程。

内容块(Chunk):文档切分后用于编码、检索和引用的内容单元。

分块(Chunking):按照长度、结构或语义把文档划分为内容块的过程。

重叠分块(Overlapping Chunking):让相邻内容块共享部分内容,以保留边界上下文的切分方式。

元数据(Metadata):描述内容来源、位置、版本、时间、分类和访问范围等属性的数据。

稠密向量(Dense Vector):大部分分量非零、通常用于表达学习特征的数值向量。

稀疏向量(Sparse Vector):大部分分量为零、通常仅存储非零位置及权重的数值向量。

语义检索(Semantic Retrieval):根据语义相关性而非仅字面重合查找内容的方法。

关键词检索(Keyword Retrieval):根据词项匹配及其权重查找相关内容的方法。

向量数据库(Vector Database):提供向量存储、相似度检索、元数据管理及相关数据服务的数据库系统。

向量索引(Vector Index):用于加速相似向量查找的数据结构。

查询改写(Query Rewriting):保留用户意图和约束,将问题转换为更适合检索表达的过程。

查询扩展(Query Expansion):为查询增加相关词项、别名或概念以扩大有效匹配的方法。

多查询检索(Multi-Query Retrieval):为同一意图生成多种查询,分别检索后合并结果的方法。

RAG(Retrieval-Augmented Generation,检索增强生成):

是一种把信息检索与大模型生成结合起来的应用架构。

用户提问时,先从外部知识库检索相关资料,再把资料作为上下文交给大模型,让模型基于资料生成答案。

微调(Fine-tuning):

是指在已经训练好的基础模型上,继续用特定数据做训练,使模型在某类任务、某种风格或某种输出形式上表现更稳定。

续训 Continued Pretraining:

是在模型已经完成通用预训练后,再用某一领域的大规模原始语料继续训练,让模型更熟悉该领域的语言分布、术语体系和知识结构。

RAG检索的流程

  1. 索引阶段(离线):加载、清洗文档,切分为适合检索的片段,通过 Embedding 模型进行向量化,建立索引,并关联保存片段原文、来源等元数据。
  2. 检索生成阶段(在线):将用户问题向量化,检索 Top-K 相关片段,按需过滤和重排,再将片段原文、原始问题和回答要求组织成 Prompt,由大模型生成答案。

RAG检索,可以分成两层。

向量检索和关键词检索决定怎么匹配文档:向量检索按语义相似度找,擅长处理同义表达;关键词检索按词项匹配找,适合查专业术语、型号和错误码。查询重写和多查询扩展决定拿什么去搜:重写侧重把原问题说清楚,多查询扩展侧重用几种说法分别搜索,再合并去重,减少漏检。

RAG 文档切分要在“检索能定位”和“片段足以回答”之间取舍。 常见策略有四类:

  1. 固定长度切分:按字符数或 Token 数分块,适合快速建立基线。
  2. 递归切分:优先按段落、句子等边界切分,超长部分再继续细分。
  3. 结构化切分:依据标题、条款、函数或表格等文档结构组织片段。
  4. 语义切分:根据相邻内容的语义变化确定边界,同时限制块的最小和最大长度。

RAG 知识库如何实现动态与持续更新?

核心是让索引跟着数据源做增量同步。先用变更事件或定时扫描发现新增、修改和删除。新增文档正常解析、切块、生成向量;修改只处理受影响的文档或片段,更新向量和关键词索引;删除要同步清理对应片段,防止检索到过期资料。用稳定文档 ID(标识符)和版本号保证重复任务不产生重复片段,也防止旧任务覆盖新内容。整个过程更新的是检索索引,不需要重新训练大模型。

上下文窗口很大时为什么还需要 RAG?

长上下文解决的是「这一次能放多少内容」,RAG(Retrieval-Augmented Generation,检索增强生成)解决的是**「这次应该放哪些内容,以及从哪找」**。知识库很大或持续更新时,每次把全部资料塞进模型,通常会增加输入成本和处理时间,无关材料也可能干扰回答。RAG 可以先按问题、权限和版本选出相关证据,再把原文和来源交给模型。两者可以配合:先检索出相关文档,再用长上下文读完整章节、整份文档,或综合多个来源。

RAG 最难的地方是

第一是文档预处理,原始数五化八门,PDF里面的表格图片、嵌套的格式,处理不好就是一堆乱码进了知识库,进去的是垃圾出来的也是垃圾。 第二是检索质量的调优,向量召回不准是整个系统效果的天花板,但问题来源很多,Chunking、Embedding、Query 改写,任何一个环节出问题都会影响结果,排查起来很费劲。 第三是效果评估,答案对不对很难系统性地衡量,不知道是哪个环节出了问题,优化就变成了瞎猜。

Query 重构有哪些常见方法,各适合什么场景?

我接触过的方法主要有四种:

第一是直接改写,让LLM把口语化的问题转成更精准的表述;

第二是Query扩展,补充相关关键词;

第三是HyDE,让LLM先生成一个假设答案,然后用答案的向量去检索;

第四是Step-back Prompting,把具体问题往上抽象一层,检索更通用的背景知识。

问题没说全就改写,用词对不上就扩展,一个问题要查几类证据就拆分,明确的版本和日期就提取成过滤条件。

三、Agent(智能代理)

工作流(Workflow):由预定义步骤、条件和数据传递关系组织的执行流程。

代理循环(Agent Loop):在决策、工具调用、结果观察和状态更新之间反复执行的控制过程。

工具(Tool):具有明确名称、用途、参数和执行逻辑的可调用能力。

函数调用(Function Calling):模型输出函数名称及结构化参数,由程序校验并执行的交互机制。

工具模式(Tool Schema):定义工具参数、类型、必填字段及结果约束的结构描述。

规划(Planning):将目标组织为可执行步骤或子目标的过程。

任务分解(Task Decomposition):把复杂任务拆成较小、具有完成条件的任务的过程。

ReAct(Reasoning and Acting,推理与行动):交替进行推理、行动和观察结果的代理模式。

计划与执行(Plan-and-Execute):先制定计划,再执行并按结果调整计划的代理模式。

反思(Reflection):根据执行结果或反馈检查问题并提出调整的机制。

代理状态(Agent State):执行过程中保存的消息、证据、任务进度和控制信息。

短期记忆(Short-Term Memory):服务于当前会话或任务的消息和中间状态。

长期记忆(Long-Term Memory):跨会话保存并按需读取的事实、偏好或经验信息。

上下文工程(Context Engineering):选择、组织和维护模型当前所需指令、工具、记忆和证据的过程。

多代理系统(Multi-Agent System):由多个具有分工的代理协作完成任务的系统。

主控代理(Supervisor):负责分配任务、协调子代理并汇总结果的代理。

交接(Handoff):将任务控制权及必要上下文转移给另一个代理的机制。

人工介入(Human-in-the-Loop,HITL):在执行过程中引入人工审核、修改或决策的机制。

护栏(Guardrail):对输入、输出、工具和执行行为施加校验与约束的机制。

沙箱(Sandbox):通过进程、文件、网络和资源隔离限制代码执行影响范围的环境。

最小权限(Least Privilege):只授予完成当前任务所必需权限的原则。

提示词注入(Prompt Injection):通过不可信输入诱导模型偏离既定指令或权限边界的攻击。

间接提示词注入(Indirect Prompt Injection):通过网页、文档或工具结果等外部内容植入恶意指令的攻击。

幂等性(Idempotency):同一操作重复执行时,其预期业务效果与执行一次相同的性质。

重试(Retry):对符合条件的失败操作再次执行的容错机制。

指数退避(Exponential Backoff):随重试次数增加等待间隔的重试策略。

超时(Timeout):操作超过设定时长后停止等待或触发失败处理的机制。

熔断(Circuit Breaker):持续失败达到条件后暂时阻止调用,以限制故障扩散的机制。

降级(Fallback):主方案不可用时改用能力或成本不同的替代方案。

停止条件(Stopping Condition):结束代理循环的成功、失败或预算限制规则。

执行轨迹(Trajectory):代理完成任务时产生的动作、工具结果和状态变化序列。

智能代理(Agent):

是以模型为决策核心,围绕任务目标调用工具,并依据执行反馈持续调整行动的软件系统。

Agent = 模型 + 工具集 + 运行循环 + 当前状态

  • 模型(Model):理解目标,结合当前信息选择工具和下一步行动。
  • 工具集(Tools):执行外部操作,例如检索文档、查询数据库或调用业务接口;实际执行由应用程序完成。
  • 运行循环(Loop):组织模型决策、工具执行和结果反馈,持续推进任务,并在任务完成或达到执行限制时停止。
  • 当前状态(State):保存任务目标、对话、工具结果和中间进展,为后续决策提供依据。

ReAct、Plan-and-Execute 和 Reflection 有什么区别

ReAct(Reasoning and Acting,推理与行动)是边做边决定:执行一步,观察结果,再决定下一步。Plan-and-Execute(计划与执行)是先列出子任务,再逐步执行;如果结果和预期不同,可以调整剩余计划。Reflection(反思)是根据反馈检查当前产出或执行过程,发现问题后修正或重试。前两种主要决定怎么推进任务,反思主要决定结果是否需要修正,所以可以组合。

模式典型流程适用场景与代价
ReAct(推理与行动)决定下一步 → 执行 → 观察 → 继续或结束适合下一步依赖工具结果的任务;连续交互可能增加延迟,要设步数上限
Plan-and-Execute(计划与执行)制定计划 → 执行子任务 → 必要时重规划适合能提前拆解、存在依赖的任务;初始计划可能不完整,规划也有开销
Reflection(反思)生成或执行 → 根据反馈评估 → 修正或结束适合有验收标准或可验证反馈的任务;仅靠模型自评可能保留原有错误

Agent 的记忆是什么?短期记忆和长期记忆有什么区别?

Agent(智能代理)记忆,是应用把过去有用的信息保存下来,在后续调用模型时按需取回。短期记忆服务于当前会话,比如前几轮消息、工具结果和任务进度;长期记忆可以跨会话使用,比如用户明确表达的偏好和确认过的项目约定。短期和长期主要看使用范围,不看有没有写进数据库。两者改变模型收到的上下文,不需要更新模型参数。

怎么实现
  • 短期记忆: 按会话编号保存状态。历史过长时,可保留最近几轮,给较早内容做摘要,并单独保留任务约束、关键标识和进度。以 LangGraph 为例,Checkpointer(检查点组件)能持久化同一会话的状态,支持之后接着执行。
  • 长期记忆: 从对话中筛选值得长期保存的信息,按用户或项目隔离存储,需要时按键或按语义检索。以 LangGraph 为例,可用 Store(存储组件)保存跨会话信息。明确偏好用数据库字段或键值查询就够,只有需要按含义找历史片段时才考虑向量检索。记忆项应支持纠正和删除,避免把模型猜测当作用户事实。

CoT、ToT 和 GoT 有什么区别

CoT(Chain of Thought,思维链)沿着一条路径生成连续的中间步骤;ToT(Tree of Thoughts,思维树)在中间步骤上产生多个候选,评估后选择哪些分支继续,必要时回溯;GoT(Graph of Thoughts,思维图)把中间结果及其依赖关系组织成图,除了分叉,还能把不同路径的结果合并或复用。简单记就是:链是顺着走,树是分叉后选路,图是分叉后还能汇合。

Workflow(工作流)和 Agent(智能代理)有什么区别?

区别主要是下一步由谁决定。Workflow(工作流)由开发者预先定义步骤、分支和规则,模型可以负责分类、提取信息或生成文字。Agent(智能代理)拿到目标后,根据当前信息和工具结果动态决定下一步,比如查什么、是否继续查、什么时候结束。规则清楚、需要稳定可控的任务优先用工作流;步骤难以提前预判、需要反复收集信息的任务适合用智能代理。两者可以组合。

工具调用格式非法、参数错误、超时或失败时,Agent 如何容错?

Agent(智能代理)的工具容错要区分模型生成错误、参数与业务错误、暂时性服务故障,以及执行结果未知。格式或可修复参数错误,先在程序端校验,再把简洁的结构化错误反馈给模型有限次修正;缺少业务信息时询问用户,不猜测。网络波动、限流等暂时问题由执行层按幂等性和总预算实施有上限的退避重试。超时不等于没执行,写操作需用持久化业务幂等键或先查询状态。持续失败则熔断、降级或转交,并明确哪些完成、哪些失败或未知。

如何防止 Agent 无限循环

设置最大步骤数和总超时;记录已经执行的工具和参数;对重复调用做检测;为工具设置超时和错误上限;规定明确的完成条件;超过限制时返回可解释的失败结果或转人工。

Agent 如何保证安全

模型只负责提出动作,后端负责白名单、参数校验、权限判断和业务规则;高风险操作要求用户确认;工具结果限制长度并做脱敏;保存审计日志;对用户输入、检索文档和工具结果进行边界隔离。

四、LangChain(大模型应用开发框架)

  • LangChain:提供模型、工具及代理循环等抽象和集成的大模型应用开发框架。
  • 模型接口(Model Interface):统一不同模型提供商调用方式的抽象。
  • 消息(Message):包含角色、内容及相关元数据的对话输入输出单元。
  • 提示模板(Prompt Template):通过变量生成模型提示内容的模板。
  • 输出解析器(Output Parser):将模型响应转换为目标类型或结构的组件。
  • Runnable(可运行组件):支持统一调用、批处理、流式输出等操作的执行抽象。
  • LCEL(LangChain Expression Language,LangChain 表达式语言):用用 |(管道符) 或其他组合方式,把多个 Runnable 连接起来的一套表达方法。
  • invoke(调用):执行一次组件或流程并返回结果的接口。
  • batch(批处理):对多个输入执行组件或流程的接口。
  • stream(流式输出):在执行过程中逐步返回输出片段或事件的接口。
  • Document(文档对象):保存内容和元数据的标准数据对象。
  • 文档加载器(Document Loader):从文件、网页或其他数据源读取文档的组件。
  • 文本切分器(Text Splitter):按指定规则将文本拆成内容块的组件。
  • 向量存储接口(Vector Store Interface):统一向量写入、检索及相关数据操作的抽象。
  • 检索器接口(Retriever Interface):统一根据查询获取相关文档的抽象。
  • 工具注册(Tool Registration):将函数及其参数模式和描述纳入代理可调用工具集合的过程。
  • create_agent(代理创建接口):组合模型、工具、提示和中间件以创建代理的接口。
  • 中间件(Middleware):在模型或工具调用等执行环节插入控制和处理逻辑的机制。
  • 工具绑定(Tool Binding):将工具定义提供给模型,使其能够输出相应调用请求的过程。

五、LangGraph(有状态代理编排框架)

  • LangGraph:用于构建有状态、长时间运行的代理和工作流的底层编排框架与运行时。
  • State(状态):图执行过程中供节点读取和更新的共享数据。
  • Node(节点):执行模型调用、工具操作或其他逻辑的计算单元。
  • Edge(边):定义节点之间执行关系的连接。
  • Conditional Edge(条件边):根据状态或计算结果动态选择后续节点的连接。
  • StateGraph(状态图):通过状态模式、节点和边定义计算流程的图构建对象。
  • START(开始标记):表示图执行入口的特殊标记。
  • END(结束标记):表示图执行结束的特殊标记。
  • Reducer(状态归并函数):定义某个状态字段如何合并更新的函数。
  • Checkpoint(检查点):保存图执行状态及相关执行信息的快照。
  • Checkpointer(检查点保存器):负责持久化和读取检查点的组件。
  • Thread(执行线程):用于关联一系列执行及其持久化状态的逻辑标识,不等同于操作系统线程。
  • Store(长期存储):保存和检索跨执行线程或跨会话信息的组件。
  • Interrupt(中断):暂停执行并等待外部输入或审核的机制。
  • Resume(恢复):提供必要输入后继续已暂停执行的操作。
  • Command(控制命令):用于表达状态更新、路由或恢复等控制操作的对象。
  • Send(动态派发):向指定节点发送独立输入,以动态创建执行分支的机制。
  • Subgraph(子图):封装部分状态和流程、可作为更大图组成部分的图。
  • 持久化执行(Durable Execution):利用持久化状态和执行记录支持中断或故障后继续执行的能力。
  • 重放(Replay):从指定历史检查点重新执行后续流程的能力。
  • 分叉(Fork):基于历史状态创建新的执行分支的能力。
  • 超级步(Superstep):图运行中一组可并行节点完成计算并传递更新的逻辑执行轮次。
  • LangChain 与 LangGraph 的关系:LangChain 提供较高层代理抽象与集成,LangGraph 提供显式状态和控制流编排;LangGraph 可独立使用。

六、LangSmith(代理观测与评估平台)

  • LangSmith:为大模型应用和代理提供追踪、评估、提示管理及部署能力的平台。
  • 可观测性(Observability):利用执行记录、指标和反馈理解系统内部行为的能力。
  • Trace(追踪):记录一次请求端到端执行过程的调用层级和相关数据。
  • Run(运行记录):一次模型、工具或流程调用的输入、输出、耗时和状态等记录。
  • Tracing(执行追踪):采集并关联模型调用、工具调用和流程执行记录的过程。
  • Project(项目):组织和查询运行记录的管理单元。
  • Dataset(数据集):用于测试和评估的一组输入、参考输出及元数据。
  • Example(样例):数据集中的一条输入及其可选参考输出和元数据。
  • Evaluator(评估器):对输出、执行轨迹或其他目标进行评分和判定的函数或模型。
  • 离线评估(Offline Evaluation):在固定数据集上运行系统并比较结果的评估方式。
  • 在线评估(Online Evaluation):对实际运行或生产流量记录进行质量评估的方式。
  • Experiment(实验):在指定数据集上执行某个系统配置并记录输出和评估结果的评估运行。
  • 模型裁判(LLM-as-a-Judge):使用大语言模型依据评分标准评价输出或执行过程的方法。
  • 人工反馈(Human Feedback):由人工提供的评分、标签和评语。
  • 标注队列(Annotation Queue):集中组织待人工审查和标注记录的机制。
  • 成对评估(Pairwise Evaluation):针对同一输入比较两个输出优劣的评估方式。
  • 回归评估(Regression Evaluation):比较系统变更前后表现,识别能力退化的评估方式。
  • 提示版本管理(Prompt Versioning):记录和管理提示内容变更及历史版本的机制。
  • 延迟监控(Latency Monitoring):跟踪请求及各执行阶段耗时的过程。
  • 词元与成本监控(Token and Cost Monitoring):记录模型词元消耗及可获取费用信息的过程。
  • 数据脱敏(Data Redaction):在记录或导出追踪数据前移除或替换敏感内容的处理。
  • LangSmith Deployment(代理部署服务):用于运行、发布和管理有状态代理的部署能力。
  • 三者关系:LangChain 负责应用与代理抽象,LangGraph 负责状态和流程编排,LangSmith 负责观测、评估及相关运维能力。

LangChain 和 LangGraph 分别是什么,有什么区别

LangChain 是用来快速搭建大模型应用和 Agent(智能代理)的框架。 它统一了模型和工具的接口,还封装了「模型决定调用工具 → 程序执行 → 结果交回模型」的循环。它更像一层“应用编排层”,负责把模型、提示词、外部知识、工具、记忆、输出解析、调试追踪等能力组织成一个完整、可维护、可扩展的 AI 应用。

LangGraph 是用来编排和运行有状态流程的框架。 你可以用节点定义每一步做什么,用边决定下一步去哪,用共享状态记录进度;配置检查点后,还能暂停和恢复。State(状态)保存共享数据,Node(节点)执行一步逻辑,Edge(边)决定下一步

LangGraph 入门最重要的不是先背很多 API,而是先把这四个词的边界想清楚。

概念中文解释入门理解代码里通常对应什么
State状态这张图当前保存了哪些数据TypedDict / dict / Pydantic schema
Nodes节点每一步真正干活的函数普通 Python 函数、异步函数、内部调用 LLM/工具的函数
Edges边当前节点跑完后,下一步去哪add_edge、条件边、START、END
Graph图由状态、节点、边组成的完整工作流StateGraph(...) 构建器,compile() 后得到可执行 app

两者的关系是: LangChain 的智能代理底层基于 LangGraph,而 LangGraph 可以独立使用。现成的代理循环够用,就选 LangChain;需要自定义分支、审批或恢复过程,就直接用 LangGraph。

Chain

是一种应用编排思路:把 Prompt、模型、检索器、输出解析器和自定义逻辑等步骤,按照明确的数据流连接起来,让上一步的输出成为下一步的输入,最终形成一个可以整体执行的流程。

Runnable

是 LangChain 中最核心的抽象之一,本质上就是一个“可执行的数据处理节点”接口。

Chain(链)是组合出来的流程,Runnable(可运行组件)是统一的执行接口,LCEL(LangChain Expression Language,LangChain 表达式语言)是把组件组合起来的写法。 LCEL 常用 | 串联组件,把上一步的输出交给下一步。组合后的链本身也是 Runnable,可以像单个组件一样用 invoke(单次调用)、batch(批量调用)或 stream(流式输出)来运行。写下 | 只是定义流程,调用执行方法时才真正运行。

LangChain 常见的链结构有三种:

串行、并行和条件分支。串行用 RunnableSequence,把上一步的输出交给下一步;并行用 RunnableParallel,把同一份输入交给多个独立分支,再收集各自的结果;条件分支用 RunnableBranch,按条件只执行一条路径,没命中就走默认分支。选型时,步骤有依赖就串行,互不依赖就并行,只需要走一路就用条件分支。

LangChain 如何实现短期记忆和长期记忆?

LangChain 的 短期记忆用 checkpointer(检查点组件)实现,它保存当前会话里的消息和任务状态。后续调用传入同一个 thread_id(会话编号),Agent(智能代理)就能接着处理。 短期记忆文档

长期记忆用 store(存储组件)实现,它按用户或项目保存可跨会话复用的信息。应用需要主动决定保存哪些信息、什么时候取出来给模型,配置 store 不会自动把聊天记录变成长期记忆。 长期记忆文档

一句话记:短期记忆按会话恢复状态,长期记忆按用户或项目跨会话复用信息。 两者如果要在服务重启后保留,都需要持久化存储。

使用 LangChain 构建 Agent 的核心步骤是什么?

我会分四步构建 Agent(智能代理):先明确任务和边界,再选一个支持工具调用的模型,定义工具的用途和参数,最后用 create_agent 把模型、工具和系统提示词组装起来。 运行时,通过 invoke(单次调用)或 stream(流式执行)传入用户消息。模型决定是否调用工具,框架负责执行并把结果交回模型;当模型不再请求工具时,通常就返回最终回答。上线时,我会在执行层加上权限校验、错误处理和调用次数上限。

LangSmith 是大模型应用的追踪和评测平台。 追踪用来排查问题:看一次请求调用了哪些模型和工具、每一步的输入输出是什么、哪里报错或耗时长。评测用来验证改动:用同一套测试数据和评分规则比较不同版本,也能抽查线上请求。三者的分工是:LangChain 搭建智能代理,LangGraph 编排和运行流程,LangSmith 帮你看清它怎么跑、判断它跑得好不好。

放弃未保存的修改?

有未保存的修改,离开会丢失这些内容。