KNOWLEDGE NOTE / AI · 面试

AI 应用项目设计与案例面试题库

从需求、架构、数据、检索、工具、安全、发布和评测讲清 AI 应用项目,并区分课程练习与真实生产经历。

创建
2026年9月25日
更新
2026年10月15日

AI 应用项目设计与案例面试题库

[!important] 使用说明 以下问题按概念独立重写,用于练习项目设计和表达,不复制课程整套题面。Coze/Dify 的商品问答、天气规划、英雄联盟知识助手和 NL2SQL 都是本地课程案例;除非你自己后来实际实现并能提供证据,不要说成个人生产项目,也不要补造上线指标。

一、需求与方案选择

1. 面试官问“请设计一个 AI 客服”,你会先问什么?

**标准回答:**我会先确定服务对象、问题类型、使用入口、数据来源、当前人工流程、必须遵守的权限,以及答错后的影响和接管人。随后将任务拆成可支持范围、必须拒答/转人工的范围和需要调用业务系统的范围,再选一组代表性样本定义验收。

**追问:为什么不直接先选模型?**模型只处理链路中的部分步骤;如果不知道数据是否合法、答案怎样验证或错误由谁承担,换模型也不能解决产品问题。

**易错点:**只说“接入大模型加知识库”,没有说明用户、任务、数据和失败处理。

2. 如何把“提升效率”变成可检验的产品目标?

**标准回答:**先记录现有流程基线,例如每类请求的人工处理时长、返工率、等待时长、正确率和人工接管。再定义相同任务集上的目标与不可退化约束,并注明时间窗口、样本范围和计算分母。

**追问:如果暂时没有生产基线怎么办?**先对一小批脱敏、获准的历史任务做人工标注和旧流程计时,或进行影子测试;把结果称为试点基线,不声称代表全部用户。

**易错点:**把模型响应更快或自动回复更多,直接说成用户效率提高或成本下降。

3. 什么时候选择提示词、RAG、工作流、Agent 或微调?

**标准回答:**先选能满足需求的最低复杂度方案。提示词适合已有能力的表达/格式约束;RAG 适合回答依赖可更新且有来源的材料;工作流适合步骤和分支已知;Agent 适合需要在受限范围内动态选择工具;微调适合有稳定任务、合法数据和评估集,且提示或检索并不能经济地满足行为要求。

**追问:实时库存应放入 RAG 吗?**通常不把易变状态当静态向量文档。应通过有授权的库存 API 或数据库查询实时状态,RAG 可以解释尺码、材质等相对稳定信息。

**易错点:**把微调当成最新知识库,把 Agent 当成所有复杂流程的默认选择。

4. 工作流、对话流和 Agent 有什么区别?

**标准回答:**工作流显式定义节点和分支,路径更容易测试与审计;对话流(Chatflow)是面向交互式会话的流程形态,是否保留会话历史等细节要按具体平台版本核对;Agent 由模型在授权工具集合内选择下一步行动,灵活性更高,但路径、时延和成本更难预测。三者可组合,而非互斥。

**追问:客服退款流程应该交给 Agent 自己规划吗?**不应把退款权限交给模型自由决定。模型可以理解意图、整理信息;服务端按身份、订单、政策和审批规则执行确定性流程,必要时要求人工确认。

**易错点:**将工作流说成完全确定(其中仍可能有随机模型节点),或把 Agent 输出工具调用请求等同于工具已执行。

5. 从需求到上线,一个 AI 应用的完整链路是什么?

**标准回答:**需求和风险分级 → 数据来源/授权/更新 → 选择模型与应用形态 → 设计节点或工具接口 → 设置校验和异常分支 → 构建离线测试集 → 逐节点与端到端调试 → 小范围人工复核/影子运行 → 发布 → 观测、反馈、回归和回滚。

**追问:哪个步骤经常被忽略?**数据所有权与更新删除、无答案路径、真实入口验证和上线后的回归。只看画布能否运行不足以证明用户场景可用。

**易错点:**把“平台点击发布”说成产品已经具备认证、隐私、限流和可观测性。

6. 怎样把一个模糊需求拆成工作流节点?

**标准回答:**每个节点只承担一个易验证的职责,并定义输入、输出、错误状态和下一步。例如电商问答可分为用户问题、意图/风险分类、身份范围检查、知识检索、证据充分性判断、回答/澄清/转人工、输出审核和记录。

**追问:什么时候应使用普通代码而不是 LLM 节点?**确定性规则、权限判断、金额计算、字段校验和副作用执行优先使用代码/业务服务;模型适合语言理解、模糊分类或基于证据的自然语言组织。

**易错点:**一个超长提示词承担权限、分类、检索、执行和最终回复,失败时无法定位。

二、知识库与案例设计

7. 如何设计一个跨境电商知识问答助手?

**标准回答:**先限定只回答哪些产品/课程问题。将稳定的政策和说明整理为带来源、商品/主题、版本和有效期的知识资料;根据商品编号类精确查询与描述型问题分别测试关键词、语义或混合召回。答案应引用支持它的片段;没有可靠证据时澄清、拒答或转人工,不能默认改用通用模型补事实。

**追问:退款、订单状态和库存如何处理?**需要用户身份认证和后端业务系统;知识库可说明政策,但不能替代实时订单/库存查询或授权判断。

**易错点:**把课程里的固定短语分类、示例人工服务网址和“无召回后自由回答”直接复制到真实客服。

8. 检索没有结果时,应用应该怎么办?

**标准回答:**区分“知识库没有覆盖”“文档未索引/检索异常”“用户问题不完整”和“用户无权访问”。对用户表达清楚是缺少资料还是需要补充条件,必要时转人工;工程上记录节点状态和检索参数用于排查。

**追问:让模型用自身知识补答可不可以?**只有任务允许外部常识且风险可接受时,才可提供明确标注的补充内容;企业政策、价格、合同、订单等事实问答不能把无召回变成隐式自由回答。

**易错点:**将空字符串、检索服务报错、权限过滤后为空都当成同一种情况。

9. 商品型号、编号和实时库存为什么不能只用向量检索?

**标准回答:**向量检索按语义相似寻找片段,不保证精确匹配数字、型号或唯一标识;编号应结合关键词/结构化字段过滤,必要时做精确数据库查询。库存是动态状态,应由权限受控的库存接口查询并记录更新时间。

**追问:混合检索是否一定更好?**不是。要在目标数据和问题集上比较精确词命中、召回率、排序质量、时延与成本,并处理不同召回通道的去重和排序。

**易错点:**只调高 Top-K 就认为精确匹配和实时性问题已解决。

10. 如何判断一个课程案例是否可以迁移到真实产品?

**标准回答:**先分开记录来源确实展示的流程、尚未验证的假设和自己新增的设计建议;再检查真实用户、数据授权、失败代价、平台依赖、评测条件、运行成本和维护责任是否与课程设定一致。做小试点验证后,才讨论迁移结论。

**追问:来源没有样本量和基线的效果数字怎么办?**注明“资料自述、口径未核验”,不用于因果结论或承诺收益;最好不把数字放进产品决策。

**易错点:**根据一张工作流图推断该系统已经上线,或将课件中的百分比表述成个人项目结果。

11. 怎样分析“天气与旅行规划”这种工具型案例?

**标准回答:**将需要实时事实的地点、天气和交通信息交给可信工具;对用户缺失的城市、日期、预算等先澄清;输出时保留数据来源与更新时间,并把估价和实际报价区分。预订、付款或提交个人资料需经过认证和用户确认。

**追问:天气插件超时怎么办?**设定超时和有限重试,并把“暂时查不到”作为显式状态;可以返回其他已核验信息,但不能生成一个看似实时的天气结果。

**易错点:**把工具接通等同于数据准确,或把预算估算冒充商家实时价格。

三、工具、数据库与平台安全

12. Function Calling(函数调用)到底执行了什么?

**标准回答:**模型根据工具描述生成一个工具名和参数的结构化请求。真正的函数调用由应用或平台执行:解析请求、校验参数与权限、调用服务,再把结果返回给模型或用户。模型输出本身不会自动拥有数据库或外部系统权限。

**追问:工具接口要做哪些检查?**输入类型/长度/枚举,调用用户身份、资源归属、超时、速率、重试和幂等;对有副作用的动作增加确认、审批和审计。

**易错点:**只在 Prompt(提示词)里写“不得越权”,却没有服务端授权。

13. 如何安全设计 NL2SQL(自然语言转 SQL)?

**标准回答:**限制只读场景,向模型暴露经过筛选的 schema(数据库结构)或安全视图;模型只生成查询草稿,服务端校验语法树、表列白名单、租户过滤和查询成本,再用最小权限只读数据库账户执行;设置超时、结果行数限制和审计。

**追问:只允许 SELECT 就足够了吗?**不够。SELECT 仍可能读到敏感列、跨租户数据、执行昂贵的全表查询或调用不安全函数。要结合数据库授权、视图、租户上下文、语法限制和资源配额。

**易错点:**直接把模型生成的 SQL 拼进生产数据库;或用简单字符串包含检查代替解析和权限控制。

14. 怎样避免工具重复执行造成重复扣款或重复创建?

**标准回答:**对于有副作用的操作,服务端使用幂等键或业务唯一请求号,在重试时识别同一请求;保存执行状态,明确“请求已受理、执行成功、执行失败、结果未知”等状态,并提供人工核对/补偿流程。

**追问:超时后重试安全吗?**不一定。超时可能发生在服务已完成动作但响应未返回时。先按幂等标识查询执行结果,再决定是否重试。

**易错点:**把网络超时当成后端一定没有执行。

15. Coze 的自动召回与按需召回怎么选?

**标准回答:**自动召回在每轮或相应知识节点都检索,适用于大多数问题依赖知识且检索成本可接受的情况;按需召回依赖 Agent 或工作流判断何时查询,可减少不必要检索,但漏触发风险更高。两种都要测试常见问题和边界问题,核对召回片段和无结果回复。

**追问:全文、语义和混合检索怎样选择?**产品名、编号和缩写偏重精确关键词;自然语言改写、跨语言问题偏重语义;混合策略兼顾两者,但需实测排序和成本。

**易错点:**以为提示词写了“优先查知识库”,就能证明按需调用必然触发。

16. Coze 工作流发布后,所有使用方会自动切到新版本吗?

**标准回答:**不能笼统地说会。当前 Coze 官方文档区分资源库工作流和项目应用工作流的版本能力,也区分 Agent 关联与资源库子工作流引用的更新语义。改动前要确认具体工作流类型、引用关系、草稿/发布版本以及受影响应用,并执行回归。

**追问:如何降低版本更新风险?**记录改动说明,保留回归用例,在草稿里测试,先让受控测试者验证,再按平台支持的流程发布/升级绑定,监控错误并准备回滚。

**易错点:**拿某一个平台版本的按钮步骤或版本语义当作所有工作区的永久规则。

17. 在 Dify 或 Coze 中发布应用/API,要注意什么?

**标准回答:**发布前检查模型配置、节点连线、数据索引、工具参数、异常分支和测试集;发布后从真实嵌入/API 入口完成端到端测试。API Key/访问令牌保存在服务端密钥配置中,客户端不应直接暴露;还需身份认证、限流、监控和密钥轮换。

**追问:为什么画布测试成功仍可能线上失败?**真实请求可能有不同身份、空值、文件类型、跨域/网络、并发、配额、版本和数据权限。单节点成功没有覆盖集成边界。

**易错点:**把公开分享链接和经过身份验证的业务 API 当成同一种权限入口。

18. Agent 可以直接让模型决定是否退款或删除数据吗?

**标准回答:**模型可以分类请求、收集必要信息或准备动作草稿,但是否有权执行应由服务端根据认证身份、资源归属、政策、二次确认与审批规则决定。对不可逆或高影响操作优先采用确定性流程。

**追问:Human-in-the-loop(人工参与)应放在哪里?**在模型无法可靠判断、资料冲突、权限敏感或动作后果高的节点;设计明确的待审批状态、审阅上下文、批准/拒绝、超时和审计记录。

**易错点:**只靠模型“自我反思”承担业务审批责任。

四、评测、上线与故障定位

19. AI 应用测试集应该包含哪些样例?

**标准回答:**常见任务、表达改写、缺字段、错别字、长输入、资料不存在、多个资料冲突、过期资料、工具异常、权限不足、提示注入和高风险请求都要覆盖。按业务类型和风险分层,并保存预期答案/证据/允许动作及标注依据。

**追问:训练/调 Prompt 样例能否直接当测试集?**最好分离;否则容易针对测试题过拟合。可保留开发集和锁定的回归集,按版本记录变更。

**易错点:**只测几个“看起来回答不错”的演示问题。

20. 如何评估 RAG 客服,而不只看答案是否流畅?

**标准回答:**分层评估检索和生成。检索层看相关证据是否进入 Top-K、排序质量及权限过滤;答案层看事实正确、完整、引用支持、拒答/澄清是否合适;产品层再看任务解决、人工接管、时延、成本与用户反馈。

**追问:Recall@K 和引用支持率的分母分别是什么?**Recall@K 的查询样本应有已标注相关证据,统计其中前 K 召回到相关证据的比例;引用支持率按抽查引用计算其是否支持对应主张的比例。定义必须固定,不能只报数字。

**易错点:**把检索命中率当成答案正确率,或把有引用链接当成引用真的支持答案。

21. 如何评估 NL2SQL 助手?

**标准回答:**建立业务确认的自然语言问题、允许数据范围和预期结果;分开测语法/策略校验通过率、执行成功率、结果与基准的一致率、越权拦截率、超时率和成本。高风险违规应单独看,不能被总体准确率掩盖。

**追问:为什么 SQL 字符串完全相同不一定是正确评分标准?**不同 SQL 可能语义等价;更稳妥的是在固定、隔离的数据快照上比较执行结果,同时做安全属性检查。

**易错点:**只看 SQL 能否执行,或者只看模型文本是否像 SQL。

22. 知识问答准确率突然下降,怎么排查?

**标准回答:**固定一组出错请求和版本,先看身份/过滤后的候选是否正确,再依次检查文档更新与解析、索引状态、查询改写、召回与重排、上下文组装、模型输出和引用展示。对比每个阶段的输入输出,不要一开始就盲目改系统提示。

**追问:如果候选片段正确但答案错了呢?**检查上下文是否截断、是否包含冲突版本、Prompt 的证据要求、模型版本/采样参数和答案引用映射;补充针对性回归样例。

**易错点:**把所有问题都归因于模型参数,忽略数据失效、权限过滤和检索失败。

23. 工具失败时怎样设计错误分支?

**标准回答:**按错误类型处理:参数不合法要求补充或修正;无权限拒绝;暂时性网络/限流可有限重试;业务无结果说明未找到;未知执行状态先核实幂等结果;无法恢复时转人工或给清楚的暂不可用提示。保留错误码和关联 ID,避免向用户泄露内部凭证/堆栈。

**追问:失败默认值能直接为空字符串吗?**只有业务语义允许且下游明确识别空值时才行。否则空值可能被误当作有效结果,掩盖错误。

**易错点:**捕获所有异常后返回“成功”格式的空对象,让后续节点继续生成。

24. 影子运行、灰度和 A/B 分别有什么作用?

**标准回答:**影子运行让新系统对真实请求生成建议但不影响业务,适合检查分布和失败;灰度逐步开放给部分用户并有回滚阈值;A/B 在设计良好的分流和评估下比较两个方案的结果。三者都要保证数据授权,并设定停止条件。

**追问:什么时候不能随机 A/B?**样本量不足、业务影响高、存在严重不公平/安全风险,或两个组可能互相污染时,应优先受控试点、人工审核或更安全的准实验设计。

**易错点:**认为上线后指标变好就是 AI 导致,需要对照组和排除同期变化。

25. 如何评估成本、延迟和质量的取舍?

**标准回答:**按同一业务任务测端到端 P50/P95 延迟、成功/质量指标、Token 和工具费用、人工复核与返工成本。再分析瓶颈来自模型、检索、网络还是工作流串行;通过缓存、缩短上下文、并行、轻量模型或规则前置逐项实验,但每次都跑质量回归。

**追问:为什么不能只优化平均延迟?**少数长尾请求会显著影响交互体验或业务超时,应报告分位数和超时率,并按任务类型切片。

**易错点:**把较短回复、少用 Token 自动等同于更高质量或更低总成本。

26. 日志和追踪应该记录什么?

**标准回答:**在合法与必要范围内记录请求关联 ID、版本、节点状态、检索文档标识/分数、工具名和结果状态、延迟、错误类型与脱敏后的必要摘要,以便定位故障。原始提示、用户隐私、密码和令牌不应默认完整落日志。

**追问:不保存原始对话还能排查吗?**可保存经过授权的最小化样本、脱敏重放数据、字段级摘要与安全访问审计;确需原文时定义保留周期和授权。

**易错点:**把“完整记录一切”当成可观测性最佳实践。

五、项目表达与综合题

27. 题库/课件中的效果数字怎样在面试中引用?

**标准回答:**我会先说明数字来自哪份材料、测量对象、样本/基线、时间范围和方法;若来源没给出足以复核的信息,就称为“材料中的自述、我未能独立验证”,不将其当作我的项目结果或通用规律。

**追问:面试官问“你项目提高了多少效率”但没有做过线上测试怎么办?**诚实回答没有真实线上效果数据;可讲已经完成的离线测试范围、结果局限和下一步如何建立基线与对照。

**易错点:**把来源中的“提升 60%”移植成自己的成绩。

28. 怎样诚实地讲一个课程项目?

**标准回答:**先标明它是课程/本地练习;说明来源里实际展示了什么,自己实际完成了哪些整理或重构;再讲自己的安全改进和评测设计。明确哪些未做:是否接真实数据、是否部署、是否有真实用户和业务指标。

**追问:这样听起来会不会显得没有项目经验?**可以把重点放在你能否解释数据流、设计取舍、失败路径和验证方法,并提出可以落地的下一步。不能为了“有经验”虚构部署、用户或收益。

**易错点:**用“我负责上线”“服务了几万人”等不可证明表述包装教学材料。

29. 请用两分钟讲清一个跨境电商知识问答方案。

参考答题结构(设计练习,不是个人上线经历):

我会先把任务限制在产品说明、课程知识和 FAQ 答疑,并把订单、退款、库存等实时或有副作用的任务分开。数据侧保留商品 ID、属性、版本和来源;型号/编号优先精确过滤,描述类问题可以做混合检索。流程侧先认证并限定用户与商品范围,再检索、判断证据是否足够,最后生成带引用的答复;无证据时澄清或转人工,不默认自由补答。退款等动作进入经服务端校验的业务流程。上线前用正常、无答案、冲突、过期、越权和工具失败样例建立回归集,分别看检索召回、引用支持、任务完成、转人工、延迟和成本。现阶段这是从课程图示出发的设计方案;如果没有实际部署和样本数据,我不会声称已有线上提升。

**追问:第一个试点会选什么?**先挑资料完整、风险较低、人工答案可核验的问题,限定用户和范围,让系统只给建议或由人工复核;达到预先约定的质量和安全门槛后再考虑扩大。

**易错点:**把推荐方案中的功能说成课程原文或实际已实现。

30. 面试官给出一个新行业案例,你如何快速回答?

**标准回答:**按六问展开:谁在什么流程中遇到什么问题;成功基线和失败代价是什么;数据是否可用且获准;用模型、检索、工作流还是工具,为什么;如何安全处理错误和人工接管;用哪些分层样例与指标验证并持续运营。

**追问:资料/场景信息不足时呢?**先明确假设并提出需要确认的问题,不伪造行业政策或收益;高风险场景应先收窄范围并由专业人员参与。

**易错点:**套用同一种“RAG + Agent + 多工具”架构到任何问题。

复习入口

  • 案例结构和证据边界:AI产品设计与行业案例
  • Coze 平台、知识库和工作流:Coze智能体与工作流实践
  • RAG、工具调用和项目安全:RAG与Agent项目精选、RAG检索增强生成
  • 工作流与 Agent 原理:Agent与Dify基础、Agent-MCP-Skill面试题库

官方资料与核对边界

原始来源文件

以下列出本篇整理所依据的代表性原件;同主题重复版本与完整状态请查阅 source-manifest.csv。

  • Raw sources/大模型官方课程-视频资料/2026最新大模型全套资料(持续更新)/②、大模型入门资料/MD文档/【大模型项目实战】使用RAG技术构建企业级文档问答系统之QA抽取,非常详细!(含开源代码).md
  • Raw sources/大模型官方课程-视频资料/AI应用开发学习路线/【大模型项目实战】使用RAG技术构建企业级文档问答系统之QA抽取,非常详细!(含开源代码).pdf

放弃未保存的修改?

有未保存的修改,离开会丢失这些内容。