开发指南

开发指南：Agent 护栏、模型接入检查与 RAG 评估实战

实现 Agent 和 RAG 时要解决四件事：限制 Agent 的调用与数据外流、确认模型服务兼容、选定 RAG 参数、防止改动引入回归。每项都附可重复运行的脚本和检查办法。

还没跑通第一个 Agent？先看开始。想先把背后的概念按顺序学一遍，去系统学习。

你要完成什么

要完成的事	从这里开始
给 Agent 加调用上限、脱敏、重试和降级，并确认它们生效	Agent 中间件与安全护栏
确认声称“兼容 OpenAI”的模型服务真的支持工具调用	OpenAI 兼容模型接入检查
找出中文文档切分后召回不理想的原因	RAG 切分与检索参数
改了 RAG 参数后，判断检索是变好了还是变差了	RAG 检索评测：hit@k、MRR 与逐题回归

给 Agent 加上调用上限、脱敏和降级，并确认接入的模型服务真的支持工具调用。

Agent 中间件与安全护栏：限流、脱敏、重试与降级实验 · 更新于 2026-10-26
配好调用上限、脱敏和重试降级，并算清每个中间件占用多少递归步数。
OpenAI 兼容模型接入检查：工具调用、结构化输出、超时与重试 Runbook · 更新于 2026-10-25
对自己用的模型服务跑完检查清单，并开始监控 invalid_tool_calls。

为中文语料选定切分参数和检索方式，并建立能拦住回归的评测集。

RAG 切分与检索参数：chunk_size、overlap 和 MMR 怎么选实验 · 更新于 2026-10-26
确定中文分隔符，扫出 chunk_size 和 overlap 的首轮起点，判断要不要用 MMR，不再凭感觉调参。
RAG 检索评测：用 hit@k、MRR 发现逐题回归实验 · 更新于 2026-10-25
建好含改写问法的评测集和同时检查汇总指标与逐题保护的回归检查，并看清评测集太小会怎样误导你。

做完这些，就可以去生产实践检查崩溃恢复、延迟、追踪和发布流程。遇到具体报错，去排错与迁移。

最后更新于 2026-10-27