第五篇　运营与迭代：智能体上线只是开始

上线那天下午，我把灰度比例从 10% 推到 100%，看着监控曲线平稳，以为项目最难的部分过去了。第二天客服组主管就端着杯子坐到我工位旁：智能体是上线了，可没人知道它到底答得好不好。

这之后的三个月才是真正的硬仗。本篇就是这份硬仗的记录：智能体上线之后，一个五人小团队怎么把它从勉强能用的 demo，养成了一个真正顶半个客服组的助手。

本篇内容：

  • 5.1 效果评估：解决率、转人工率、满意度、幻觉率到底怎么定义、怎么埋点、怎么建看板。第一周解决率突然掉了五个百分点，我是怎么一步步排查到原因的。
  • 5.2 知识库迭代：每周补一次知识的流水线。问题怎么收集、怎么分类、谁补文档、怎么回归测试，让知识库不过期。
  • 5.3 监控告警：AI 答崩了第一时间知道。三层监控指标怎么分层，告警阈值怎么定，以及一次模型接口超时事故的完整处置记录。
  • 5.4 成本复盘与扩容：三个月花了多少钱、钱花在哪、怎么降本，以及哪些指标触发扩容。最后给 CEO 汇报了一次 ROI，也顺带给这本书收个尾。

如果说前四篇是「把智能体生出来」，这一篇就是「把它养大」。上线只是开始，运营才是长期主义。官网本身的搭建细节，可以看我另一本轻量建站实战。

延伸阅读