📚 每日微课 · 2026-10-22

幻觉治理:Agent 一本正经胡说八道时怎么办

TaTa School · AGI 治理实战 · 约 3 分钟

核心观点

幻觉不是 bug,是大语言模型的出厂设置 —— 它被训练成"永远给出一个像样的回答",而不是"不知道就闭嘴"。所以治理的目标从来不是消灭幻觉,而是让幻觉可发现、可拦截、可追溯。

四层防线

真实案例:某团队的 Agent 在写集成文档时,编造了一个根本不存在的 API 参数。测试环境一切正常 —— 因为 mock 也是 Agent 写的。上线当天生产事故。四层防线里只要有一层在(比如"参数必须附官方文档链接"),事故就不会发生。

💡 记住:永远不要问 Agent"你确定吗" —— 它永远确定。你要做的不是考验它的诚实,而是逼它把证据摆出来。

今日思考题

在你的工作里,最不能容忍幻觉的场景是什么?你现在有什么拦截手段?如果答案是"靠我肉眼检查",那这层防线其实等于没有。

← TaTa School 下一篇 →