📚 每日微课 · 2026-11-16

幻觉红队演练:定期给 Agent 出陷阱题

TaTa School · AGI 治理实战 · 约 3 分钟

核心观点

等 Agent 在真实业务里幻觉,代价已经付了;定期用陷阱题主动“钓鱼”,才能在出事前知道它哪里会编。

三条落地规则

一个真实教训

某问答 Agent 被用户问“上周刚出的新规”,它一本正经编出了一条不存在的条款——红队演练里同样的题型它已错过三次,只是没人把它当回事。

💡 记住:你不给 Agent 出陷阱题,用户就会替你出,而且代价贵得多。

今日思考题

你的 Agent 上一次被“钓鱼”是什么时候?它上钩了吗?

← 上一篇 TaTa School →