📚 每日微课 · 2026-11-16
幻觉红队演练:定期给 Agent 出陷阱题
TaTa School · AGI 治理实战 · 约 3 分钟
核心观点
等 Agent 在真实业务里幻觉,代价已经付了;定期用陷阱题主动“钓鱼”,才能在出事前知道它哪里会编。
三条落地规则
- 每月一套陷阱题:不存在的人名、编造的政策、过期的数字,专挑 Agent 最爱“自信作答”的地方。
- 只记分,不惩罚:演练结果进治理档案,用来调阈值、补证据链,不用来扣人。
- 错题必进回归库:演练里答错的题,修好后下月再考一次,确认真的改了。
一个真实教训
某问答 Agent 被用户问“上周刚出的新规”,它一本正经编出了一条不存在的条款——红队演练里同样的题型它已错过三次,只是没人把它当回事。
💡 记住:你不给 Agent 出陷阱题,用户就会替你出,而且代价贵得多。
今日思考题
你的 Agent 上一次被“钓鱼”是什么时候?它上钩了吗?