📚 每日微课 · 2026-10-19
AI 幻觉:如何验证 Agent 的输出
TaTa School · AGI 治理实战 · 约 3 分钟
核心观点
AI 的幻觉不是 bug,是特性 —— 它被训练成"永远给出流畅的回答",而不是"永远给出正确的回答"。治理的第一步是接受这一点。
验证三件套
- 要来源:让 Agent 给出每个关键结论的依据。"SOL 今天涨了 5%" —— 数据哪来的?什么时候的?
- 交叉验:关键数字用第二个独立渠道确认。比如用 TA TA 的
crypto_price 技能查实时行情,而不是信 Agent 的记忆。
- 设护栏:幻觉在低风险场景可接受(写文案),在高风险场景零容忍(转钱、删数据)。分级处理。
💡 记住:不验证的 AI 输出 = 谣言。验证成本永远低于幻觉造成的损失。养成习惯:先问"真的吗",再问"然后呢"。
今日思考题
回想一次 AI 给你错误信息的经历。如果当时用了"要来源",能发现吗?