幻觉熔断：当 Agent 开始一本正经地编造

核心观点

大模型最危险的毛病不是答错，而是答错时语气坚定、细节饱满——编一个不存在的法规条文、一个查无此人的专家、一串看似合理的数字。治理幻觉不能靠“提醒它别编”，要靠机制：关键事实必须可验证，验证不过就熔断——停下来、标出来、交给人。

熔断三件套

• 出处绑定：数字、法条、人名、日期四类事实必须附来源链接，无出处视为未验证。
• 置信分层：高置信直接给答案，低置信必须明说“我不确定”，并给出核查路径。
• 高风险熔断：涉及钱、健康、法律的回答，模型自检不过时自动降级为“草稿待审”，不直接发给用户。

今日思考题

回想最近一次 Agent 给你的回答：里面有没有你事后发现是编造的细节？当时有没有办法一眼识破？