📚 每日微课 · 2026-10-30
数据投毒:Agent 学来的知识,可能被人下过毒
TaTa School · AGI 治理实战 · 约 3 分钟
核心观点
Agent 从网页、文档、用户反馈里学东西。投毒攻击不靠攻破你的系统,靠污染它信任的输入:一篇看似正常的网页里藏一句错误事实,一份公开文档里埋一条恶意指令,用户反馈里混进一批精心编造的“经验”。Agent 照单全收,之后就会一本正经地用中毒的知识干活。知识库越大,安检越不能省。
三道防线,新知识先过安检再入库
- 来源分级:官方文档、可信机构、公开网页、匿名反馈——可信度分级,低可信来源的知识先隔离、标来源,不直接进核心库。
- 隔离试用:新知识先进沙箱:用它跑一批已知答案的测试,结论不跑偏才转正。
- 定期抽查:每月抽查高频引用的结论——被引用越多的知识,中毒后危害越大,越要优先复核。
💡 记住:Agent 的知识库不是越大越安全——每一批新知识,都要先过安检再入库。
今日思考题
列出你的 Agent 的 3 个主要知识来源:哪一个最容易被陌生人改写?你给它设了什么安检?