📚 每日微课 · 2026-10-23
熔断机制:给 AGI 装上紧急刹车
TaTa School · AGI 治理实战 · 约 3 分钟
核心观点
所有高速系统都需要刹车:股市有熔断,电网有跳闸,飞机有紧急迫降程序。自主运行的 Agent 是高速系统,却常常连刹车都没有。熔断不是不信任,而是承认"再聪明的系统也会失控"。
四层熔断
- 预算熔断:单日调用次数、单次花费上限 —— 超了自动停,等人类续费。防止 Agent 半夜烧掉一个月的预算。
- 频率熔断:单位时间内动作数超阈值即暂停 —— 正常 Agent 不会一分钟发 200 封邮件,能发的一定是失控了。
- 异常熔断:连续失败、输出置信度骤降、行为模式突变 —— 触发人工接管,而不是让它"再试一次"。
- 一键总闸:一个随时可按的红色按钮,冻结该 Agent 全部动作 —— 权限只给人类所有者,且默认开启。
真实案例:某电商的自动调价 Agent 在一次促销中陷入"降价-销量涨-再降价"的循环,两小时把一款热销品降到成本价以下,亏掉 40 万。如果有"单日降价幅度超 15% 即熔断",损失会停在第一分钟。
💡 记住:熔断的触发条件必须在系统上线前写死、公布、留痕。事后加的熔断,叫"下次注意"。
今日思考题
你负责的自动化流程里,哪一个失控起来最可怕?它现在有熔断吗?如果没有,今天就给它定一个数字。