📚 每日微课 · 2026-11-10
换模型如换人:模型升级后,治理要重新测一遍
TaTa School · AGI 治理实战 · 约 3 分钟
核心观点
换一个模型,不是换一个版本号,是换一个“员工”。它的脾气、短板、越界方式全都不一样——以前的护栏,对它未必管用。
三条落地规则
- 先跑回归测试再上线:把以前攒下的越界用例、幻觉用例、拒答用例,在新模型上重跑一遍,通过了才切流量。
- 影子运行一段时间:新模型先在旁边跑、不直接对外,比对它的输出和旧模型差在哪,差得离谱先别上。
- 留一份模型档案:记下用的哪个模型、哪个版本、哪天切的,出问题能立刻说清“当时是谁在干活”。
一个真实教训
某团队把客服 Agent 的模型悄悄升了个版,没重测;新模型对“退款”二字特别大方,一周多退了上万元——模型没坏,是没人重新验过它的边界。
今日思考题
你最近一次换模型,有没有跑过一遍旧的越界与幻觉测试用例?