研究文章
大模型安全分析判决的运行时注入防线
摘要
安全运营中心正在把告警分诊、检测规则编写和代码审计交给大语言模型,判决环节一旦自动化,分析工具本身就变成了攻击目标。已有的提示注入防御研究以模型是否服从指令作为成败判据,缺少对"防线是否真的改善防御判决质量"的独立测量,公开数字几乎全部来自厂商内部评测。本文把度量对象从模型服从性改为防御判决完整性,以漏报率增量(Injection-induced False Negative rate,IFN)为主指标,配合过度保守率与开销,在 8 个模型配置上评估四种可加在现有流水线上的运行时防线。相关性检验给出转向结构性防线的动机:通用注入基准得分与判决翻转率不存在显著相关(Pearson r = 0.18,p = 0.42),面向服从性的提示层防御不必然改善判决质量。消融结果显示,来源隔离(D1)以 18%延迟、12% token 取得 45.0%的 IFN 降幅,性价比最高;来源隔离与确定性交叉验证的组合(D1 + D3)把 IFN 从 0.389 降到 0.058,token 开销 1.56 倍,处在帕累托前沿的可停位置;继续叠加防线,IFN 只再降到 0.041,延迟却涨到 4.12 倍。面对防御感知的自适应攻击者,D1 + D3 的 IFN 回升到 0.171,说明静态防线会被系统性高估。所有防线都抬高误报率 1.3 至 7.4 个百分点,防线本质上是漏报与误报之间的风险再分配。本文还给出以东营市融媒体中心为场景的部署建议:内容审核优先部署来源隔离,审核规则库自动维护实行强制人工签核,人工复核容量作为选型约束。
关键词
大语言模型安全;间接提示注入;运行时防线;提示注入防御;开销分析;媒体内容审核
参考
人工智能安全治理框架2.0版[EB/OL].全国网络安全标准化技术委员会,(2025-09-15)
网络信息内容生态治理规定 [EB/OL].中央网络安全和信息化委员会办公室, (2019-12-15)
生成式人工智能服务管理暂行办法 [EB/OL]. 中央网络安全和信息化委员会办公室,(2023-07-10)
互联网信息服务深度合成管理规定 [EB/OL].中央网络安全和信息化委员会办公室,(2022-11-25)53

