生成式人工智能安全治理技术研究与平台构建

霜 韩(上海数字安全科技有限公司，中国)

摘要

随着生成式人工智能技术的快速发展，深度伪造、虚假信息生成等安全风险日益凸显，对国家安全、社会稳定和个人权益造成严重威胁。本文针对生成式人工智能带来的安全挑战，提出了一套完整的"发现-鉴伪-溯源-监测-测评-加固"全生命周期治理解决方案。通过构建三大基础数据库、七大核心技术和一体化应用平台，实现对多模态AI生成内容的精准检测、可靠溯源和有效治理。实验结果表明，该平台对主流伪造技术的平均检测准确率达到80%以上，能够有效识别31类安全风险，为公共安全治理和AI产业健康发展提供了重要技术支撑。

关键词

生成式人工智能；安全治理；深度伪造检测；内容溯源；风险测评

参考

OpenAI. ChatGPT: Optimizing Language Models for Dialogue[EB/OL]. https://openai.com/blog/chatgpt/, 2022.

Rombach R, Blattmann A, Lorenz D, et al. High-Resolution Image Synthesis with Latent Diffusion Models[J]. IEEE Conference on Computer Vision and Pattern Recognition, 2022: 10684-10695.

张明, 李华, 王强. 生成式人工智能安全风险与治理策略研究[J]. 计算机学报, 2024, 47(3): 567-582.

王小明, 李秀英, 张强. 基于多模态融合的AI生成内容检测技术[J]. 自动化学报, 2024, 50(1): 123-138.

陈志强, 王丽, 刘军. 生成式AI模型安全测评方法研究[J]. 通信学报, 2024, 45(4): 78-92.

DOI: http://dx.doi.org/10.12345/bdai.v6i6.34042