Page 107 - 大数据背景下网络安全问题研究

» 第四章 网络攻击与漏洞利用

样本对其他不同模型的攻击也同样有效。
（四）针对人工智能自身安全问题的防护
随着数据量及算力不断提升，未来人工智能应用场景不断增多，人工智能自身安
全问题成为其发展的瓶颈，人工智能自身安全的重要性不言而喻。针对人工智能自身
在训练数据、开发框架、算法、模型及软硬件设备等方面的安全问题，目前较为常用

的防护手段有以下几点。
1.数据安全
分析异常数据与正常数据的差异，过滤异常数据；基于统计学方法检测训练数据

集中的异常值；采用多个独立模型集成分析，不同模型使用不同的数据集进行训练，
降低数据投毒攻击的影响等。
2.框架安全
通过代码审计、模糊测试等技术挖掘开发框架中存在的安全漏洞并进行修复；借

助白帽子、安全研究团队等社区力量发现安全问题，降低框架平台的安全风险。
3.算法安全
在数据收集阶段，对输入数据进行预处理，消除对抗样本中存在的对抗性扰动。

在模型训练阶段，使用对抗样本和良性样本对神经网络进行对抗训练，以防御对抗样
本攻击；增强算法的可解释性，明确算法的决策逻辑、内部工作机制、决策过程及
依据等。在模型使用阶段，通过数据特征层差异或模型预测结果差异进行对抗样本
检测；对输入数据进行变形转化等重构处理，在保留语义前提下破坏攻击者的对抗扰
动等。

4.模型安全
在数据收集阶段，加强数据收集粒度来增强训练数据中环境因素的多样性，增强
模型对多变环境的适应性。在模型训练阶段，使模型学习到不易被扰动的特征或者降

低对该类特征的依赖程度，提高模型鲁棒性；将训练数据划分为多个集合分别训练独
立模型，多个模型投票共同训练使用的模型，防止训练数据泄露；对数据/模型训练
步骤加噪或对模型结构进行有目的性的调整，降低模型输出结果对训练数据或模型的
敏感性，保护模型数据隐私；将水印嵌入模型文件，避免模型被窃取；通过模型剪枝

删除模型中与正常分类无关的神经元，减少后门神经元起作用的可能性，或通过使用
干净数据集对模型进行微调消除模型中的后门。在模型使用阶段，对输入数据进行预
处理，降低后门攻击可能性；在模型运行过程中引入随机性（输入/参数/输出），使
得攻击者无法获得模型的准确信息；混淆模型输出和模型参数更新等交互数据中包含

的有效信息，减少模型信息可读性；采用访问控制策略（身份验证、访问次数等）限
定对模型系统的访问，防止模型信息泄露；对模型文件进行校验或验证，发现其中存

• 95 •