Page 345 - 大数据背景下网络安全问题研究

» 第十一章 人工智能安全研究

学习事物之间的因果关系，属于“知其然而不知其所以然”，只要精心设计数据制作
对抗样本，就可能对系统产生不良影响。三是逆向攻击，可导致算法模型内部的数据
泄露。
（3）个人信息保护风险
人工智能越来越依赖于训练数据量级和多样性，数据采集、分析处理阶段隐私保

护风险突出。以“深度学习+大数据”为主要模式的人工智能系统需要大量的数据来
训练学习算法。大量数据包含个人信息，会产生隐私泄露等问题。一方面，如果在深
度学习过程中使用大量的敏感数据，这些数据可能会在后续被披露出去，对个人的隐

私产生影响。另一方面，人工智能在带给企业便利、用户良好体验的同时，在不同场
景下面临不同的隐私保护挑战，人工智能应用存在与其他应用类似的隐私风险，同时
需要考虑机器学习的特殊性引入的新的隐私风险。
（4）软硬件安全风险

当前人工智能技术和产业的快速发展，很大程度上得益于主流人工智能软件、
框架、依赖库等必要实验和生产工具的开源化，越来越多的创业者能够依赖开源成果
进行人工智能研究。开源社区在功能优化、框架设计等方面对人工智能的发展起到了

关键作用，但往往会忽视其成果的安全风险。近年来，国内网络安全企业屡次发现
TensorFlow、Caffee等机器学习相关软件框架、工具及依赖库的安全漏洞，这些漏洞
可能被用于网络攻击，给人工智能应用带来新的威胁和挑战。
人工智能系统由软件和硬件组成，也面临着传统的软、硬件安全威胁，需要关注
服务接口安全、软硬件安全、服务可用性等问题。

2.人工智能应用的安全风险
（1）网络攻击智能化风险
人工智能降低了网络攻击成本，提升了网络攻击效率，增加了网络攻击手段的

多样性，扩大了影响范围。人工智能在网络攻击、网络内容维护和违法犯罪等方面均
产生了一定的影响。一是网络攻击自动化趋势明显，在网络安全领域，需要大量高技
能劳动力的攻击活动（如APT攻击等）已逐步实现高度自动化；二是网络内容维护可
能面临更大挑战，个性化智能推荐以人工智能为基础，一旦被不法分子利用，容易使

各类不良信息的传播更加具有针对性和隐蔽性，为维护网络安全带来巨大的隐患和挑
战；三是部分人工智能技术被应用于违法犯罪中，2017年，中国浙江、湖北等地发生
多起犯罪分子利用语音合成技术假扮受害人亲属实施诈骗的案件，造成了恶劣的社会
影响。

（2）伦理道德风险
Kronos公司采用人工智能雇佣辅助系统后，却让少数族裔、女性或者有心理疾病

• 333 •