Page 344 - 大数据背景下网络安全问题研究

大数据背景下网络安全问题研究
Research on Network Security Issues under the Background of Big Data

第二节 人工智能系统安全与隐私风险

一、人工智能安全研究

（一）人工智能面临的安全风险
人工智能作为高速发展的新兴产业，随着其在国防、医疗、交通、金融等重要行
业领域的深入应用，安全风险也不断凸显。目前，人工智能领域主要面临着技术本身
和应用两方面的安全风险。

1.人工智能技术本身的安全风险
（1）算法模型安全风险
近年来，随着深度学习技术在人工智能领域的广泛应用，由人工智能模型的复杂

和不透明性而引发的安全风险时有发生。其他国家某自动驾驶汽车因机器视觉系统未
能及时识别路上突然出现的行人，导致汽车与行人相撞致人死亡。Northpointe公司开
发的犯罪风险评估算法COMPAS，使得黑人被错误地评估为具有高犯罪风险的概率两
倍于白人。

人工智能模型的复杂与不透明，令人难以理解与控制其学习过程和模型原理，
面临鲁棒性方面的挑战。人工智能模型复杂性能引发多类鲁棒性风险：模型精度不完
备，人工智能算法模型普遍依赖于概率、统计模型构建，在高精度和鲁棒性之间存在

权衡和博弈，难以兼顾鲁棒性和精度要求；人工智能算法设计潜在先天缺陷，模型应
用中可能面对预料之外的情况，由于模型训练样本难以覆盖该类情况，可能导致与预
期不符甚至伤害性的结果；算法歧视，算法可能潜藏偏见或歧视，存在结果不公的

情况。
不成熟的技术更可能导致智能系统异常运行，或被黑客攻击和恶意利用，加之
算法决策的“黑箱”特征导致的不透明性和解释性困难，使得算法决策的归责变得

困难。
（2）数据安全风险
人工智能数据安全主要包括两个部分，即人工智能数据的完整性和人工智能数
据的安全性。相对应的，人工智能数据的两个重要威胁是药饵攻击威胁以及模型窃取

威胁。训练数据集对算法模型准确性有极强的影响力。目前人工智能仍处于海量数据
驱动知识学习的阶段，数据集的规模和质量是决定人工智能模型质量的关键因素之
一。人工智能数据面临的安全威胁主要包括：一是训练数据的污染、数据处理流程中

没有对数据进行严格检查导致的逃逸攻击。二是对抗样本攻击，对抗样本可导致人工
智能系统出现误判或漏判等错误结果。目前人工智能系统只能通过预先给定的数据集

• 332 •