Page 167 - 大数据背景下网络安全问题研究

» 第六章 网络数据采集及安全研究

第二节 基于大数据的网络安全分析

一、大数据技术在安全领域的应用和优势

（一）大数据技术在安全领域的重要性
恶意代码检测、入侵检测作为传统的基于特征的信息安全分析技术已经广泛被
应用等，但是伴随着数据量越来越庞大和一些新型的信息安全攻击的出现，传统的安
全技术已经很难应付，所以应用大数据分析技术对新型信息安全攻击进行分析已成为

业界研究热点。Gartner 在2012年的报告中明确指出“信息安全正在变成一个大数据
分析问题”。大数据安全分析方法不但能够解决海量数据的采集和存储，并且结合机
器学习和数据挖掘方法，就更加能够更加主动、弹性地去应对未知多变的风险和新型

复杂的违规行为。因此，BDSA（Big Data Security Analysis，安全大数据分析）应运
而生。
虽然分析日志，网络流量，并为取证和入侵检测系统事件已经在数十年的信息安
全界的一个问题，传统的技术并不总是不足以支持长期的，大规模的分析有以下几个

原因：
第一，保留了大量的数据之前不是经济上可行的。其结果是，在传统的基础设
施，大多数事件日志和其他记录计算机活动的固定保留期（例如，60天）之后删除。

其中，不完整和噪声特征大型非结构化数据集进行分析和复杂的查询效率低下。例
如，一些流行的安全信息（SIM）和事件管理（SIEM）工具的目的不是分析和管理
非结构化数据并牢固地绑定到预定义模式。然而，新的大数据应用也开始变得安全管

理软件的一部分，因为它们可以帮助清洁，做好准备，并在异构，不完整的，嘈杂的
格式有效地查询数据。此外，大型数据仓库的管理历来是昂贵的，他们的部署通常需
要强有力的商业案例。Hadoop框架等大数据工具现在大规模的商品化，可靠集群的

部署，因此使处理和分析数据的出现了新的机遇。欺诈检测是大数据分析最明显的用
途之一：信用卡和电话公司都进行了几十年的大规模的欺诈检测了；然而，对客户来
说建立基础设施来挖掘大数据来检测欺诈检测行为是必要的，但大范围采用并不够经
济实用。大数据技术的主要影响之一是他们正在推动各种工业试图建立安全监控经济

实惠的基础设施。尤其是新的大数据技术，如在Hadoop生态系统（包括pig、hive、
mahout和Hadoop），流挖掘，复杂事件处理，且和NOSQL数据库，正在使大型，异
构数据集的分析以前所未有的规模和速度。这些技术为信息安全分析在存储上，维护

和安全信息分析转化方面提供了便利。我们可以通过查看安全工具如何反映在过去十
年中改变来发现这些趋势。当IDS传感器的市场不断地增长，网络监控的传感器和记

• 155 •