Page 169 - 大数据背景下网络安全问题研究

» 第六章 网络数据采集及安全研究

数据等。如何高效合理的处理和分析这些数据是安全大数据技术应当研究的问题。
2.安全大数据分析方法
安全大数据分析的核心思想，就是指基于网络异常行为分析，它通过对海量数据
处理及学习建模，从海量数据中找出异常行为和相关特征；针对不同安全场景设计针
对性的关联分析方法，发挥大数据存储和分析的优势，从丰富的数据源中进行深度挖

掘，进而挖掘出安全问题。安全大数据分析主要包括安全数据采集、存储、检索和安
全数据的智能分析。
（1）安全数据采集、存储和检索

基于大数据采集、存储、检索等技术，可以从根本上升安全数据分析的效率。
采集多种类型的数据，如业务数据、流量数据、安全设备日志数据及舆情数据等。
针对不同的数据采用特定的采集方式，升采集效率。针对日志信息可采用Chukwa、
Flume、Scribe等工具；针对流量数据可采用流量景象方法，并使用Storm和Spark技术

对数据进行存储和分析；针对格式固定的业务数据，可使用HBase、GBase等列式存
储机制，通过Map Reduce和Hive等分析方法，可以实时地对数据进行检索，大大提升
数据处理效率。

（2）安全数据的智能分析
并行存储和NOSQL数据库升了数据分析和查询的效率，从海量数据中精确地挖
掘安全问题还需要智能化的分析工具，主要包括ETL（如预处理）、统计建模工具
（如回归分析、时间序列预测、多元统计分析理论）、机器学习工具（如贝叶斯网
络、逻辑回归、决策树、随机森利）、社交网络工具（如关联分析、隐马尔可夫模

型、条件随机场）等。常用的大数据分析思路有先验分析方法、分类预测分析方法、
概率图模型、关联分析方法等。可使用Mahout和MLlib等分析工具对数据进行挖掘
分析。

综上所述，一个完备的安全大数据分析平台应自下而上分为数据采集层、大数据
存储层、数据挖掘分析层、可视化展示层。主要通过数据流、日志、业务数据、情报
信息等多源异构数据进行分布式融合分析，针对不同场景搭建分析模型，最终实现信
息安全的可管可控，展现整体安全态势。

（三）基于网络流量的大数据分析
在互联网出口进行旁路流量监控，使用Hadoop存储及Storm、Spark流分析技术，
通过大数据分析技术梳理业务数据，深度分析所面临的安全风险。主要分析思路是采
集Netflow 原始数据、路由器配置数据、僵木蠕检测事件、恶意URL事件等信息，采

用多维度分析、行为模式分析、指纹分析、孤立点分析及协议还原等方法，进行Web
漏洞挖掘、CC攻击检测、可疑扫、异常Bot行为，APT攻击，DDoS攻击挖掘等分析。

• 157 •