Page 180 - 大数据技术及安全研究
P. 180
大数据技术及安全研究
Big Data Technology and Security Research
② Map 端将大规模网络流量数据集进行细分，得到许多子数据集。
③每一个网络流量子数据集通过一个 Map 任务处理，即通过回声状态网络
对网络流量进行训练。
④得到每一个网络流量子数据集的回声状态网络预测结果，并将结果输出到
Reduce 端。
⑤ Reduce 端对 Map 传来的网络流量子数据集预测结果进行合并，得到网络
流量的最终预测结果。
（三）大数据环境下的网络流量非线性预测模型性能
为了分析大数据环境下的网络流量非线性预测的有效性，云计算平台共包含
5 个节点，1 个节点作为服务器，另外 4 个作为普通节点，采用不同规模的网络
流量数据作为实验对象，共 5 个网络流量数据集合，为了分析回声状态网络用于
网络流量建模的优越性，选择 BP 神经网络的网络流量预测模型进行对比测试，
采用数据处理技术均为云处理技术，统计 5 个网络流量数据集合的预测精度，回
声状态网络的网络流量预测精度明显优于 BP 神经网络的网络流量预测精度，降
低了网络流量预测误差，这是因为回声状态网络可以对网络流量随机性、复杂性
的变化特点进行高精度建模，建立了更优的网络流量预测模型，对比结果验证了
将回声状态网络引入到网络流量预测中的思想是正确的，可以得到理想的网络流
量预测结果。当网络流量数据很小时，云计算处理技术和单机处理技术需要的
时间相差不大，单机处理技术的训练相对更少，这是因为云计算处理技术要经过
Map 和 Reduce 两个阶段，但是随着网络流量规模的不断增大，云计算处理技术
的优势慢慢得以体现，网络流量预测建模的训练时间不断在减少，而且网络流量
数据越大，网络流量建模训练时间减少的幅度就越大，优势越明显，加快了网络
流量训练速度，降低计算时间复杂度，提高了网络流量预测建模的效率，可以满
足网络流量管理在线要求。
网络用户的激增，业务种类的多样性增加，每一天网络上的流量数据呈指数
级增长，网络流量管理面临巨大的挑战，为了提高网络流量的准确性，结合网络
流量非线性、复杂、海量的特点，设计了一种大数据环境下的网络流量非线性预
测模型，首先结合网络流量的大规模特性，引入云计算处理模式对训练样本进行
分解操作，减少网络流量训练的时间和空间复杂度，然后引入数据挖掘技术中的
回声状态网络对网络流量的非线性变化特点进行拟合，实现网络流量高精度预测，
·168·
