Page 233 - 大数据背景下网络安全问题研究

» 第八章 大数据时代通信网络安全研究

第八章 大数据时代通信网络安全研究

第一节 大数据技术概述

一、关于大数据

（一）大数据定义

对于“大数据”（Big data）研究机构Gartner给出了这样的定义。“大数据”是
需要新处理模式才能具有更强的决策力、洞察发现力和流程优化能力来适应海量、高
增长率和多样化的信息资产。
麦肯锡全球研究所给出的定义是：一种规模大到在获取、存储、管理、分析方面

大大超出了传统数据库软件工具能力范围的数据集合，具有海量的数据规模、快速的
数据流转、多样的数据类型和价值密度低四大特征。
大数据技术的战略意义不在于掌握庞大的数据信息，而在于对这些含有意义的数

据进行专业化处理。换而言之，如果把大数据比作一种产业，那么这种产业实现盈利
的关键，在于提高对数据的“加工能力”，通过“加工”实现数据的“增值”。
从技术上看，大数据与云计算的关系就像一枚硬币的正反面一样密不可分。大
数据必然无法用单台的计算机进行处理，必须采用分布式架构。它的特色在于对海量

数据进行分布式数据挖掘。但它必须依托云计算的分布式处理、分布式数据库和云存
储、虚拟化技术。
随着云时代的来临，大数据（Big data）也吸引了越来越多的关注。分析师团队

认为，大数据（Big data）通常用来形容一个公司创造的大量非结构化数据和半结构
化数据，这些数据在下载到关系型数据库用于分析时会花费过多时间和金钱。大数据
分析常和云计算联系到一起，因为实时的大型数据集分析需要像Map Reduce一样的框
架来向数十、数百或甚至数千的电脑分配工作。
大数据需要特殊的技术，以有效地处理大量的容忍经过时间内的数据。适用于大

数据的技术，包括大规模并行处理（MPP）数据库、数据挖掘、分布式文件系统、分
布式数据库、云计算平台、互联网和可扩展的存储系统。
（二）大数据结构

大数据包括结构化、半结构化和非结构化数据，非结构化数据越来越成为数据的
主要部分。据IDC的调查报告显示：企业中80%的数据都是非结构化数据，这些数据

• 221 •