Page 235 - 大数据背景下网络安全问题研究

» 第八章 大数据时代通信网络安全研究

在这个快速发展的智能硬件时代，困扰应用开发者的一个重要问题就是如何在
功率、覆盖范围、传输速率和成本之间找到那个微妙的平衡点。企业组织利用相关数
据和分析可以帮助它们降低成本、提高效率、开发新产品、做出更明智的业务决策
等。例如，通过结合大数据和高性能的分析，下面这些对企业有益的情况都可能会

发生：
第一，及时解析故障、问题和缺陷的根源，每年可能为企业节省数十亿美元。
第二，为成千上万的快递车辆规划实时交通路线，躲避拥堵。
第三，分析所有SKU，以利润最大化为目标来定价和清理库存。

第四，根据客户的购买习惯，为其推送他可能感兴趣的优惠信息。
第五，从大量客户中快速识别出金牌客户。
第六，使用点击流分析和数据挖掘来规避欺诈行为。

二、大数据开发的关键技术

大数据本身是一种现象而不是一种技术。大数据技术是一系列使用非传统的工具
来对大量的结构化、半结构化和非结构化数据进行处理，从而获得分析和预测结果的
数据处理技术。

大数据价值的完整体现需要多种技术的协同。大数据关键技术涵盖数据存储、处
理、应用等多方面的技术，根据大数据的处理过程，可将其分为大数据采集、大数据
预处理、大数据存储及管理、大数据处理、大数据分析及挖掘、大数据展示等。
（一）大数据采集技术

大数据采集技术是指通过 RFID 数据、传感器数据、社交网络交互数据及移动互
联网数据等方式获得各种类型的结构化、半结构化及非结构化的海量数据。因为数据
源多种多样，数据量大，产生速度快，所以大数据采集技术也面临着许多技术挑战，

必须保证数据采集的可靠性和高效性，还要避免重复数据。
大数据的数据源主要有运营数据库、社交网络和感知设备3大类。针对不同的数
据源，所采用的数据采集方法也不相同。《大数据采集技术概述》教程中会对大数据
采集技术做详细介绍。

（二）大数据预处理技术
大数据预处理技术主要是指完成对已接收数据的辨析、抽取、清洗、填补、平
滑、合并、规格化及检查一致性等操作。
因获取的数据可能具有多种结构和类型，数据抽取的主要目的是将这些复杂的数

据转化为单一的或者便于处理的结构，以达到快速分析处理的目的。
通常数据预处理包含3个部分：数据清理、数据集成和变换及数据规约。

• 223 •