Page 111 - 环境监测技术应用及质量控制

» 第四章 大数据时代环境监测与治理

第四章 大数据时代环境监测与治理

第一节 相关概念以及理论基础

一、大数据及相关技术

（一）大数据概念与特征

1.大数据的概念
最早提出大数据到来的“麦肯锡”全球研究所的观点认为，大数据是一种规模
大到在进行数据的获取、存储和管理、最终分析方面大大超出了传统数据软件工具能
力范围的数据集合；维克托·迈尔·舍恩伯格教授在《大数据时代》一书中将其表述

为，不用随机分析（比如说抽样调查）的捷径，而采用所有数据进行分析处理即为大
数据；在商人眼中，大数据是信息的复杂性、大小已经数量大到较难用普通数据工具
去描述的，不管是在预算还是管理中都可称为大数据。在大数据处理的关键技术中，

包含大数据采集、数据预处理、存储、分析与挖掘，大数据可视化，大数据安全等内
容。大数据技术本身也是包含很多领域的，比如说分析工具，就有各类的分析平台、
非结构化数据处理，实时数据处理。
2.大数据的特征

从理论和定义的描述可知，大数据明显的特点是数据量很大，俗称“海量数
据”，已经不局限于单一的数字表达，其中包括图片、声音、影像、文字等非结构化
数据”信息作为建立环境大数据系统的来源和研究对象，但这些数据是较为原始的，

需要转化成可结构化和可量化的数据才能进行数据分析。另外实时获取的环境数据，
包括多种类的在线信息，也是数据来源的一部分。
（二）大数据相关技术及运动
1.大数据的相关技术
前文提及大数据（big data）是容量大、类型多、存取速度快、应用价值高的数据

集合，正快速发展为数量巨大、来源分散、格式多样的数据，以便采集和存储。在处
理数据时进行关联分析，从中发现新知、创造新价值、提升新的能力的新一代信息技
术和服务业态。大数据还能看作是一种新的管理方式和未来的生产资料。有学者甚至

认为，数据是未来创新和发展的重要资源。大数据在技术应用上是一门重要的应用技
术。不管是普通人还是政府管理者，应该有意识地培养概率统计以及计算机技术的基

• 103 •