Page 112 - 起重机械设备安全技术检验及评价

Safety Technical inspection and Evaluation of Lifting Machinery and Equipment
起重机械设备安全技术检验及评价

能通过转发而快速扩散，导致相关的信息大量涌现，其价值不可估量。因此为了
保证对于新产生的应用有足够的有效信息，通常必须保存所有数据，这样就使得
一方面是数据的绝对数量激增，一方面是数据包含有效信息量的比例不断减少，

数据价值密度偏低。
2. 大数据的技术
依据大数据生命周期的不同阶段，可以将与大数据处理相关的技术分为相应
的三个方面：

（1）大数据存储
从海量数据时代开始，大规模数据的长期保存、数据迁移一直都是研究的
重点。从 20 世纪 90 年代末至今，数据存储始终是依据数据量大小的不断变化
和不断优化向前发展的。其中主要有：DAS（Direct Attached Storage），直接外

挂存储；NAS（Network Attached Storage），网络附加存储；SAN（StorageArea
Network），存储域网络和 SANIP 等存储方式。这几种存储方式虽然是不同时代
的产物，但各自的优缺点都十分鲜明，数据中心往往是根据自身的服务器数量和
要处理的数据对象进行选择。

此外，这两年数据存储的虚拟化从研究走向现实。所谓虚拟化，就是将原有
的服务器进行软件虚拟化，将其划分为若干个独立的服务空间，如此可以在一台
服务器上提供多种存储服务，大大提高了存储效率，节约存储成本，是异构数据
平台的最佳选择。从技术角度来讲，虚拟化可以分为存储虚拟化和网络虚拟化，

网络虚拟化是存储虚拟化的辅助，能够大幅度提升数据中心的网络利用率和传输
速率。日前 TBM、浪潮、思科等公司纷纷发力虚拟化市场，可以预见虚拟化会
成为未来大数据存储的一个主流技术。
（2）大数据挖掘

在大数据的处理技术中，超大规模的数据挖掘一直是难点，也是重点。面对
上百 TB，甚至 PB 级别的异构数据，常规的处理工具往往难以担当重任。需要
考虑到的是大数据是个不断生长的有机体，因此在挖掘过程中还要考虑到未来数
据继续增长所带来的影响。

因此，大数据的挖掘需要采用分布式挖掘和云计算技术。Google 公司一直
是分布式挖掘技术的领导者，它研发了 MapReduce 分布式挖掘工具，英特尔公
司在此基础上开发了 Hadoop 分布式挖掘工具。这两个工具都具有高效、高扩展、

104