Page 69 - 基于深度学习的人工智能技术研究

第二章 人工智能核心技术

三、自然语言处理技术在大数据时代背景下的应用

（一）大数据时代的特征
1. 数据量大
随着网络技术的快速发展，全球大数据的储量规模迅猛增长。据统计，2017

年，全球大数据的储量为 21.6ZB，到了 2022 年，全球大数据的储量已经翻了 3 倍，
达到了 67ZB。据某国际公司预测，2030 年，全球大数据总量将达到 175ZB。
2. 数据类型繁多
大数据时代，社交媒体、搜索引擎、电子商务和智能设备等每天都会产生海

量的数据，这些数据类型非常复杂，有传统的结构化数据，还有图片、视频、音
频和地理位置等半结构化和非结构化的数据。
3. 处理速度快
大数据时代要求相关人员能快速地从巨大规模的数据中提取出有价值的信

息，以满足各种应用场景的需求。例如，舆情监测系统要求实时监测舆情的走向，
及时进行危机预警和舆论引导。
4. 数据价值高
通过数据分析技术，相关人员可以挖掘出数据中蕴藏的巨大价值和内在变化

规律，从而预测未来的发展趋势和可能存在的变化，帮助各行业提高了决策的效
率和质量。例如，相关人员可以对用户的评论消息进行情感极性分析，让企业了
解顾客的情感倾向，从而调整企业决策，提升了企业的服务质量。
（二）自然语言处理技术的发展

1. 规则驱动时代
在 20 世纪 50 年代初，科学家们就开始探索利用计算机理解和处理人类的自
然语言。该阶段主要依赖科学家人工编写的语法规则实现对自然语言的分析，出
现了第一批机器翻译、问答系统的原型。但是，依靠人工编写规则，一方面成本

太高，另一方面覆盖的范围又十分有限，导致基于规则的方法难以解决自然语言
的复杂性和歧义性等问题，因此处理效果不佳。
2. 统计驱动时代
20 世纪 70 年代到 21 世纪初，业界兴起了统计方法，并且随着大规模语料

库的建立，科学家开始了自然语言处理技术的新的学习方式，即利用数据驱动的

61