Page 188 - 计算机应用软件开发技术研究

计算机应用软件开发技术研究
Research on Computer Application Software Development Technology

络的方式进行预训练，进而结合鉴别信息进一步优化神经网络权值的深度置信网
络（DBN）。
通过多层处理，逐渐将初始的“低层”特征表示转化为“高层”特征表

示后，用“简单模型”即可完成复杂的分类等学习任务。由此可将深度学习
理解为进行“特征学习”（feature learning）或“表示学习”（representation
learning）。
以往在机器学习用于现实任务时，描述样本的特征通常需由人类专家来设

计，这成为“特征工程”（feature engineering）。众所周知，特征的好坏对泛化
性能有至关重要的影响，人类专家设计出好特征也并非易事；特征学习（表征学
习）则通过机器学习技术自身来产生好特征，这使机器学习向“全自动数据分
析”又前进了一步。

近年来，研究人员也逐渐将这几类方法结合起来，如对原本是以有监督学习
为基础的卷积神经网络结合自身编码神经网络进行无监督的预训练，进而利用鉴
别信息微调网络参数形成的卷积深度置信网络。与传统的学习方法相比，深度学
习方法预设了更多的模型参数，因此模型训练难度更大，根据统计学习的一般规

律知道，模型参数越多，需要参与训练的数据量也越大。
20 世纪八九十年代由于计算机计算能力有限和相关技术的限制，可用于分
析的数据量太小，深度学习在模式分析中并没有表现出优异的识别性能。自从
2006 年，Hinton 等提出快速计算受限玻尔兹曼机（RBM）网络权值及偏差的

CD-K 算法以后，RBM 就成了增加神经网络深度的有力工具，导致后面使用广
泛的 DBN（由 Hinton 等开发并已被微软等公司用于语音识别中）等深度网络的
出现。与此同时，稀疏编码等由于能自动从数据中提取特征也被应用于深度学习
中。基于局部数据区域的卷积神经网络方法近年来也被大量研究。

（三）深度学习的特点
区别于传统的浅层学习，深度学习的不同在于：
第一，强调了模型结构的深度，通常有 5 层、6 层，甚至 10 多层的隐层节
点；第二，明确了特征学习的重要性。也就是说，通过逐层特征变换，将样本在

原空间的特征表示变换到一个新特征空间，从而使分类或预测更容易。与人工规
则构造特征的方法相比，利用大数据来学习特征，更能够刻画数据丰富的内在
信息。

·176·