Page 189 - 计算机应用软件开发技术研究

第六章 计算机网络安全动态评估关键技术研究

通过设计建立适量的神经元计算节点和多层运算层次结构，选择合适的输入
层和输出层，通过网络的学习和调优，建立起从输入输出的函数关系，虽然不能
100% 找到输入与输出的函数关系，但是可以尽可能地逼近现实的关联关系。使

用训练成功的网络模型，就可以实现我们对复杂事务处理的自动化要求。
（四）深度学习的典型模型
典型的深度学习模型有卷积神经网络（convolutional neural network）、DBN
和堆栈自编码网络（stacked auto-encoder network）模型等，下面对这些模型进行

描述。
1.卷积神经网络模型
在无监督预训练出现之前，训练深度神经网络通常非常困难，而其中一个特
例是卷积神经网络。卷积神经网络受视觉系统的结构启发而产生。第一个卷积神

经网络计算模型是在 Fukushima 的神经认知机中提出的，基于神经元之间的局部
连接和分层组织图像转换，将有相同参数的神经元应用于前一层神经网络的不同
位置，得到一种平移不变神经网络结构形式。后来，Le Cun 等人在该思想的基
础上，用误差梯度设计并训练卷积神经网络，在一些模式识别任务上得到优越的

性能。至今，基于卷积神经网络的模式识别系统是最好的实现系统之一，尤其在
手写体字符识别任务上表现出非凡的性能。
2.深度信任网络模型
DBN 可以解释为贝叶斯概率生成模型，由多层随机隐变量组成，上面的两

层具有无向对称连接，下面的层得到来自上一层的自顶向下的有向连接，最底
层单元的状态为可见输入数据向量。DBN 由若 2F 结构单元堆栈组成，结构单
元通常为 RBM（RestrICTed Boltzmann Machine，受限玻尔兹曼机）。堆栈中每
个 RBM 单元的可视层神经元数量等于前一 RBM 单元的隐层神经元数量。根据
深度学习机制，采用输入样例训练第一层 RBM 单元，并利用其输出训练第二层

RBM 模型，将 RBM 模型进行堆栈通过增加层来改善模型性能。在无监督预训
练过程中，DBN 编码输入顶层 RBM 后，解码顶层的状态到最底层的单元，实现
输入的重构。RBM 作为 DBN 的结构单元，与每一层 DBN 共享参数。

3.堆栈自编码网络模型
堆栈自编码网络的结构与 DBN 类似，由若干结构单元堆栈组成，不同之处
在于其结构单元为自编码模型（auto-en-coder）而不是 RBM。自编码模型是一个

·177·