Page 99 - 基于深度学习的人工智能技术研究

第三章 深度学习理论与实践

（一）前馈神经网络
1. 前馈神经网络的特点
前馈神经网络的主要种类包括：感知器，线性神经网络，BP 网络，径向
基网络（RBF）等。其训练算法主要采用梯度下降法（Gradient Descent），包
括：误差反向传播算法（Back Propagation，BP），改进的 BP 算法，Levenberg-

Marquardt 法（LM）等。前馈神经网络具有学习简单，收敛较快等优点，因此在
实际应用中，一般选取三层或以上的网络结构，神经网络的任意逼近定理指出，
训练合适的多层前馈神经网络能够以任意精度逼近任意连续函数。当网络结构已

知的情况下，训练前馈神经网络的本质就是确定最优权值和阈值的方法，前馈神
经网络的训练方式一般采用网络理想输出和实际输出的误差作为权值调整信号，
解空间一般是多峰函数，由于训练过程中很容易陷入局部极小，因此网络的训练
目标就是求解一组最优的权值，使误差达到最小。

传统的误差反向传播算法由于为网络的训练提供了简单而有效的实现途径，
目前已成为研究和应用最广泛的有监督学习算法。但 BP 算法存在许多问题，例
如在多层网络中收敛较慢且容易陷入局部极小，而且不能对多个网络进行同时训
练。改进的 BP 算法有多种形式，主要有通过附加动量和学习率的引入改进 BP

网络的自适应能力等方法，附加动量方法虽然在一定程度上解决了易陷入局部极
小的问题，仍然存在收敛速度较慢的问题。调整学习率方法通过将学习率限制在
一定范围内自动调整，虽然能够提高网络收敛速率，但对权值的改变和影响并不
大，仍然导致误差较大问题。LM 法具有训练时间短、收敛速度快的优点，但由

于 LM 法需要计算误差的 Jacobian 矩阵，这是一个复杂的高维运算问题，需要占
用大量系统存储空间，同时，LM 也存在易陷入局部极小的问题。
2. 前馈神经网络的研究现状
在传统的神经网络训练过程中，预估校正法或者经验选择是最常被使用的网

络结构选取方式。在训练和优化网络权值和阈值过程中，训练算法在上述分析中
已知，存在着容易陷入局部最优并且难以跳出的缺点，因此误差函数要求必须是
连续可求导的函数。因此，这些权值训练方法常和进化算法等全局搜索算法相结
合。使用全局搜索算法的全局搜索能力帮助网络跳出局部极小。在编码时采用实

数编码，克服二进制编码受到编码串长度和精度的限制。例如，Sexton 等人用一
种改进的遗传算法优化前馈神经网络权值，结果表明改进的算法使网络训练精度

91