Page 101 - 基于深度学习的人工智能技术研究

第三章 深度学习理论与实践

神经网络、双向联结记忆（BAM）神经网络和 Cohen-Grossberg 神经网络等。通
常情况下，递归神经网络可以在某一瞬态响应中实现对某一时间信号的存储，然
后从存储的信息状态中重新构建上一瞬态的历史信息，实现对记忆的联想。可见
递归网络的一个根本特征是具有短时记忆功能，因此很多递归网络的机构设计和

训练算法研究都是围绕其记忆特性展开。
递归神经网络的动态特性表现在，其内部的信号是存在反馈的，也就是说，
网络在某一时刻的输出值不仅与当前状态有关，还与之前时刻的状态有关。递归
网络的这种特性使得它同时具备动力学特性和信息存储能力，因此递归型网络常

被用来学习和模拟系统中的动态性能。此外，稳定性是递归神经网络的另一个特
性，因为在递归网络中，网络状态是随时间变化的，要想保证网络运行在正常范
围并不出现发散和振荡，必须首先对其稳定性进行分析和计算，设置合理的网络
参数。

2. 递归神经网络的研究现状
针对某一类问题，往往需要将递归网络进行适当调整和改进才能获得更好的
应用，其改进方法通常有两种，即参数学习训练算法和网络结构优化算法。所谓
参数训练算法，是指单纯对网络神经元节点的权值进行学习改进，而不改变网络

结构（层数和节点数）。结构优化算法则相反，主要是通过某种学习规则（增长
或删减机制）动态地调整网络结构，使其效果达到最优。在算法改进的研究中，
常常借鉴前馈型网络的改进算法思想，将其应用于递归型网络中。
不同的递归神经网络学习算法都各自有其自身的特点，同时也适用于不同

的应用对象。1986 年，Hinton 等人在 Natural 上发表文章，提出一种由递归网
络展开而成的一种多层前馈型网络，该网络的训练方法就是目前最主要的 BPTT
（Back-Propagation through time）算法。然而，该算法在训练中存在收敛较慢问题，
且对系统的内存需求过大，往往导致训练失败。Shen 等人在 Hinton 工作的基础

上对该算法进行了改进，并将其应用于带有约束条件的建模问题，例如时间序列
问题，实验结果表明他们的方法具有较高精度。Williams 等人设计了一种具有递
归运算方式的梯度计算方法，用于全局递归网络的设计。实际上，RTRL 算法与
BPTT 算法都是梯度下降法在递归网络中的变形形式，训练方式可以分为在线和

离线两种。所谓在线学习方式，或称串行方式或顺序方式，是指每次只输入一个
样本进行学习，对权值修改，然后再学习下一个样本。而离线方式，或称集中方

93