Page 100 - 基于深度学习的人工智能技术研究

Research on Artificial Intelligence Technology Based on Deep Learning
基于深度学习的人工智能技术研究

得到显著提高。Abbass 通过将传统 BP 算法和差分进化算法相结合，提出了一种
新的权值训练方法并用于乳腺癌的预测实验，取得较好结果。Iionen 等人使用差
分进化算法对前馈网络的权值进行训练和优化，将优化结果与其他几种基于梯度
下降的网络训练方法比较，结果表明该方法具有较好的精度。更多研究成果表明，

将 DE、PSO 应用于网络权值在线训练和优化具有明显优势，这些改进方法也成
功应用在了医学和工程技术等领域。
此外，多种优化算法相结合也被证明是有效的。例如，有学者提出了一种
DE 和 LM 相结合的神经网络快速训练方法。Liu 等人提出一种粒子群算法（Particle

Swarm Optimization，PSO）和共轭梯度算法相结合的混合算法，并将其应用于
神经网络的权值优化。在优化过程中，首先确定网络结构，然后使用 PSO 的全
局搜索能力获得最后权值组合，最后使用传统方法进行权值微调，取得较好结果。
有学者采用相反方式将基本 PSO 和传统 BP 算法相结合使用，首先用 BP 算法对

网络权值进行计算，然后使用 PSO 对网络结构固定的权值进行优化和改进。有
学者提出一种具有控制参数自适应选择能力的差分进化算法，用于训练前馈网络，
并将该方法用于奇偶分类实验中，将实验结果与几种其他方法进行比较得知，提
出的方法具有更好的准确性。Epitropakis 等人在训练离散 Pi-Sigma 神经网络实验

中，采用一种分布式离散差分进化算法和分布式离散 PSO 算法相结合的方式。
该离散网络仍然是一种多层前馈网络，在输出层，通过将神经元求积的方式获得
输出，作者认为这种整数权值的离散方式更适合用于硬件实现。在离散化权值方
面，Bao 等人的工作表明，通过采用一种可重建的动态差分进化算法，可以有效

用于训练固定结构的网络权值。
前馈神经网络的权值训练方法在近几十年一直是人工智能领域的研究热点之
一。越来越多的工作表明，将多种优化方法相结合，通过对传统训练方法的取长
补短，可以将前馈网络有效应用于多个领域的应用中。

（二）递归神经网络
1. 递归神经网络的特点
递归神经网络不同于前馈网络，是一种带有信息反馈功能，带有同力学时间
特性的 ANN。递归神经网络模拟了人类大脑神经突触连接进行信号处理的方式，

其中神经元之间的权值代表网络的记忆，能存储一部分数据信息，相当于模拟了
人类大脑的内部短期记忆功能，常见的有 Hopfield 神经网络、玻尔兹曼机、细胞

92