Page 185 - 测绘新技术的理论与实践研究

第五章 多源遥感数据获取技术研究

点。假设第一个隐藏层有 100 个节点（这个数量并不多），那么仅这一层就有

（1000×1000+1）×100~1 亿参数，实在是太多了。图像扩大一点，参数数量就
会多很多，因此它的扩展性很差。
2. 没有利用像素之间的位置信息
对于图像识别而言，每个像素和其周围像素的联系是比较紧密的，和离得很

远的像素的联系可能就很小了。如果一个神经元和上一层所有神经元相连，那么
就相当于对于一个像素来说，把图像的所有像素都等同看待，这不符合前面的假

设。当完成每个连接权重的学习之后，最终可能会发现，有大量的权重，它们的
值都是很小的（也就是说这些连接其实无关紧要）。努力学习大量并不重要的权
重，这样的学习必将是非常低效的。
3. 网络层数限制

网络层数越多，其表达能力越强，但是通过梯度下降方法训练深度全连接神
经网络很困难，因为全连接神经网络的梯度很难传递超过 3 层。因此，不可能得
到一个很深的全连接神经网络，也就限制了它的能力。

卷积神经网络（Conv olutional Neural Networks，CNN）以卷积内核为训练单
元，可以较好地解决上述问题。CNN 采用的策略主要有三个：
一是局部连接：每个神经元不再和上一层的所有神经元相连，而只和对应区
域一小部分神经元相连。这样的连接处理大大减少了参数；二是权值共享：一组

连接共享同一个权值，而不是每个连接有一个不同的权值。这样的设定又减少了
很多参数；三是下采样：使用 Pooling（池化）技术减少每层的样本数，进一步
减少参数数量，同时还可以提升模型的鲁棒性。

对于图像识别任务来说，卷积神经网络通过尽可能保留重要的参数，去掉大
量不重要的参数，来达到更好的学习效果。
卷积神经网络的层结构和全连接神经网络的层结构有很大不同。全连接神经
网络每层的神经元是按照一维排列的，也就是排成一条线；而卷积神经网络每层

的神经元是按照三维排列的，也就是排成一个长方体，有宽度、高度和深度。
CNN 的基本运行模式可以总结为：从前到后依次经过卷积层进行卷积，经

过 Pooling 层进行特征降维进而形成能够输入人工神经网络的特征向量，使之能
够形成人工神经网络全连接的输入，进而进行训练。
和全连接神经网络相比，CNN 的训练要复杂一些，但训练的原理是一样的：

173