Page 122 - 基于深度学习的人工智能技术研究

Research on Artificial Intelligence Technology Based on Deep Learning
基于深度学习的人工智能技术研究

三是应用门槛高，算法建模及调参过程复杂烦琐、算法设计周期长、系统实施维
护困难。四是缺乏因果推理能力，图灵奖得主、贝叶斯网络之父 Judea Pearl 指出
当前的深度学习不过只是“曲线拟合”。五是存在可解释性问题，由于内部的参
数共享和复杂的特征抽取与组合，很难解释模型到底学到了什么，但出于安全性

考虑以及伦理和法律的需要，算法的可解释性又是十分必要的。因此，深度学习
仍需解决以上问题。
深度神经网络呈现层数越来越深、结构越来越复杂的发展趋势。为了不断提
升深度神经网络的性能，业界从网络深度和网络结构两方面持续进行探索。神经

网络的层数已扩展到上百层甚至上千层，随着网络层数的不断加深，其学习效果
也越来越好，2015 年微软提出的 ResNet 以 152 层的网络深度在图像分类任务上
准确率首次超过人眼。新的网络设计结构不断被提出，使得神经网络的结构越来
越复杂。如：2014 年谷歌提出了 Inception 网络结构、2015 年微软提出了残差网

络结构、2016 年黄高等人提出了密集连接网络结构，这些网络结构设计不断提
升了深度神经网络的性能。
深度神经网络节点功能不断丰富。为了克服目前神经网络存在的局限性，业
界探索并提出了新型神经网络节点，使得神经网络的功能越来越丰富。2017 年，

杰弗里·辛顿提出了胶囊网络的概念，采用胶囊作为网络节点，理论上更接近人
脑的行为，旨在克服卷积神经网络存在的没有空间分层和推理能力等局限性。
2018 年，DeepMind、谷歌大脑、MIT 的学者联合提出了图网络的概念，定义了
一类新的模块，具有关系归纳偏置功能，旨在赋予深度学习因果推理的能力。

深度神经网络工程化应用技术不断深化。深度神经网络模型大都具有上亿
的参数量和数百兆的占用空间，运算量大，难以部署到智能手机、摄像头和可穿
戴设备等性能和资源受限的终端类设备。为了解决这个问题，业界采用模型压缩
技术降低模型参数量和尺寸，减少运算量。目前采用的模型压缩方法包括对已

训练好的模型做修剪（如剪枝、权值共享和量化等）和设计更精细的模型（如
MobileNet 等）两类。深度学习算法建模及调参过程烦琐，应用门槛高。为了降
低深度学习的应用门槛，业界提出了自动化机器学习（AutoML）技术，可实现
深度神经网络的自动化设计，简化使用流程。

深度学习与多种机器学习技术不断融合发展。深度学习与强化学习融合发展
诞生的深度强化学习技术，结合了深度学习的感知能力和强化学习的决策能力，

114