一种反卷积神经网络训练方法
【技术领域】
[0001] 本发明属于人工智能的技术领域，具体地设及一种反卷积神经网络训练方法。
【背景技术】
[0002] 深度学习是目前人工智能领域的研究热点之一。基于神经网络的思想，深度学习 致力于模仿人脑的分层感知方式，通过构造多层感知器（MultilayerPerception,MLP)由 低层次特征组合出能够代表属性类别或特征的抽象高层表示，从而成为目前提取复杂图像 特征的有效模型之一。
[0003] 经典的深度学习模型主要包括深度置信网值eepBeliefNetworks,DB化）、多 层稀疏的自动编码模型（AutoEncode,AE)与卷积神经网络（ConvolutionalNeural Networks,CNNs)。通常，该些模型均通过编码器由输入图像提取特征，从底向上逐层贪屯、地 将图像转化到特征空间，相对的，使用解码器将特征空间的特征通过网络自顶向下重构输 入图像。其中，DB化与AE是无监督的网络模型，他们可W自底向上地分层学习丰富的图像 特征并为高层次应用，例如模式识别，提供一定的增益。然而，由于编码器通常使用一些简 单的非线性函数，有可能会严重限制对潜在特征的提取，从而使得模型学习到次优化的特 征，从而制约其在识别领域应用实际精确度的提高。此外，它们的训练复杂度及时间开销均 十分巨大。
[0004] CN化模型为有监督的学习模型，被誉为真正有效训练多层网络模型的第一个算 法。该模型使用可训练的卷积滤波器集合W及相应的池化下采样算法构成多层网络。与 DB化W及AE相同，该模型自底向上训练网络，只能完成特征提取的功能及相关高层次应 用，如模式识别，不能完成图像重构功能及相应的低层次应用。
[0005] Zeiler等人于2010年首次提出了反卷积神经网络模型值econvolutional Networks,DN)。该模型为无监督的深度学习模型。模型将卷积稀疏编码扩展到多层，使用 了与CN化相似的网络结构，从而使模型不仅能够应对提取特征的高层应用而且可W实现 图像重构的低层应用，并改善了传统稀疏编码算法中忽视自然图像平移不变性的缺点。特 殊地，可W认为卷积稀疏编码模型是单层反卷积神经网络模型的特例。通过多层结构的学 习集表示，模型可W有效提取图像不同尺度的特征，并在高层应用，如识别、分类中取得了 诸多令人满意的效果。陈扬铁提出，DN图像去噪的应用中同样表现优异，展示了其在低层 次应用中的潜力。
[0006] 然而，对DN模型的求解设及大量卷积运算化及一系列优化问题。Zeiler等人将整 个优化问题分解为两个子问题；固定特征图求解滤波器的滤波器子问题W及固定滤波器求 解特征图的特征图子问题。实际求解时，对该两个子问题进行交替优化求解直到整个模型 收敛。两个子问题均使用共辆梯度法（Con化gateGradient,CG)进行求解，计算复杂度高， 运算缓慢。Zeiler引入FISTA算法用于求解特征图的子问题，并在层间加入池化下采样算 法，W提高模型的整体运算速度，然而卷积的大量使用W及多层的复杂结构使得目标函数 的求解依然复杂度很高，收敛慢。除优化训练算法外，主流的DN优化方法还包括使用GPU 运算及使用多线程编程方法等。
[0007] 由于卷积稀疏编码模型是单层的反卷积神经网络模型的特例，一些基于卷积稀疏 编码模型的优化求解算法可视为对单层反卷积神经网络模型的优化求解特例。Bristow等 人通过将卷积运算变换到傅里叶域并使用快速傅里叶运算提高卷积运算的速度W改进模 型的收敛效率。Rigamonti等人提出了带可分离滤波器罚项的卷积稀疏编码模型，通过训练 可分离的滤波器W降低卷积运算的复杂度，提高卷积运算的速度。然而将此类方法拓展到 多层反卷积神经网络模型仍然需要较多工作与改进。
【发明内容】
[0008] 本发明的技术解决问题是；克服现有技术的不足，提供一种反卷积神经网络训练 方法，其能够有效地提取图像特征，有益于分类正确率的提高，提高反卷积神经网络的训练 收敛效率及收敛精度，降低反卷积神经网络在实际应用中的训练成本，同时可被应用于其 他基于卷积运算的优化问题求解中。
[0009] 本发明的技术解决方案是；该种反卷积神经网络训练方法，包括训练阶段和重建 阶段，训练阶段包括W下步骤：
[0010] (1)对训练图像进行预处理：选定训练集图像，处理为灰度图像，并统一长宽像 素；
[0011] (2)对训练图像进行批设置；根据所训练网络进行的应用，对训练图像进行批次 划分；
[0012] (3)设置训练图像的网络训练参数，训练图像的网络训练参数包括网络层数、每层 滤波器尺寸、每层特征图数量、FISTA重构步数与重构步长、总循环epoch次数、特征图稀疏 控制参数；
[0013] (4)开始第一层训练；用随机数初始化第一层特征图与第一层滤波器，输入一批 训练图像；首先解特征图子问题，使用FISTA方法求出特征图，然后解滤波器子问题，每计 算一次当前残差仅用于更新一个滤波器，每次用于更新滤波器的梯度步长均来自当前重新 计算的重构残差，反复重复解特征图子问题和解滤波器子问题该两个步骤直到重构残差收 敛；输入第二批训练图像，用随机数初始化第二批图像的特征图且沿用上一批训练得到的 滤波器，如此反复，直到完成所有批次的训练图像训练，作为一个epoch,随后再输入第一批 图像开始第二个巧och训练，直到完成步骤（3)的总循环巧och次数；
[0014] 重建阶段包括W下步骤：
[0015] (5)对待重构图像进行预处理；将待重构图像处理为灰度图像，并统一长宽像素；
[0016] (6)设置待重构图像的网络训练参数，待重构图像的网络训练参数包括FISTA重 构步长、重构次数与特征图稀疏度控制参数；
[0017] (7)按批输入待重构图像直到完成所有批图像的重构：按批依次输入待重构图 像，网络使用之前由训练图像训练得到的各层滤波器计算特征图子问题至收敛后得到重构 图像与各层特征图。
[0018] 本发明通过改进解滤波器子问题，每计算一次当前残差仅用于更新一个滤波器， 每次用于更新滤波器的梯度步长均来自当前重新计算的重构残差，该样能够有效地提取图 像特征，有益于分类正确率的提高，提高反卷积神经网络的训练收敛效率及收敛精度，降低 反卷积神经网络在实际应用中的训练成本，同时可被应用于其他基于卷积运算的优化问题 求解中。
【附图说明】
[0019] 图1示出了反卷积神经网络模型逻辑结构。
[0020] 图2是训练实验中S即算法与传统CG算法表现客观数据对比；图2中（a)化）为 第一层训练结果，（C) (d)为第二层的训练结果。
[0021] 图3是重构实验中S即算法与传统CG算法表现客观数据对比；图3中（a)化）为 第一层训练结果，（C) (d)为第二层的训练结果。
[0022] 图4是根据本发明的反卷