一种基于复杂任务分解正则化的图像复原模型、方法及设备与流程

本申请涉及图像复原技术领域，具体而言，涉及一种基于复杂任务分解正则化的图像复原模型、方法及设备。

背景技术：

传统的为解决复杂的初级视觉任务，一个容易想到的方法是增加模型的复杂度，提高模型的表示能力。更复杂的模型，意味着更多的参数，使得模型容易过拟合。为解决神经网络过拟合问题，人们已经做出了大量的研究和思考。泛化边界已针对许多功能进行了表征，这些限制中的许多是通过某种形式的正则化(通常为l2正则化)或通过限制函数类的复杂性而获得的。神经网络训练过程中防止过拟合的主流策略除了以上方法外，最近还提出了网络预训练方法、网络分层训练方法以及对隐藏层使用辅助变量的方法。这一类方法是通用的，解决神经网络训练过程中过拟合的策略。

但是，低级视觉复杂的重建任务，尤其是多因素交织退化图像的复原问题，难度很大。相比单一因素退化图像(例如，运动模糊)的复原难度更大，退化模式更难学习，问题空间也更大。传统的基于端到端的深度神经网络图像复原方法，在有限的训练数据学习情况下，难以学到图像的退化逆变换模式，从而复原效果欠佳。

技术实现要素：

本申请的目的在于提供一种基于复杂任务分解正则化的图像复原模型、方法及设备，用以实现任务分解，在减少问题复杂度的同时提高图像复原效果的技术效果。

第一方面，本申请实施例提供了一种基于复杂任务分解正则化的图像复原模型，包括特征提取与去噪子网、去模糊子网和图像重建子网；所述特征提取与去噪子网包括卷积神经网络、深度卷积神经网络和降噪网络；所述卷积神经网络用于对原始模糊图像进行特征提取，获取第一特征图；所述深度卷积神经网络用于对所述原始模糊图像进行特征提取进，获取第二特征图；所述降噪网络用于根据所述第一特征图和所述第二特征图重建模糊图像特征图；所述去模糊子网用于去除所述模糊图像特征图中的湍流模糊获得第三特征图；所述图像重建子网用于根据所述第三特征图进行图像重建并输出重建后的清晰图像。

进一步地，所述深度卷积神经网络包括第一卷积层、第一深度卷积层、第二深度卷积层、第三深度卷积层和第四深度卷积层；所述第一卷积层分别与所述第二深度卷积层、所述第三深度卷积层和所述第四深度卷积层融合。

进一步地，所述第一卷积层的过滤尺寸为3*3；所述第一深度卷积层的过滤尺寸为1*1；所述第二深度卷积层的过滤尺寸为2*2；所述第三深度卷积层的过滤尺寸为3*3；所述第四深度卷积层的过滤尺寸为4*4。

进一步地，所述卷积神经网络包括第一卷积层、第二卷积层、第三卷积层、第四卷积层和第五卷积层；所述原始模糊图像依次经过所述第一卷积层、所述第二卷积层、所述第三卷积层、所述第四卷积层和所述第五卷积层进行卷积过滤；所述第一卷积层、所述第二卷积层、所述第三卷积层、所述第四卷积层和所述第五卷积层的过滤尺寸均为3*3。

进一步地，所述降噪网络包括第六卷积层和第七卷积层；所述卷积神经网络和所述深度卷积神经网络进行卷积过滤后获取到的特征图依次经过所述第六卷积层和所述第七卷积层完成模糊图像特征图的重建；所述第六卷积层和第七卷积层的过滤尺寸为3*3。

第二方面，本申请提供一种基于复杂任务分解正则化的图像复原方法，应用于基于复杂任务分解正则化的图像复原模型，包括获取原始模糊图像；使用特征提取与去噪子网中的卷积神经网络对所述原始模糊图像进行卷积过滤，获取第一特征图；同时使用所述特征提取与去噪子网中的深度卷积神经网络对所述原始模糊图像进行卷积过滤，获取第二特征图；使用所述特征提取与去噪子网中的降噪网络根据所述第一特征图和所述第二特征图重建模糊图像特征图；使用去模糊子网去除所述模糊图像特征图中的湍流模糊获得第三特征图；使用图像重建子网根据所述第三特征图进行图像重建并输出重建后的清晰图像。

进一步地，所述方法还包括：分析所述特征提取与去噪子网输出图像的第一损失函数和所述图像重建子网输出图像的第二损失函数；根据所述第一损失函数和所述第二损失函数分析所述图像复原模型的整体损失函数；根据所述整体损失函数训练所述图像复原模型。

进一步地，所述方法还包括：根据仿真退化图像的模糊程度和噪声水平，将训练集按退化程度划分为{t1,...,tn}个子训练集,通过子训练集预训练网络的权重。

与现有技术相比，本申请能够实现的有益效果是：通过在深度卷积神经网络中引入基于复杂任务分解正则化的图像复原模型，将网络分为两个任务部分。具体地，使用特征提取与去噪子网中的卷积神经网络、深度卷积神经网络和降噪网络去除模糊图像中的加性噪声；使用去模糊子网和图像重建子网对去噪后的特征图进行重建得到清晰图像；通过对任务进行分解，降低了问题的复杂度，网络泛化能力增强，减少了过拟合问题，提高了图像复原效果。

附图说明

为了更清楚地说明本申请实施例的技术方案，下面将对本申请实施例中所需要使用的附图作简单地介绍，应当理解，以下附图仅示出了本申请的某些实施例，因此不应被看作是对范围的限定，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他相关的附图。

图1为本申请实施例提供的一种基于复杂任务分解正则化的图像复原模型结构示意图；

图2为本申请实施例提供的一种特征提取与去噪子网结构示意图；

图3为本申请实施例提供的基于复杂任务分解正则化的图像复原方法流程示意图。

图标：10-图像复原模型；100-特征提取与去噪子网；110-深度卷积神经网络；120-卷积神经网络；130-降噪网络；200-去模糊子网；300-图像重建子网。

具体实施方式

下面将结合本申请实施例中的附图，对本申请实施例中的技术方案进行描述。

应注意到：相似的标号和字母在下面的附图中表示类似项，因此，一旦某一项在一个附图中被定义，则在随后的附图中不需要对其进行进一步定义和解释。同时，在本申请的描述中，术语“第一”、“第二”等仅用于区分描述，而不能理解为指示或暗示相对重要性。

请参看图1、图2，图1为本申请实施例提供的一种基于复杂任务分解正则化的图像复原模型结构示意图；图2为本申请实施例提供的一种特征提取与去噪子网结构示意图。

本申请实施例提供的图像复原模型10包括特征提取与去噪子网100(featureextractionanddenoisingsub-network，feadns-net)、去模糊子网200(u-net)和图像重建子网300(imagereconstructionsub-network，irs-net)；特征提取与去噪子网100包括卷积神经网络120(cnn)、深度卷积神经网络110(dcnn)和降噪网络130(dnrs_net)；卷积神经网络120用于对原始模糊图像进行特征提取，获取第一特征图；深度卷积神经网络110用于对原始模糊图像进行特征提取进，获取第二特征图；降噪网络130用于根据第一特征图和第二特征图重建模糊图像特征图；去模糊子网200用于去除模糊图像特征图中的湍流模糊获得第三特征图；图像重建子网300用于根据第三特征图进行图像重建并输出重建后的清晰图像。

深度卷积神经网络110包括第一卷积层(conv1)、第一深度卷积层(dconv1)、第二深度卷积层(dconv2)、第三深度卷积层(dconv3)和第四深度卷积层(dconv4)；第一卷积层(conv1)分别与第二深度卷积层(dconv2)、第三深度卷积层(dconv3)和第四深度卷积层(dconv4)融合。

在一种实施方式中，第一深度卷积层、第二深度卷积层、第三深度卷积层和第四深度卷积层中均设有批归一化与激活函数层(bnorm+relu)。具体的，原始模糊图像先经过第一卷积层进行过滤处理以后发送给第一深度卷积层(dconv1)进行过滤处理后经过对应的批归一化与激活函数层(bnorm+relu)发送给第二深度卷积层；第二深度卷积层(dconv2)进行过滤处理后经过对应的批归一化与激活函数层(bnorm+relu)发送给第三深度卷积层；第三深度卷积层(dconv3)进行过滤处理后经过对应的批归一化与激活函数层(bnorm+relu)发送给第四深度卷积层；第四深度卷积层(dconv4)进行过滤处理后经过对应的批归一化与激活函数层(bnorm+relu)发送给降噪网络130。具体的，如表1所示，第一卷积层的过滤尺寸为3*3；第一深度卷积层的过滤尺寸为1*1；第二深度卷积层的过滤尺寸为2*2；第三深度卷积层的过滤尺寸为3*3；第四深度卷积层的过滤尺寸为4*4。在进行卷积过滤处理时，第一卷积层分别与第二深度卷积层、第三深度卷积层和第四深度卷积层进行融合。

表1

卷积神经网络120包括第二卷积层(conv2)、第三卷积层(conv3)、第四卷积层(conv4)、第五卷积层(conv5)和第六卷积层(conv6)；原始模糊图像依次经过第二卷积层(conv2)、第三卷积层(conv3)、第四卷积层(conv4)、第五卷积层(conv5)和第六卷积层(conv6)进行卷积过滤；在一种实施方式中，第二卷积层(conv2)、第三卷积层(conv3)、第四卷积层(conv4)、第五卷积层(conv5)和第六卷积层(conv6)的过滤尺寸均为3*3。

降噪网络130包括第七卷积层(conv7)和第八卷积层(conv8)；卷积神经网络120和深度卷积神经网络110进行卷积过滤后获取到的特征图依次经过第七卷积层(conv7)和第八卷积层(conv8)完成模糊图像特征图的重建；在一种实施方式中，第七卷积层(conv7)和第八卷积层(conv8)的过滤尺寸为3*3。

去模糊子网200中每个卷积层的过滤尺寸为3*3，去模糊子网200中池化层和上采样层采用的池箱(poolingbox)的大小均为2*2。

图像重建子网300包括第九卷积层、第十卷积层、第十一卷积层和第十二卷积层。第九卷积层、第十卷积层、第十一卷积层和第十二卷积层的过滤尺寸均为3*3。进行图像重建时，第九卷积层根据第八卷积层的过滤方式进行重建；第十卷积层根据第六卷积层的过滤方式进行重建；第十一卷积层根据第四卷积层的过滤方式进行重建；第十二卷积层根据第二卷积层的过滤方式进行重建。

请参看图3，图3为本申请实施例提供的基于复杂任务分解正则化的图像复原方法流程示意图。

本申请实施例还提供了一种应用于基于复杂任务分解正则化的图像复原模型的图像复原方法，具体内容如下所述。

步骤s101，获取原始模糊图像。

原始模糊图像选用哈勃空间望远镜所拍摄到的图像。

步骤s102，使用特征提取与去噪子网中的卷积神经网络对所述原始模糊图像进行卷积过滤，获取第一特征图；同时使用所述特征提取与去噪子网中的深度卷积神经网络对所述原始模糊图像进行卷积过滤，获取第二特征图。

在获取到原始模糊图像后，原始模糊图像就可以经过卷积神经网络进行卷积过滤处理后获得第一特征图；同时原始模糊图像经过深度卷积神经网络进行卷积过滤处理后获取第二特征图。

步骤s103，使用所述特征提取与去噪子网中的降噪网络根据所述第一特征图和所述第二特征图重建模糊图像特征图。

在获取到原始模糊图像的第一特征图和第二特征图以后，降噪网络就可以根据这两张特征图重建模糊图像特征图，即去除加性噪声后的模糊图像。

步骤s104，使用去模糊子网去除所述模糊图像特征图中的湍流模糊获得第三特征图。

在获取到模糊图像特征图后，就可以使用去模糊子网去除模糊图像特征图中的湍流模糊获得对应的第三特征图。

步骤s105，使用图像重建子网根据所述第三特征图进行图像重建并输出重建后的清晰图像。

图像重建子网获取到第三特征图后，就可以根据对应的重建规则对第三特征图进行重建，得到清晰的图像。具体的，进行图像重建时，第九卷积层根据第八卷积层的过滤方式进行重建；第十卷积层根据第六卷积层的过滤方式进行重建；第十一卷积层根据第四卷积层的过滤方式进行重建；第十二卷积层根据第二卷积层的过滤方式进行重建。

本申请实施例所提供的图像复原方法还包括分析特征提取与去噪子网输出图像的第一损失函数和图像重建子网输出图像的第二损失函数；根据第一损失函数和第二损失函数分析图像复原网络模型的整体损失函数；根据整体损失函数训练图像复原网络模型。

具体的，可通过公式计算特征提取与去噪子网输出图像的第一损失函数；其中ll表示特征提取与去噪子网的损失函数，yl表示特征提取与去噪子网的输出，ylt表示yl所对应的基本事实；通过公式计算图像重建子网输出图像的第二损失函数；其中其中lm表示图像重建子网的损失函数，ym表示图像重建子网的输出；ymt表示ym所对应的基本事实。在计算得到第一损失函数和第二损失函数以后，就可以通过公式l＝αlm+λll计算得到网络模型的整体损失函数，然后使用该整体损失函数对网络模型进行训练。其中α和λ是非负权衡权重。α和λ取值范围均为[0,1],根据任务的复杂程度可以选择合理的α和λ。在没有特别指明时，α和λ均取值为1，在使用上述模型时，可以调节α和λ的值，以改变网络模型中任务比重的分配。

在一种实施方式中，图像复原模型的输入图像块大小为32*32，学习率为0.0001，batch大小为64，轻度噪声测试数据、中度噪声测试数据、重度噪声测试数据的权重约束值λ分别为0.6，0.6，0.8；α的取值为1。

在进行训练时，大气湍流退化严重的空间目标图像，复原难度极大。由于训练数据的较少网络训练过程中往往难以收敛。针对这些问题，本申请实施例采用逐步训练到成熟的训练方法。先获取仿真退化图像，然后根据仿真退化图像的模糊程度和噪声水平，将训练集按退化程度划分为{t1，...，tn}个子训练集,通过子训练集预训练网络的权重。用于训练网络的最终训练数据集t包含所有退化程度的图像(最终的训练数据t就是轻度噪声训练数据.).在训练过程中，首先将ti(i∈[1，n])预训练网络，得到网络的预训练权重wi。然后采用复原难度更大的训练集ti+1继续训练网络，在训练集ti+1训练之前首先利用ti预训练的权重wi初始化网络权重。依此迭代训练网络直至训练集tn为止。最后采用训练数据集t训练网络,得到最终的理想网络权重w。

本申请实施例还提供了一种基于复杂任务分解正则化的图像复原设备，包括服务器，以及设置在服务器中的上述图像复原模型。原始模糊图像可以通过u盘或者通信网络传输给服务器，服务器获取到该原始模糊图像后调用图像复原模型进行复原处理，然后输出清晰的图像。

综上所述，本申请实施例提供一种基于复杂任务分解正则化的图像复原模型、方法及设备，包括特征提取与去噪子网、去模糊子网和图像重建子网；特征提取与去噪子网包括卷积神经网络、深度卷积神经网络和降噪网络；卷积神经网络用于对原始模糊图像进行特征提取，获取第一特征图；深度卷积神经网络用于对原始模糊图像进行特征提取进，获取第二特征图；降噪网络用于根据第一特征图和第二特征图重建模糊图像特征图；去模糊子网用于去除模糊图像特征图中的湍流模糊获得第三特征图；图像重建子网用于根据第三特征图进行图像重建并输出重建后的清晰图像；通过对任务进行分解，降低了问题的复杂度，网络泛化能力增强，减少了过拟合问题，提高了图像复原效果。

以上所述，仅为本申请的具体实施方式，但本申请的保护范围并不局限于此，任何熟悉本技术领域的技术人员在本申请揭露的技术范围内，可轻易想到变化或替换，都应涵盖在本申请的保护范围之内。因此，本申请的保护范围应以权利要求的保护范围为准。