一种图像增强方法与流程

本发明涉及数字图像处理、计算机视觉领域，尤其涉及一种图像增强方法。

背景技术：

图像相比文字能够提供更加生动、容易理解及更具艺术感的信息，是人们转递与交换信息的重要来源。图像超分辨率重建技术就是利用一组低质量、低分辨率图像来产生高质量、高分辨率图像。

目前图像超分辨率研究可以分为三类：基于插值、基于重建和基于学习的方法。随着深度学习的快速发展，基于学习的超分辨率算法更是近年来研究的热点。它采用大量高分辨率图像产生学习模型，在对低分辨率图像进行恢复的过程中引入学习模型学习到的先验知识，训练神经网络来寻找低分辨率图像与其对应的高分辨率图像之间的映射关系，从而得到图像的高频细节，获得令人满意的图像恢复效果。基于深度学习的图像增强方法有srfbn方法、cs-nlattention方法、natsr方法等，srfbn方法用高级信息通过反馈连接来细化低层次信息，具有很强的早期重建能力，可以逐步创建最终的高分辨率图像；natnet方法在低阶域定义了自然先验，并在自然流中约束了输出图像以生成自然真实的图像；cs-nlattention方法基于生成对抗网络的模型能够带来更好的感知体验。

但是，srfbn方法因为简单的模型无法提供更细节的信息，生成的图像视觉效果不够锐利；cs-nlattention方法因为模型更底层的构造的关系，比如说卷积层的stride重叠导致或者数据集不够丰富等，放大后的图像细节通常伴随着不自然的伪影；natsr方法因为用了gan模型，在恢复细节时容易发生几何变形现象，影响视觉效果。

技术实现要素：

基于现有技术所存在的问题，本发明的目的是提供一种图像增强方法，能解决现有图像增强方法中，所存在的不够锐利、有不自然的伪影以及容易发生几何变形等影响视觉效果的问题。

本发明的目的是通过以下技术方案实现的：

本发明实施方式提供一种图像增强方法，采用具有sr分支网络和梯度分支网络两个分支的神经网络模型作为图像增强网络模型，包括：

利用训练好的所述图像增强网络模型对低分辨率图像进行增强处理，增强处理后得到高分辨率图像。

由上述本发明提供的技术方案可以看出，本发明实施例提供的图像增强方法，其有益效果为：

通过采用具有sr分支网络模型和梯度分支网络模型两个分支的神经网络模型作为图像增强网络模型，进行图像增强，通过sr分支网络模型和梯度分支网络模型配合，能利用图像的梯度信息改善图像的轮廓边缘信息，使低分辨率的图像生成的高分辨率图像包含更多的高频信息，提高生成图像的清晰度与真实感。

附图说明

为了更清楚地说明本发明实施例的技术方案，下面将对实施例描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本发明的一些实施例，对于本领域的普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他附图。

图1为本发明实施例提供的图像增强方法的流程图；

图2为本发明实施例提供的图像增强方法的图像增强网络模型的结构原理图；

图3为本发明实施例提供的原始图像示意图；

图4为各方法图像增强后输出的图像，其中，(a)为现有srfbn方法增强后输出的图像；(b)为现有natsr方法增强后输出的图像；(c)为现有cs-nlattention方法增强后输出的图像；(d)为本发明方法增强后输出的图像。

具体实施方式

下面结合本发明的具体内容，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。基于本发明的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本发明的保护范围。本发明实施例中未作详细描述的内容属于本领域专业技术人员公知的现有技术。

如图1所示，本发明实施例提供一种图像增强方法，采用具有sr分支网络和梯度分支网络两个分支的神经网络模型作为图像增强网络模型，包括：

利用训练好的所述图像增强网络模型对低分辨率图像进行增强处理，增强处理后得到高分辨率图像。

上述方法中，所述图像增强网络模型中的sr分支网络和梯度分支网络由融合块连接。

上述方法中，所述图像增强网络模型中，

所述sr分支网络的末端经所述融合块与所述梯度分支网络的末端连接，用于根据所述梯度分支网络模型的梯度信息引导生成几何结构清晰的高分辨率图像；

用于生成高分辨率图像梯度信息的所述梯度分支网络能接收并合并所述sr分支网络的中间层输出特征。

上述方法中，所述sr分支网络模型采用基于resnet网络结构，以多层卷积方式构建而成的神经网络模型；

所述梯度分支网络模型为采用canny边缘检测算法，能对低分辨率图像和高分辨率图像求图像的梯度边缘生成梯度图的神经网络模型，所述梯度图作为指导所述sr分支网络构建所要增强图像的几何结构。

上述方法中，训练所述图像增强网络模型的步骤包括：

步骤11、获取作为训练数据的原始图像，将所述原始图像处理成训练图像；

步骤12、利用预先训练好的预训练网络模型对所述训练图像进行预训练完成特征提取；

步骤13、用所述预训练网络模型对所述训练图像进行特征提取，以提取得到的特征作为所述图像增强网络模型的输入，对所述图像增强网络模型进行训练，训练完成后即得到训练好的图像增强网络模型。

上述的步骤11中，将所述原始图像处理成训练图像为：

步骤111，通过双三次插值法、双线性内插法、最邻近插值法中的至少一种，将所述高分辨率的原始图像生成对应的低分辨率图像；

步骤112，以步长为240像素，将所述高分辨率的原始图像和对应的低分辨率图像均经滑动裁剪成尺寸为480×480像素的图像，并去除得到图像中为黑色像素的无意义图像，将剩余的图像作为高分辨率图像；

步骤113，利用canny边缘检测算法分别去除所述步骤111得到的低分辨率图像和所述步骤112得到的高分辨率图像的假边缘，并求得所述低分辨率图像和高分辨率图像的梯度图；

步骤114，将所述步骤113处理后得到的内容完全相同的高分辨率图像和低分辨率图像作为训练图像。

上述方法中，前期训练时，所述图像网络增强模型的sr分支网络模型使用加快收敛的l1_loss损失函数，直到损失值无法再下降，即完成前期训练；

中期训练时，将所述损失函数更换为能增加图片细节的perceptual_loss、texture_matching_loss、adversarial_loss三个损失函数组合，对所述图像网络增强模型的sr分支网络模型进行中期训练；

后期调优训练时，将所述sr分支网络模型的三个损失函数perceptual_loss、texture_matching_loss、adversarial_loss的比例调整为：10：5：1；

所述图像增强网络模型的梯度分支网络采用能量化梯度分支网络与高分辨率图像之间差异的梯度损失函数，优选的，梯度损失函数采用l1_loss损失函数，能反应低分辨率梯度图与高分辨率梯度图的差异。

上述方法的步骤12中，预训练网络模型采用vggnet-19网络模型。通过设置预训练网络模型对训练图像进行预训练完成特征提取，可以提高整个处理的分辨率提升效果。

上述方法中，高分辨率图像指包含细节越多，信息量大的图像，图像超分辨率重建关注的是恢复图像中丢失的细节，即高频信息；低分辨率图像则缺少高分辨率图像中的高频信息。

本发明的图像增强方法，由于采用了由融合块连接的sr分支网络模型和梯度分支网络模型这两个分支的神经网络模型作为图像增强网络模型，sr分支网络模型和梯度分支网络模型这两个模型配合，能利用图像的梯度信息改善图像的轮廓边缘信息，使低分辨率的图像生成的高分辨率图像包含更多的高频信息，提高生成图像的清晰度与真实感。

下面对本发明实施例具体作进一步地详细描述。

参见图1，本发明实施例提供一种图像增强方法，是利用训练好的图像增强网络模型对低分辨率图像进行增强处理，增强处理后得到高分辨率图像，图像增强网络模型是具有sr分支网络和梯度分支网络两个分支的神经网络模型；该方法对图像增强网络模型的训练步骤如下：

步骤11、获取作为训练数据的原始图像，按照设定的方式处理成训练图像；

本发明将作为训练数据的原始高清图像通过双三次插值法、双线性内插法、最邻近插值法三种方法中的至少一种方法生成低分辨率图像，进而获得大量低清-高清对照组；能解决实际中无法同时收集到包含有完全相同的高、低分辨率图像，无法为深度学习提供大量数据的问题；

为了加快训练速度和提高gpu的利用率，将训练图像以步长为240像素，滑动裁剪为480×480像素的小尺寸图像，同时去掉大部分为黑色像素的无意义图像；

利用canny边缘检测算法去掉由于噪声或者不相干细节引入的假边缘，分别求得低分辨率图像和高分辨率图像的梯度图，让两者配对学习；具体为：首先应用高斯滤波来平滑图像，去除图像中叠加的高频噪声；对于平滑后的图像采用sobelkernel计算得到水平方向和垂直方向的梯度值，然后计算每个像素的边缘梯度和梯度方向；计算得到梯度值和梯度方向后，采用非极大值抑制规则对图片进行全面的扫描，去除不构成边缘的无关像素点；最后使用双阈值判断真假边缘：边缘的强度梯度大于预设的上限阈值maxval的，确定为真边缘，小于预设的下限阈值minval的，确定为假边缘并丢弃；

经上述处理后得到的完全相同的高、低分辨率图像作为训练图像；

步骤12、搭建图像增强网络模型；

图2为本发明实施例提供的一种图像增强方法的图像增强网络模型的结构原理图，该图像增强网络模型有两个分支网络：sr分支网络和梯度分支网络；

梯度分支网络中的模块会合并来自sr分支网络的中间层输出特征用于恢复梯度图，接着在该梯度分支网络的末端，梯度图的特征信息会合并到sr分支网络模型，指导sr分支网络重建图像结构；

sr分支网络由多个卷积神经网络组成，采用resnet网络生成图像的sr特征，在该sr分支网络的末端通过一个融合块将两个分支网络的特征融合在一起；

最终结合sr分支网络融合输出高清分辨率图像；

步骤13、用训练图像对所述图像增强网络模型进行训练；

选取训练图像，训练图像的原始图像来自于采集的数据与多个开源高清数据集：div2k，div8k,flicker中的数据，使用vggnet-19网络模型对训练图像进行预训练，即对训练图像进行特征提取，将vggnet-19网络模型的输出再作为图像增强网络模型输入，进行该图像增强网络模型的训练，通过vggnet-19网络模型加深图像增强网络模型的深度，提升了图像增强网络模型提取图像特征的能力，加快后续图像增强网络模型的训练时间，不会占大量内存与cpu；

在训练前期使用l1_loss损失函数加快模型的收敛能力；

训练后期sr分支网络将perceptual_loss、adversarial_loss和texture_matching_loss这三种损失函数结合起来能产生合理有意义的纹理，极大减少artifact，使生成的高清图像达到原图的效果；

梯度分支网络引入梯度损失函数，使图像增强网络模型将注意力集中在图像邻域，推断出图像的局部强度，引导sr分支网络从梯度信息中学习图像特征，避免过度模糊或者过度锐化；

整个训练完之后对图像增强网络模型进行微调操作，通过改变损失函数的比例来增强模型的训练效果，后期调优训练将所述sr分支网络模型的损失函数的比例调整为：10：5：1。

用训练好的所述图像增强网络模型对图像进行增强处理，具体为：将待处理的低分辨率图像输入图像增强网络模型，进行图像增强处理后得到边缘清晰的高分辨率图像。

本发明的方法在图像增强过程中采用了基于梯度指导的结构保留方法，尤其针对图像的轮廓边缘进行有选择性的增强和抑制，以便得到具有更加清晰的几何结构等细节信息的高分辨率图像，避免生成的图像存在明显的结构变形。

以上所述，仅为本发明较佳的具体实施方式，但本发明的保护范围并不局限于此，任何熟悉本技术领域的技术人员在本发明披露的技术范围内，可轻易想到的变化或替换，都应涵盖在本发明的保护范围之内。因此，本发明的保护范围应该以权利要求书的保护范围为准。