一种基于可变形卷积的卷积神经网络的图像畸变矫正增强方法与流程

本发明涉及图像超分辨率领域，特别是一种基于可变形卷积的卷积神经网络的图像畸变矫正增强方法。

背景技术：

单帧超分辨率成像(singleimagesuper-resolution,sisr)技术旨在基于低分辨率图像重建出其对应的高分辨率图像。单帧超分辨率成像技术作为计算机视觉领域的经典技术，近几十年以来都是热门的研究主题。与一般的图像锐化或清晰度调整不同，单帧超分辨率成像技术能根据图像整体的语义信息增强欠缺的图像细节，勾勒出图像纹理。因此，该技术具有很高的实用价值并具有广泛的研究前景。

近年来，许多学者通过设计新颖的神经卷积网络架构和改进损失函数来提高生成的高分辨率图像质量。目前基于深度学习的单帧超分辨率成像有以下较具代表性的方法：dong等人提出srcnn结构，首先使用双三次(bicubic)插值将低分辨率图像放大成目标尺寸，接着通过基于深度学习的三层卷积网络拟合非线性映射，最后重建出其对应的一张高分辨率图像。kim等人提出vdsr结构，该结构通过学习高分辨率和低分辨率图像之间的高频部分残差产生高分辨率图像。ledig等人将生成对抗网络(generativeadversarialnetwork,gan)应用到超分辨率问题上，提出以srresnet作为生成网络部分的srgan生成对抗网络。该生成对抗网络利用感知损失和对抗损失提高生成的超分辨率图像的真实感，并使生成图片和原始的低分辨率图片在语义和风格上更为接近。

然而，现在大多的是sisr技术是基于从高分辨率图像下采样得到的低分辨率图像数据集进行训练，通过这种训练集得到的结果不太具有实用价值，因为真实场景往往更为复杂，而上述训练过程和实际应用场景相差甚远。

为了解决这个问题，一些学者将研究重心放在收集和创建更接近于真实场景的训练数据集。cai等人提出用不同焦距的镜头拍摄同一场景制作realsr数据集，并使用三种主流超分算法在realsr数据集和传统超分数据集上进行比对，发现通过realsr数据集产生的超分辨率图像效果更好。zhang等人提出使用单反相机拍摄的真实的原始传感数据进行超分辨率训练，从而产生具有更高保真度的超分辨率图像。chen等人在前人的基础上，提出使用r-v降质(r-vdegradation)图像对来产生超分辨率图像。其中r和v分别代表分辨率(resolution)和视野域(field-of-view),研究人员从视野域小的图像中提取出高分辨率图像，从视野域大的图像中提取出低分辨率图像并制作成city100数据集。研究人员在该数据集基础上提出camerasr模型并验证了这是一种提高现有sr方法性能的实用解决方案。

虽然相关研究已经取得了较好的单帧超分辨率成像效果，但由于不同的照相机间的配置不同问题，从真实场景拍摄采集得到的数据集存在镜头畸变，即所采集到的真实图像对之间存在图像变形问题。

技术实现要素：

有鉴于此，本发明的目的是提供一种基于可变形卷积的卷积神经网络的图像畸变矫正增强方法，能够减小不同焦距拍摄下的真实图像对之间的图像变形问题对超分辨率重建效果的影响，提高图像的超分辨率重建效果。

本发明采用以下方案实现：一种基于可变形卷积的卷积神经网络的图像畸变矫正增强方法，包括以下步骤：

步骤s1：将长焦距镜头所拍摄的低分辨图像i^l作为基于可变形卷积的卷积神经网络的输入，而短焦距镜头所拍摄的高分辨率图像i^h作为基于可变形卷积的卷积神经网络所学习的目标；

步骤s2：所述基于可变形卷积的卷积神经网络包括卷积神经网络的卷积计算阶段、卷积神经网络的卷积残差块组计算阶段、可变形卷积残差块组计算阶段和反卷积计算阶段；将低分辨图像i^l分别执行卷积神经网络的卷积计算阶段、卷积神经网络的卷积残差块组计算阶段、可变形卷积残差块组计算阶段和反卷积计算阶段，最终得到一幅其对应的高分辨率图像i^sr；

步骤s3：利用重建的高分辨率图像i^sr与步骤s1的短焦镜头所拍摄得到的高分辨率图像i^h图像进行比较，计算两幅图像之间的l1损失，即计算两幅图像各个像素值的绝对值之差的和,公式如下；

其中i为图片像素点下标，m为图片的像素点总数；

步骤s4：基于步骤s3所得到的l1损失值，利用该损失值，采用adam优化算法，进行梯度反向传播，不断更新并优化获得新的卷积权值参数和偏置参数；新的卷积权值参数和偏置参数再通过基于可变形卷积的卷积神经网络生成新的重建高分辨率图像，不断重复反向传播更新，即不断重复步骤s2；当完成预设的重复次数后，则停止反向传播，获取出训练过程中的最优的卷积权值参数和偏置参数，利用该最优的参数加载进基于可变形卷积的卷积神经网络中，当新的低分辨率图像通过该网络后就能够得到重建后的带图像畸变矫正增强的高分辨率图像，用以实现图像畸变矫正增强的目的。

进一步地，所述步骤s2具体包括以下步骤：

步骤s21：卷积神经网络的卷积计算阶段：输入的低分辨率图像i^l进行卷积神经网络的卷积运算和激活函数运算得到其对应的第一层输出结果f1，其计算公式为：

f1＝lr(w1*i^l+b1)(2)

其中，w1、b1、lr分别是第一层的卷积权值参数，第一层的偏置参数和relu激活函数；

步骤s22：卷积神经网络的卷积残差块组计算阶段：所述卷积神经网络的卷积残差块组由3个卷积神经网络的卷积残差运算块组成，其中每个卷积神经网络的卷积残差运算块是由2次卷积神经网络的卷积运算、2次激活函数运算和1次相加运算组成，其中一个卷积神经网络的卷积残差运算块的计算公式为：

其中wl¹和wl²分别是是第l层的第1个和第2个卷积权值参数；和分别是是第l层的第1个和第2个偏置参数；fl和fl-1分别是第l层和l-1层的输出结果，第l-1层的输出结果，fl-1是通过跳跃连接的方式与第l层的两次卷积后的结果相加，从而得到第l层的输出结果fl；

步骤s23：可变形卷积残差块组计算阶段：所述可变形卷积残差块组由13个可变形卷积残差运算块组成，每个可变形卷积残差运算块是由2次可变形卷积运算、1次激活函数运算和1次相加运算组成，其中可变形卷积描述如下：

所述可变形卷积为在卷积神经网络的卷积中通过增加一个偏移量，从而进行扩张，同样的位置p0变为：

其中p0为卷积神经网络中的卷积的中心坐标，pn为卷积神经网络中的卷积的规则坐标偏移量，p0+pn即为卷积神经网络的卷积的位置表达，δpn为基于可变性卷积的卷积神经网络的自适应学习偏移量，采样的位置从而变成了不规则位置，p0+pn+δpn即为可变形卷积的位置表达；此处引入可变形卷积后，在输入层fl将会增加一个额外的卷积层来学习偏移量，该偏移量的特征图宽高将与输入层的特征图一样，但通道数为2n²的自适应学习偏移层，其中2n²代表n²个二维偏移量，即x，y两个方向上的偏移量，因此偏移层的每一位置就代表了卷积神经网络的卷积核在输入特征图上对应位置的偏移量，此处所说的偏移量即为公式(4)中的δpn；一个可变形卷积残差运算块计算公式为：

其中wl¹(δp¹)，wl²(δp²)分别为第l层的第1个经偏移的卷积权值参数和第2个经偏移的卷积权值参数；和bl²分别是是第l层的第1个和第2个偏置参数；fl和fl-1分别是第l层和l-1层的输出结果；第l-1层的输出结果fl-1是通过跳跃连接的方式与第l层的两次卷积后的结果相加，从而得到第l层的输出结果fl；

步骤s24：反卷积计算阶段：所述反卷积计算由2次反卷积运算、2次激活函数运算和1次卷积神经网络的卷积运算组成，其计算公式是：

i^sr＝w3*(lr(w2*(lr(w1*f1+b1))+b2)+b3(6)

其中w1和b1分别是第1层反卷积层的卷积权值参数和偏置参数；w2和b2分别是第2反卷积层的卷积权值参数和偏置参数；w3和b3分别是第3卷积层的卷积权值参数和偏置参数；i^sr是重建的高分辨率图像。

进一步地，所述步骤s4具体包括以下步骤：

预设将进行1000次步骤s2周期运算，其中每进行若干个步骤s2周期后，将当前基于可变形卷积的卷积神经网络的卷积权值参数和偏置参数进行保存，同时利用基于此卷积权值参数和偏置参数的基于可变形卷积的卷积神经网络，将预先准备的测试集中所有低分辨率图像重建成高分辨率图像，然后将重建后的高分辨率图像与其对应的真实高分辨率图像进行计算psnr和ssim并记录，其中psnr公式如下：

此处假设给定一个大小为m*n的真实高分辨率图像i和重建后的高分辨图像k,公式中的为图片的最大像素值，mse为均方误差，其定义如下：

ssim公式如下：

其中的x代表在真实高分辨率图像i图片中所取的一个n*n的窗口样本集合，y代表在重建后的高分辨率图像k图片中所取的一个与真实高分辨率图像i对应的n*n的窗口样本集合，m为一张图片所能取的窗口个数，μx为样本x的均值，μy为样本y的均值,δx为样本x的方差，δy为样本y的方差，δxy为样本x,y的协方差，c1＝(0.01l)²和c2＝(0.03l)²为两个常数，l为图像的最大像素值；

当运算完所有计算周期后，选择记录中最优的psnr和ssim，并找到该次记录中所保存的的卷积权值参数和偏置参数，此即为最优的卷积权值参数和偏置参数，

利用该最优的参数加载进基于可变形卷积的卷积神经网络中，当新的低分辨率图像通过该网络后就能够得到重建后的带图像畸变矫正增强的高分辨率图像，即实现图像畸变矫正增强的目的。

与现有技术相比，本发明具有以下有益效果：

本发明对于realsr数据集这类采用不同焦距所采取的真实低清高清图像对中，由于镜头畸变，图像对之间存在变形问题，通过使用可变形卷积能够减轻不同焦距镜头拍摄下的真实图像对之间的图像变形问题对超分辨率重建效果的影响，提高图像的超分辨率重建效果。

附图说明

图1为本发明实施例的原理示意图。

图2为本发明实施例的所使用的可变形卷积示意图。

图3为本发明实施例的与现有技术2倍图像超分辨率重建效果比较图,其中图3(a)为原始输入图像，图3(b)为双三次插值法(psnr:25.642,ssim:0.782)，图3(c)为双三次插值法(psnr:25.642,ssim:0.782)，图3(d)为本实施例(psnr:29.476,ssim:0.912)，图3(e)真实高清图。

图4为本发明实施例的现有技术3倍图像超分辨率重建效果比较图；其中图4(a)为原始输入图像，图4(b)为双三次插值法图像，图4(c)为srresnet图像，图4(d)为本实施例图像，图4(e)为真实高清图。

图5为本发明实施例的与现有技术4倍图像超分辨率重建效果比较图，其中图5(a)为原始输入图像，图5(b)为双三次插值法图像，图5(c)为srresent图像，图5(d)为本实施例图像，图5(e)为真实高清图。

具体实施方式

下面结合附图及实施例对本发明做进一步说明。

应该指出，以下详细说明都是例示性的，旨在对本申请提供进一步的说明。除非另有指明，本文使用的所有技术和科学术语具有与本申请所属技术领域的普通技术人员通常理解的相同含义。

需要注意的是，这里所使用的术语仅是为了描述具体实施方式，而非意图限制根据本申请的示例性实施方式。如在这里所使用的，除非上下文另外明确指出，否则单数形式也意图包括复数形式，此外，还应当理解的是，当在本说明书中使用术语“包含”和/或“包括”时，其指明存在特征、步骤、操作、器件、组件和/或它们的组合。

如图1所示，本实施例提供一种基于可变形卷积的卷积神经网络的图像畸变矫正增强方法，包括以下步骤：

步骤s1：将长焦距镜头所拍摄的低分辨图像i^l作为基于可变形卷积的卷积神经网络的输入，而短焦距镜头所拍摄的高分辨率图像i^h作为基于可变形卷积的卷积神经网络所学习的目标；

步骤s2：所述基于可变形卷积的卷积神经网络包括卷积神经网络的卷积计算阶段、卷积神经网络的卷积残差块组计算阶段、可变形卷积残差块组计算阶段和反卷积计算阶段；将低分辨图像i^l分别执行卷积神经网络的卷积计算阶段、卷积神经网络的卷积残差块组计算阶段、可变形卷积残差块组计算阶段和反卷积计算阶段，最终得到一幅其对应的高分辨率图像i^sr；

步骤s3：利用重建的高分辨率图像i^sr与步骤s1的短焦镜头所拍摄得到的高分辨率图像i^h图像进行比较，计算两幅图像之间的l1损失，即计算两幅图像各个像素值的绝对值之差的和,公式如下；

其中i为图片像素点下标，m为图片的像素点总数；

步骤s4：基于步骤s3所得到的l1损失值，利用该损失值，采用adam优化算法，进行梯度反向传播，不断更新并优化获得新的卷积权值参数和偏置参数；新的卷积权值参数和偏置参数再通过基于可变形卷积的卷积神经网络生成新的重建高分辨率图像，不断重复反向传播更新，即不断重复步骤s2；当完成预设的重复次数后，则停止反向传播，获取出训练过程中的最优的卷积权值参数和偏置参数，利用该最优的参数加载进基于可变形卷积的卷积神经网络中，当新的低分辨率图像通过该网络后就能够得到重建后的带图像畸变矫正增强的高分辨率图像，用以实现图像畸变矫正增强的目的。

在本实施例中，所述步骤s2具体包括以下步骤：

步骤s21：卷积神经网络的卷积计算阶段：输入的低分辨率图像i^l进行卷积神经网络的卷积运算和激活函数运算得到其对应的第一层输出结果f1，其计算公式为：

f1＝lr(w1*i^l+b1)(2)

其中，w1、b1、lr分别是第一层的卷积权值参数，第一层的偏置参数和relu激活函数；

步骤s22：卷积神经网络的卷积残差块组计算阶段：所述卷积神经网络的卷积残差块组由3个卷积神经网络的卷积残差运算块组成，其中每个卷积神经网络的卷积残差运算块是由2次卷积神经网络的卷积运算、2次激活函数运算和1次相加运算组成，其中一个卷积神经网络的卷积残差运算块的计算公式为：

其中wl¹和wl²分别是是第l层的第1个和第2个卷积权值参数；和分别是是第l层的第1个和第2个偏置参数；fl和fl-1分别是第l层和l-1层的输出结果，第l-1层的输出结果，fl-1是通过跳跃连接的方式与第l层的两次卷积后的结果相加，从而得到第l层的输出结果fl；

步骤s23：可变形卷积残差块组计算阶段：所述可变形卷积残差块组由13个可变形卷积残差运算块组成，每个可变形卷积残差运算块是由2次可变形卷积运算、1次激活函数运算和1次相加运算组成，其中卷积神经网络的卷积和可变形卷积区别描述如下：

卷积神经网络的卷积：以本实施例使用的3*3卷积为例，卷积神经网络的卷积其会在输入上使用规则网格r进行采样，进行加权运算，r定义了感受野的大小和扩张，其中r为:

{(-1,-1),(-1,0)........(0,1),(1,1)}

(4)

卷积神经网络的卷积在输入的每个位置p0,通过下列式子进行计算：

其中pn是对r中所列位置的枚举，fl为当前层输入，fl+1为卷积结果后的输出结果，fl(p0)为当前层卷积位置，fl+1(p0)为当次卷积结果后的输出值，w(pn)为当次卷积权重值，此处n＝9；

如图2所示，所述可变形卷积为在卷积神经网络的卷积中通过增加一个偏移量，从而进行扩张，同样的位置p0变为：

其中p0为卷积神经网络中的卷积的中心坐标，pn为卷积神经网络中的卷积的规则坐标偏移量，p0+pn即为卷积神经网络的卷积的位置表达，δpn为基于可变性卷积的卷积神经网络的自适应学习偏移量，采样的位置从而变成了不规则位置，p0+pn+δpn即为可变形卷积的位置表达；此处引入可变形卷积后，在输入层fl将会增加一个额外的卷积层来学习偏移量，该偏移量的特征图宽高将与输入层的特征图一样，但通道数为2n²的自适应学习偏移层，其中2n²代表n²个二维偏移量，即x，y两个方向上的偏移量，因此偏移层的每一位置就代表了卷积神经网络的卷积核在输入特征图上对应位置的偏移量，此处所说的偏移量即为公式(4)中的δpn；一个可变形卷积残差运算块计算公式为：

其中wl¹(δp¹)，wl²(δp²)分别为第l层的第1个经偏移的卷积权值参数和第2个经偏移的卷积权值参数；和bl²分别是是第l层的第1个和第2个偏置参数；fl和fl-1分别是第l层和l-1层的输出结果；第l-1层的输出结果fl-1是通过跳跃连接的方式与第l层的两次卷积后的结果相加，从而得到第l层的输出结果fl；

步骤s24：反卷积计算阶段：所述反卷积计算由2次反卷积运算、2次激活函数运算和1次卷积神经网络的卷积运算组成，其计算公式是：i^sr＝w3*(lr(w2*(lr(w1*f1+b1))+b2)+b3(6)

其中w1和b1分别是第1层反卷积层的卷积权值参数和偏置参数；w2和b2分别是第2反卷积层的卷积权值参数和偏置参数；w3和b3分别是第3卷积层的卷积权值参数和偏置参数；i^sr是重建的高分辨率图像。

在本实施例中，所述步骤s4具体包括以下步骤：

预设将进行1000次步骤s2周期运算，其中每进行若干个步骤s2周期后，将当前基于可变形卷积的卷积神经网络的卷积权值参数和偏置参数进行保存，同时利用基于此卷积权值参数和偏置参数的基于可变形卷积的卷积神经网络，将预先准备的测试集中所有低分辨率图像重建成高分辨率图像，然后将重建后的高分辨率图像与其对应的真实高分辨率图像进行计算psnr和ssim并记录，其中psnr公式如下：

此处假设给定一个大小为m*n的真实高分辨率图像i和重建后的高分辨图像k,公式中的为图片的最大像素值，mse为均方误差，其定义如下：

ssim公式如下：

其中的x代表在真实高分辨率图像i图片中所取的一个n*n的窗口样本集合，y代表在重建后的高分辨率图像k图片中所取的一个与真实高分辨率图像i对应的n*n的窗口样本集合，m为一张图片所能取的窗口个数，μx为样本x的均值，μy为样本y的均值,δx为样本x的方差，δy为样本y的方差，δxy为样本x,y的协方差，c1＝(0.01l)²和c2＝(0.03l)²为两个常数，l为图像的最大像素值；

当运算完所有计算周期后，选择记录中最优的psnr和ssim，并找到该次记录中所保存的的卷积权值参数和偏置参数，此即为最优的卷积权值参数和偏置参数，

利用该最优的参数加载进基于可变形卷积的卷积神经网络中，当新的低分辨率图像通过该网络后就能够得到重建后的带图像畸变矫正增强的高分辨率图像，即实现图像畸变矫正增强的目的。

如图3-5所示，为了验证本实施例的有效性，采用realsr公开数据库进行实验，该数据库为利用佳能相机的不同焦距镜头所拍摄的真实低清和高清图相对。本实施例得到的重建效果与一些现有技术进行比较，例如双三次插值法(bicubicinterpolation)和srresnet。

本实施例采用峰值信噪比(psnr:peaksignaltonoiseratio)和结构相似性(ssim:structuralsimilarityindex)来衡量视频图像重建性能。

表1本实施例与现有技术对于realsr数据集的psnr和ssim平均值；

从表1中可以看出，在三种不同的缩放比例下，本实施例比现有技术中经典的超分辨率算法的(srresnet)的psnr值和ssim值中分别提高了0.133db、0.099db、0.069db和0.0009、0.0034、0.0017。由此可见，本实施例采用以上技术方案，较其他现有技术相比，获得了更高质量的图像，能够减轻不同焦距镜头拍摄下的真实图像对之间的图像变形问题对超分辨率重建效果的影响，提高图像的超分辨率重建效果。

较佳的，本实施例提出的基于可变形卷积网络的图像畸变增强算法的创新性主要体现在，利用深度残差网络直接从低分辨率的真实低清图像执行卷积神经网络的卷积计算阶段，卷积神经网络的卷积残差块组计算阶段，可变形卷积残差块组计算阶段，逐步利用反卷积和卷积运算的方式重建出高分辨率图像，对于realsr数据集这类采用不同焦距所采取的真实低清高清图像对中，由于镜头畸变，图像对之间存在变形问题，通过使用可变形卷积能够减轻不同焦距镜头拍摄下的真实图像对之间的图像变形问题对超分辨率重建效果的影响，提高图像的超分辨率重建效果。

以上所述仅为本发明的较佳实施例，凡依本发明申请专利范围所做的均等变化与修饰，皆应属本发明的涵盖范围。