一种基于视差注意力机制的双目图像超分辨方法与流程

本发明属于图像处理技术领域，具体涉及一种基于视差注意力机制的双目图像超分辨方法。

背景技术：

视觉作为人类获取信息的最主要途径，对人们认知感受外在世界有着重要的意义。图像作为外在客观世界的真实写照，是视觉信息的重要载体，其清晰度对人们的视觉信息获取有着重要的影响，较低的分辨率会损失大量的图像细节，影响人们对图像信息的获取。

随着相机制造工艺水平的不断提升，图像分辨率大大提高，但在部分应用场景下，当前分辨率水平仍不足以满足应用需求，另外在部分应用场景下，由于受到传输条件、成像环境等的限制，图像的质量仍相对较差。当前来看，在硬件成本、工艺水平等问题的限制下，相机分辨率难以在短期得到大幅提升，同时受分辨率与视场范围的矛盾制约，相机分辨率不可能无限制提升。

近年来随着双摄在手机、自动驾驶等平台的广泛应用，人们可以十分方便地获取同一场景的双目图像。经过图像校正后，双目图像间存在严格的几何位置对应关系，即左视图中任意一个点在右视图中的对应点都在水平极线上，且左视图中点与右视图中对应点间的距离成为视差。视差的大小直接受场景深度影响，景深越浅，视差越大。在实际中，由于场景景深变化较大，双目图像中不同像元的视差变化通常也较大，合理利用双目左右图像间的对应关系能够有效提高超分辨性能。

技术实现要素：

本发明所要解决的技术问题是，针对现有技术不足，提供一种基于视差注意力机制的双目图像超分辨方法，根据输入的低分辨率双目图像(包括一张左视图与一张右视图)，超分辨恢复高分辨率的左视图图像。

为解决上述技术问题，本发明所采用的技术方案是：

一种基于视差注意力机制的双目图像超分辨方法，包括以下步骤：

(s1)建立训练数据集：从网上下载双目彩色图像(包括一张左视图与一张右视图)作为训练样本中的高分辨率图像集；利用双三次插值对高分辨率双目彩色图像进行降采样，得到降采样后的低分辨率双目图像；在得到的高分辨率与低分辨率双目图像中裁剪图像块，得到训练样本。

(s2)设计网络结构：所述网络结构的设计包括以下四个步骤：

(s2.1)进行特征提取。利用共享权值的多层卷积网络分别对输入网络的低分辨率双目图像中的左视图与右视图进行特征提取，得到左视图与右视图特征张量；

(s2.2)计算视差注意图。分别对(s2.1)提取的左视图、右视图特征张量进行卷积操作，得到调和后的左视图、右视图特征张量；对调和后的左视图、右视图特征张量进行批次化矩阵乘，并利用softmax层对批次化矩阵乘的结果进行处理，得到视差注意力图；

(s2.3)进行特征融合。对(s2.1)提取的右视图特征张量进行卷积操作，将卷积得到的特征张量与(s2.2)计算得到的视差注意力图进行批次化矩阵乘；将批次化矩阵乘得到的结果与(s2.1)得到的左视图特征张量进行连接，对连接得到的特征张量进行卷积操作，得到融合后的特征张量；

(s2.4)进行超分辨重建。利用多层卷积网络对(s2.3)融合得到的特征张量进行卷积操作，得到高维特征张量，利用反卷积网层对高维特征张量进行操作，恢复出高分辨率左视图图像；(s2.1)到(s2.4)的全部结构即为本发明所设计的网络结构。

(s3)对网络进行训练：将s1得到的训练样本送入s2设计好的网络中，选择优化器，设置代价函数、网络的学习率等参数，设置最大迭代次数n(例如n＝100)，对网络进行训练，当迭代次数达到最大迭代次数n时，结束训练，得到最终网络模型；

(s4)对网络进行测试：将低分辨率双目测试图像输入(s3)训练好的网络，输出高分辨率左视图图像。

进一步地，本发明在建立数据集后还可以对得到的训练样本进行上下翻转、左右翻转操作，实现对训练样本的数据增强。数据增强可以对训练样本进行扩充，增强网络的泛化能力。

本发明由于采取以上技术方案，与现有技术相比，具有以下优点：

(1)与基于物理模型的双目图像超分辨方法相比，本发明不需要进行双目图像左右视图间的图像块匹配，利用深度卷积网络直接对低分辨率图像到高分辨率图像间的映射关系进行学习，大大提高了方法的速度和效率；

(2)与基于神经网络的双目图像超分辨方法相比，本发明利用视差注意力机制，对双目图像中的视差变化具有更好的鲁棒性，能够对左右视图全局范围内的对应关系进行学习，实现了更好的超分辨效果。

附图说明

图1为本发明中卷积神经网络的结构示意图；

图2为本发明实施例的整体流程图；

图3(a)为本发明实施例中的低分辨率左视图图像；

图3(b)为将图3(a)利用双三次插值超分辨后的效果图；

图3(c)为将图3(a)利用本发明双目图像超分辨方法进行超分辨后的效果图。

具体实施方式

下面结合附图和实施例对本发明进行详细的描述，但本发明要求保护的范围并不局限于实施方式表述的范围。

图1为本发明中卷积神经网络的结构示意图，如图所示，本发明的卷积神经网络可以分为特征提取、视差注意力图计算、特征融合以及超分辨重建4个部分；

本发明的算法流程示意图如图2所示，具体包含以下步骤：

(s1)，建立训练数据集：在网上下载高分辨率双目彩色图像(包括一张左视图与一张右视图)作为训练样本中的高分辨率图像集；利用双三次插值对高分辨率双目彩色图像进行降采样，得到降采样后的低分辨率双目图像；在得到的高分辨率与低分辨率双目图像中裁剪图像块，得到训练样本。

(s2)，设计网络结构：本发明提出的网络模型主要包括4个部分：一是利用共享权值的多层卷积网络分别对输入网络的低分辨率双目图像中的左视图与右视图进行特征提取；二是根据提取的左视图、右视图特征张量计算视差注意力图；三是根据视差注意力图对左视图、右视图特征张量进行融合；四是对融合得到的特征张量进行超分辨重建，恢复出高分辨率左视图图像。具体做法如下：

(s2.1)进行特征提取。利用共享权值的多层卷及网络对输入网络的双目低分辨率图像中的左视图与右视图分别进行特征提取，得到特征张量a、b(尺寸为h*w*64)，具体地：

(s2.1.1)利用一层卷积网络提取输入图像的浅层特征，该卷积层包含64个3*3的滤波器，使用带泄露修正线性单元leakyrelu(leakyrectifiedlinearunit)作为激活函数；

(s2.1.2)利用4个残差模块在提取的浅层特征基础上进一步提取深层特征，每个残差模块包含两个卷积层，每个卷积层包含64个3*3的滤波器，且第一层卷积层后使用了leakyrelu作为激活层函数；

(s2.2)计算视差注意力图。具体包括：

(s2.2.1)利用一个共享权值的残差模块分别对(s2.1)得到的特征张量a、b进行卷积操作，得到特征张量a’、b’，其中残差模块包括2个卷积层，每个卷积层包含64个3*3的滤波器；

(s2.2.2)利用2个卷积层分别对特征张量a’与b’进行卷积操作得到调和后的特征张量q、s，2个卷积层分别包含64个1*1滤波器；

(s2.2.3)对特征张量s进行转置，得到特征张量s’(尺寸为h*64*w)，对特征张量q与s’进行批次化矩阵乘，利用softmax函数层对结果进行处理，得到视差注意力图mb→a(尺寸为h*w*w)；

(s2.3)进行特征融合。利用1个卷积层对(s2.2)中的特征张量b进行卷积操作，得到特征张量r，卷积层包含64个1*1卷积；对(s2.2)计算得到的视差注意力图mb→a与特征张量r进行批次化矩阵乘，得到特征张量o(尺寸为h*w*64)；将特征张量a、特征张量o连接，利用1个卷积层对级联后的特征张量进行特征融合，卷积层包含64个1*1卷积；

(s2.4)进行超分辨重建。利用4个残差模块对(s2.3)融合后的特征张量进行卷积操作，每个残差模块包含两个卷积层，每个卷积层包含64个3*3的滤波器，且第一层卷积层后使用了leakyrelu激活层函数；利用反卷积层对特征张量进行反卷积操作，反卷积层包含64个3*3的滤波器；利用卷积层将特征张量映射到rgb空间，得到最终的输出图像，卷积层包含3个3*3的滤波器。

(s3)，对网络进行训练：将训练样本送入设计好的网络中进行训练，选用adam优化器，设置代价函数为左视图超分辨结果与左视图真实高分辨率图像间的均方误差，设置初始学习率为2*10^-4，最大迭代次数为90epochs，且学习率每隔30epochs下降为之前的一半；

(s4)，对网络进行测试：将低分辨率双目测试图像输入训练好的网络，输出高分辨率左视图图像。

具体地，(s2.2.1)到(s2.2.2)中的每一个卷积层以及残差模块第一个卷积层后都使用了leakyrelu激活层函数。

图3(a)为低分辨率左视图图像，(b)为双三次插值后得到的左视图图像，(c)为利用本方法超分辨后的左视图图像。通过该图中的细节放大部分可以看出，本方法能将分辨率测试纸上三条临近竖线区分开来，更好地恢复了图像中的细节部分。