一种基于极线分窗口注意力的双目图像超分辨率方法

本发明涉及图像处理技术，具体涉及一种基于极线分窗口注意力的双目图像超分辨率方法。

背景技术：

1、基于深度学习的双目图像超分辨率重建是计算机视觉领域的一个重要研究方向，其核心思想是利用双视角图像中的信息，推断出高分辨率的图像信息。提高低分辨率双目图像质量是计算机视觉领域长期关注的问题，早期的双目图像超分辨率方法利用双目相机等设备获取两幅低分辨率图像，然后将这些图像进行匹配和融合，以得到不同视角的高分辨率图像。双目图像超分辨率重建在3d视觉中的作用在多个学科中得到了越来越多的关注，在图像恢复与增强新趋势超分辨率赛道中，双目图像超分辨率重建任务表现出了优异的结果，证明了双目图像对中包含的双目对应信息可以用于提高图像超分辨率重建性能。

2、然而，低分辨率双目图像存在高频信息缺失和视差变化大的影响，导致双目图像超分辨率重建中融合双目对应信息极具挑战性。具体来说，双目图像超分辨率重建任务存在以下问题：第一，高频特征恢复。在双目图像超分辨率重建中，需要从低分辨率的左右视图中恢复高分辨率的深度图。这个任务涉及到恢复图像深度信息，包括物体的边缘和细节。因此，一个主要的挑战是如何有效地恢复和增强图像的高频特征。第二，左右视图信息融合。双目图像超分辨率重建要求合并来自左右视图的信息，以增加深度估计的准确性。这需要一种有效的信息融合策略，以便将两个视图的信息整合在一起，从而获得更好的深度图。第三，模型参数量大。在双目图像超分辨率重建任务中，通常需要使用深度神经网络模型来学习从低分辨率到高分辨率的映射。由于高分辨率的深度图像具有复杂的结构，为了捕捉这些特征，训练和推理过程需要更多的计算资源。

3、针对上述双目图像超分辨率存在的问题，最近，nafssr利用nafnet提取了图像多尺度特征，passrnet和ipassr利用视差注意力能很好融合视图信息，swinfssr利用残差交叉注意力较好的对齐视图互补信息。虽然现有技术得到了实质性的进展，但高频特征恢复中特征的长依赖关系和局部信息的关注问题没有得到平衡，其次，视差注意力机制用于互补信息融合时，没有重点关注到互补像素沿极线范围内的上下偏移问题。因此，设计一个既高效又轻量的双目图像超分辨率重建模型具有重要研究意义。

技术实现思路

1、本发明的目的在于解决双目图像超分辨率重建中的高频特征恢复与双目互补信息融合的问题，提供一种基于极线分窗口注意力的双目图像超分辨率方法，根据输入同一场景下左右视角的两幅低分辨率图像，通过深度学习网络同时重建出左右视角的两幅高分辨率图像。

2、为了实现上述目的，本发明提供一种基于极线分窗口注意力的双目图像超分辨率方法，主要包括以下七个部分：第一部分是对双目图像数据集进行预处理；第二部分是对左右目低分辨率图像进行浅层特征提取；第三部分是对提取了浅层特征后的左右目图像进行深层特征提取；第四部分是对提取了深层特征后的左右目特征图采用极线分窗口注意力进行对齐操作；第五部分是迭代第三部分到第四部分的操作，并将所有第四部分的输出特征再次进行融合操作；第六部分是对左右目图像进行超分辨率重建；第七部分是基于极线分窗口注意力的双目图像超分辨率网络模型的训练与测试，最终得到重建后的高分辨率左右视图，具体为：

3、第一部分包括两个步骤：

4、步骤1，下载双目公开数据集flickr1024和middlebury，选取860组双目图像对作为训练集中的高分辨率图像样本，然后将双目高分辨率图像对经过双三次插值降采样后得到训练集中的低分辨率图像样本；

5、步骤2，将高分辨率与低分辨率图像样本裁剪成一一对应的图像块，其中，低分辨率样本尺寸为30×90，放大四倍的高分辨率样本尺寸为120×360，对裁剪后的高低分辨率图像块经旋转，平移，遮挡，通道顺序变换操作，增强训练集样本，避免过拟合，形成最终的训练集样本；

6、第二部分包括一个步骤：

7、步骤3，将步骤2中的低分辨率训练集样本经过共享权值的3×3卷积层处理，使图像从rgb通道的低维空间映射到94通道的高维空间，初步得到左右图的浅层特征l1和r1；

8、第三部分包括一个步骤：

9、步骤4，将步骤3得到的左右图的浅层特征l1和r1作为输入，采用残差swintransformer特征蒸馏与增强模块rstfb提取图像丰富的语义特征，得到图像深层特征l2.1和r2.1；

10、第四部分包括一个步骤：

11、步骤5，将步骤4得到的深层特征l2.1和r2.1作为输入，采用极线窗口注意力ewa进行左右目特征对齐操作，得到对齐后的特征l3.1和r3.1；

12、第五部分包括两个步骤：

13、步骤6，将步骤5的输出作为步骤4的输入，依次迭代步骤4和步骤5，迭代次数为7次，得到步骤4输出的中间特征l2.n和r2.n，和步骤5输出的中间特征l3.n和r3.n，其中，n=2,3,4,5,6,7,8；

14、步骤7，将步骤5中对齐后的双目特征l3.1和r3.1，和经过步骤6后步骤5输出的中间特征l3.n和r3.n采用残差极线窗口注意力rewa再融合操作得到融合后特征图l4和r4，加强视差图特征的表达能力；

15、第六部分包括一个步骤：

16、步骤8，利用亚像素反卷积层将步骤7中融合后特征图l4和r4映射到rgb空间得到特征图l5和r5；

17、步骤9，对输入的低分辨率左视图和右视图分别进行双三次上采样后得到上采样特征图l6和r6，将l6与步骤8中的l5采用矩阵加法的形式进行残差操作重建出高分辨率左视图，同时，将r6与步骤8中的r5采用矩阵加法的形式进行残差操作重建出高分辨率右视图；

18、第七部分包括两个步骤：

19、步骤10，将步骤2中的训练集样本输入从步骤3到步骤9的网络中，设置网络超参数：学习率为2e-4，epochs为60，batch size为8，优化器为adam，损失函数为mse，训练网络得到最终的双目图像超分辨率预训练模型；

20、步骤11，将公共测试集和实际存在的低分辨率双目图像输入步骤10得到的预训练模型中，网络可同时重建出超分辨率双目图像。

21、本发明给出一种基于极线分窗口注意力的双目图像超分辨率方法。首先，在特征提取上，为解决图像感知和局部信息关注问题，设计混合特征提取器rstfb提取网络多尺度特征，rstfb由基于移位和非移位窗口多头自注意机制和特征蒸馏与增强模块fdeb组成，这种结合可有效捕获图像更具判别性的高频特征；然后，针对双目图像对互补像素偏移的问题，设计极线窗口注意机制ewa，ewa沿着极线方向划分窗口促进移位像素的匹配高效性，即使在像素平滑区域，也可以利用窗口中相邻像素作为参考实现更精确的像素匹配；最后，设计残差极线窗口注意力机制rewa，对所有ewa融合后得到的视差图进行再次融合，并通过亚像素卷积同时重建出超分辨率双目图像。本发明利用混合特征提取器rstfb提取双目图像丰富的语义特征，rstfb通过结合基于transformer和基于卷积神经网络的优势，建立图像间的长依赖关系；本发明通过沿极线方向划分窗口实现双目图像对齐操作，使网络更加关注图像高频特征，以较少的参数量实现优异的超分辨率性能，恢复图像更具判别性的特征，网络具有较好的鲁棒性。