对双目图像进行任意尺度缩放的方法、模型训练方法

本公开涉及图像处理，尤其涉及一种对双目图像进行任意尺度缩放的方法、模型训练方法、装置、设备、介质和程序产品。

背景技术：

1、在内窥镜辅助外科手术中，通常希望电子内窥镜在拥有更小的外镜尺寸的同时，有更好的图像显示效果，但是这两点往往很难同时满足。虽然较小的外镜尺寸可以带来内窥镜的舒适化，但受限于微小光学镜片加工行业和微小光电元器件的发展，如何在有限的空间内实现最佳的图像效果成为电子内窥镜图像显示的一个难点。

2、另外在远程手术中，为了节约视频数据存储和传输成本，需要对视频数据进行压缩，对视频数据进行压缩也很大的影响了图像质量。因此，相关技术，通常通过对内窥镜图像进行超分辨率处理来提高图像的显示效果。

3、但传统的超分辨率处理方法通常仅针对单幅图像进行超分辨力处理，得到的超分辨率图像的质量不能满足实际应用的需求。且传统的超分辨率方法都是根据固定的缩放因子放大图片，在实际的内窥镜辅助外科手术中使用非常不方便，而且绝大多数算法将不同的缩放因子作为不同的任务进行训练，也增大了算法部署的难度和成本。

技术实现思路

1、鉴于上述问题，本公开提供了一种对双目图像进行任意尺度缩放的方法、模型训练方法、装置、设备、介质和程序产品。

2、根据本公开的第一个方面，提供了一种对双目图像进行任意尺度缩放的方法，包括：

3、利用相同的浅层特征提取模块分别对左图和右图进行浅层特征提取，得到与上述左图对应的左图浅层特征和与上述右图对应的右图浅层特征；

4、利用注意力融合模块对上述左图浅层特征和上述右图浅层特征进行融合，得到第一中层融合特征和第二中层融合特征，其中，上述第一融合特征表征将上述右图浅层特征融合到上述左图浅层特征得到的融合特征，上述第二融合特征表征将上述左图浅层特征融合到上述右图浅层特征得到的融合特征；

5、利用相同的高效自注意力模块分别对上述第一中层融合特征和上述第二中层融合特征进行深层特征提取，得到与上述第一中层融合特征对应的第一深层特征和与上述第二中层特征对应的第二深层特征；

6、根据缩放尺度，利用相同的任意重建尺度重建模块分别对上述第一深层特征和上述第二深层特征进行高分辨率图像重建，得到与上述第一深层特征对应的高分辨率左目图像和与上述第二深层特征对应的高分辨率右目图像，其中，上述任意重建尺度重建模块包括训练好的权重矩阵，上述训练好的权重矩阵是根据像素偏移量和上述缩放尺度训练得到的，上述像素偏移量表征低分辨率图像样本与高分辨率图像样本对应的像素位置之间的偏差。

7、本公开的第二方面提供了一种对双目图像进行任意尺度缩放的模型进行训练的方法，包括：

8、利用相同的浅层特征提取模块分别对左图样本和右图样本进行浅层特征提取，得到与上述左图样本对应的左图浅层特征和与上述右图样本对应的右图浅层特征；

9、利用注意力融合模块对上述左图浅层特征和上述右图浅层特征进行融合，得到第一中层融合特征和第二中层融合特征，其中，上述第一融合特征表征将上述右图浅层特征融合到上述左图浅层特征得到的融合特征，上述第二融合特征表征将上述左图浅层特征融合到上述右图浅层特征得到的融合特征；

10、利用相同的高效自注意力模块分别对上述第一中层融合特征和上述第二中层融合特征进行深层特征提取，得到与上述第一中层融合特征对应的第一深层特征和与上述第二中层特征对应的第二深层特征；

11、针对上述第一深层特征和上述第二深层特征中的每个深层特征，将像素偏移量和缩放尺度输入任意重建尺度重建模块，得到权重矩阵，其中，上述像素偏移量表征低分辨率图像样本与高分辨率图像样本对应的像素位置之间的偏差；

12、将上述深层特征输入任意重建尺度重建模块，将上述深层特征与上述权重矩阵相乘，得到与上述第一深层特征对应的高分辨率左目图像和与上述第二深层特征对应的高分辨率右目图像；

13、根据上述高分辨率左目图像和上述高分辨率右目图像对上述模型的模型参数进行更新。

14、本公开的第三方面提供了一种对双目图像进行任意尺度缩放的装置，包括：

15、第一特征提取模块，用于利用相同的浅层特征提取模块分别对左图和右图进行浅层特征提取，得到与上述左图对应的左图浅层特征和与上述右图对应的右图浅层特征；

16、融合模块，用于利用注意力融合模块对上述左图浅层特征和上述右图浅层特征进行融合，得到第一中层融合特征和第二中层融合特征，其中，上述第一融合特征表征将上述右图浅层特征融合到上述左图浅层特征得到的融合特征，上述第二融合特征表征将上述左图浅层特征融合到上述右图浅层特征得到的融合特征；

17、第二特征提取模块，用于利用相同的高效自注意力模块分别对上述第一中层融合特征和上述第二中层融合特征进行深层特征提取，得到与上述第一中层融合特征对应的第一深层特征和与上述第二中层特征对应的第二深层特征；

18、重建模块，用于根据缩放尺度，利用相同的任意重建尺度重建模块分别对上述第一深层特征和上述第二深层特征进行高分辨率图像重建，得到与上述第一深层特征对应的高分辨率左目图像和与上述第二深层特征对应的高分辨率右目图像，其中，上述任意重建尺度重建模块包括训练好的权重矩阵，上述训练好的权重矩阵是根据像素偏移量和上述缩放尺度训练得到的，上述像素偏移量表征低分辨率图像样本与高分辨率图像样本对应的像素位置之间的偏差。

19、本公开的第四方面提供了一种对双目图像进行任意尺度缩放的模型进行训练的装置，包括：

20、第一得到模块，用于利用相同的浅层特征提取模块分别对左图样本和右图样本进行浅层特征提取，得到与上述左图样本对应的左图浅层特征和与上述右图样本对应的右图浅层特征；

21、第二得到模块，用于利用注意力融合模块对上述左图浅层特征和上述右图浅层特征进行融合，得到第一中层融合特征和第二中层融合特征，其中，上述第一融合特征表征将上述右图浅层特征融合到上述左图浅层特征得到的融合特征，上述第二融合特征表征将上述左图浅层特征融合到上述右图浅层特征得到的融合特征；

22、第三得到模块，用于利用相同的高效自注意力模块分别对上述第一中层融合特征和上述第二中层融合特征进行深层特征提取，得到与上述第一中层融合特征对应的第一深层特征和与上述第二中层特征对应的第二深层特征；

23、第四得到模块，用于针对上述第一深层特征和上述第二深层特征中的每个深层特征，将像素偏移量和缩放尺度输入任意重建尺度重建模块，得到权重矩阵，其中，上述像素偏移量表征低分辨率图像样本与高分辨率图像样本对应的像素位置之间的偏差；

24、第五得到模块，用于将上述深层特征输入任意重建尺度重建模块，将上述深层特征与上述权重矩阵相乘，得到与上述第一深层特征对应的高分辨率左目图像和与上述第二深层特征对应的高分辨率右目图像；

25、更新模块，用于根据上述高分辨率左目图像和上述高分辨率右目图像对上述模型的模型参数进行更新。

26、本公开的第五方面提供了一种电子设备，包括：一个或多个处理器；存储器，用于存储一个或多个程序，其中，当上述一个或多个程序被上述一个或多个处理器执行时，使得一个或多个处理器执行上述方法。

27、本公开的第六方面还提供了一种计算机可读存储介质，其上存储有可执行指令，该指令被处理器执行时使处理器执行上述方法。

28、本公开的第七方面还提供了一种计算机程序产品，包括计算机程序，该计算机程序被处理器执行时实现上述方法。