基于图像多尺度特征的视差图生成方法及装置与流程

本发明涉及计算机视觉，具体而言，涉及一种基于图像多尺度特征的视差图生成方法及装置。

背景技术：

1、在计算机视觉中，获取场景准确的深度信息至关重要，基于激光雷达的深度感知成本高、不易于部署，基于结构光的三维重建对环境依赖较大，难以广泛应用。立体匹配技术在获取深度信息时具有较高的灵活性以及成本较低，实际的产品中应用得更为广泛，现已经被应用在自动驾驶、人脸识别、三维重建等领域。

2、目前立体匹配算法主要分为深度学习算法和传统算法两大类，传统算法具有较高的计算速度，能够运用在大多数设备上，但仅依靠不同视点之间的视差进行计算，从而精度较低。而各大公开立体匹配算法排行榜上排名靠前的算法几乎都是基于深度学习的方法，相比于传统算法，其精度和速度都有了很大的提升，但其对硬件资源和样本量的依赖非常大。

3、双目立体视觉虽然已存在广泛的实际应用，且学术界和工业界都针对它都有许多有效的算法，但影响立体匹配算法精度的不可控因素仍然很多，如不同物体之间的遮挡、弱纹理区域和视差不连续区域等。如何更加有效的利用图像特征信息提高视差预测的精度是现有技术急需解决的技术问题。

技术实现思路

1、本发明为了解决上述背景技术中的至少一个技术问题，提出了一种基于图像多尺度特征的视差图生成方法及装置。

2、为了实现上述目的，根据本发明的一个方面，提供了一种基于图像多尺度特征的视差图生成方法，该方法包括：

3、将左图像和右图像分别输入到主干特征提取模块，得到所述左图像以及所述右图像各自对应的多尺度特征图；

4、根据所述左图像和所述右图像各自对应的多尺度特征图生成多尺度匹配代价体；

5、对所述多尺度匹配代价体从最小尺度开始逐级向上融合，得到初始匹配代价体；

6、将所述左图像和所述右图像进行通道叠加得到匹配代价体，然后将该匹配代价体输入到平滑特征提取模块中，得到平滑特征图，其中，所述平滑特征提取模块用于提取图像中的底层信息；

7、将所述平滑特征图与所述初始匹配代价体进行融合，得到融合代价体；

8、根据所述融合代价体生成视差图。

9、为了实现上述目的，根据本发明的另一方面，提供了一种基于图像多尺度特征的视差图生成装置，该装置包括：

10、主干特征提取单元，用于将左图像和右图像分别输入到主干特征提取模块，得到所述左图像以及所述右图像各自对应的多尺度特征图，其中，多尺度特征图具体包括：每个尺度各自对应的特征图；

11、多尺度匹配代价体生成单元，用于根据所述左图像和所述右图像各自对应的多尺度特征图生成多尺度匹配代价体；

12、初始匹配代价体生成单元，用于对所述多尺度匹配代价体从最小尺度开始逐级向上融合，得到初始匹配代价体；

13、平滑特征提取单元，用于将所述左图像和所述右图像进行通道叠加得到匹配代价体，然后将该匹配代价体输入到平滑特征提取模块中，得到平滑特征图，其中，所述平滑特征提取模块用于提取图像中的底层信息；

14、融合代价体生成单元，用于将所述平滑特征图与所述初始匹配代价体进行融合，得到融合代价体；

15、视差图生成单元，用于根据所述融合代价体生成视差图。

16、为了实现上述目的，根据本发明的另一方面，还提供了一种计算机设备，包括存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序，所述处理器执行所述计算机程序时实现上述基于图像多尺度特征的视差图生成方法的步骤。

17、为了实现上述目的，根据本发明的另一方面，还提供了一种计算机可读存储介质，其上存储有计算机程序/指令，该计算机程序/指令被处理器执行时实现上述基于图像多尺度特征的视差图生成方法的步骤。

18、为了实现上述目的，根据本发明的另一方面，还提供了一种计算机程序产品，包括计算机程序/指令，该计算机程序/指令被处理器执行时实现上述基于图像多尺度特征的视差图生成方法的步骤。

19、本发明的有益效果为：

20、本发明针对立体匹配算法中弱纹理和特殊结构的区域难以匹配的问题，创新性的提出来多尺度特征提取模块，利用主干特征提取模块提取较多的特征信息，并计算左右特征图形成多尺度的匹配代价体，将深层和浅层的代价体融合以获得丰富的语义信息，通过平滑特征提取模块获得低层结构信息以校正误匹配值，达到平滑视差的效果，由此以达到较高的匹配精度，产生更为精细的视差图。

技术特征：

1.一种基于图像多尺度特征的视差图生成方法，其特征在于，包括：

2.根据权利要求1所述的基于图像多尺度特征的视差图生成方法，其特征在于，所述主干特征提取模块包括：依次连接的多个组合模块；每个所述组合模块包括：残差模块和池化层；每个所述组合模块用于输出一种尺度的特征图。

3.根据权利要求2所述的基于图像多尺度特征的视差图生成方法，其特征在于，所述多个组合模块具体包括：第一组合模块、第二组合模块、第三组合模块和第四组合模块；所述第一组合模块的输入为输入图像，所述输入图像为所述左图像或所述右图像；所述第二组合模块的输入为所述第一组合模块输出的特征图与所述输入图像的融合；所述第三组合模块的输入为所述第二组合模块输出的特征图；所述第四组合模块的输入为所述第三组合模块输出的特征图；所述主干特征提取模块输出的多尺度特征图具体为所述第二组合模块、所述第三组合模块和所述第四组合模块各自输出的不同尺度的特征图。

4.根据权利要求1所述的基于图像多尺度特征的视差图生成方法，其特征在于，所述根据所述左图像和所述右图像各自对应的多尺度特征图生成多尺度匹配代价体，具体包括：

5.根据权利要求1所述的基于图像多尺度特征的视差图生成方法，其特征在于，所述将所述通道叠加图输入到平滑特征提取模块中，得到平滑特征图，具体包括：

6.根据权利要求1所述的基于图像多尺度特征的视差图生成方法，其特征在于，所述将所述平滑特征图与所述初始匹配代价体进行融合，得到融合代价体，具体包括：

7.根据权利要求1所述的基于图像多尺度特征的视差图生成方法，其特征在于，所述根据所述融合代价体生成视差图，具体包括：

8.根据权利要求7所述的基于图像多尺度特征的视差图生成方法，其特征在于，所述利用3d卷积对所述融合代价体正则化，具体包括：

9.一种基于图像多尺度特征的视差图生成装置，其特征在于，包括：

10.一种计算机设备，包括存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序，其特征在于，所述处理器执行所述计算机程序时实现权利要求1至8任意一项所述方法的步骤。

11.一种计算机可读存储介质，其上存储有计算机程序/指令，其特征在于，该计算机程序/指令被处理器执行时实现权利要求1至8任意一项所述方法的步骤。

12.一种计算机程序产品，包括计算机程序/指令，其特征在于，该计算机程序/指令被处理器执行时实现权利要求1至8任意一项所述方法的步骤。

技术总结
本发明实施例公开了一种基于图像多尺度特征的视差图生成方法及装置，可用于金融领域或其他技术领域，该方法包括：将左图像和右图像分别输入到主干特征提取模块，得到所述左图像以及所述右图像各自对应的多尺度特征图；根据所述左图像和所述右图像各自对应的多尺度特征图生成多尺度匹配代价体；对所述多尺度匹配代价体从最小尺度开始逐级向上融合，得到初始匹配代价体；将所述左图像和所述右图像进行通道叠加得到匹配代价体，然后将该匹配代价体输入到平滑特征提取模块中，得到平滑特征图；将所述平滑特征图与所述初始匹配代价体进行融合，得到融合代价体；根据所述融合代价体生成视差图。本发明有助于提高视差预测的精度。

技术研发人员：侯本玉
受保护的技术使用者：中国工商银行股份有限公司
技术研发日：
技术公布日：2024/1/13