一种无监督学习遮挡区域的立体匹配方法与流程

本发明涉及计算机视觉，具体涉及一种无监督学习遮挡区域的立体匹配方法及计算机存储介质。

背景技术：

1、立体匹配是计算机视觉领域一个古老的经典基础问题，至今仍是一个热点问题，有广泛的研究。传统的立体匹配算法通常包括以下步骤:图像特征提取、匹配代价计算、代价聚合、视差回归和视差优化。

2、在视差优化步骤中，对非理想遮挡区域的立体匹配是一个尚未完美解决的问题，把右视图翘曲到左视图的过程中，遮挡区域的前景物体会保持不动，导致会看到重复的前景物体副本，这被称为鬼影效应，图1示出了鬼影效应产生的区域，鬼影效应产生的区域会在视差优化过程引入不可靠的信息，网络可能会对左视图中的物体与右视图翘曲后图片中的重复物体进行匹配，造成混淆，对后续视差预测的准确性产生严重的负面影响。

技术实现思路

1、本发明提出的无监督学习遮挡区域的立体匹配方法能够准确地预测遮挡区域并对鬼影效应产生的区域进行有效处理，提升视差预测的准确性。

2、根据第一方面，一种实施例中提供一种无监督学习遮挡区域的立体匹配方法,包括：获取待匹配的左视图和右视图，所述左视图和所述右视图满足预设条件；采用权重共享的沙漏形卷积特征提取器分别对所述左视图和所述右视图进行特征提取，得到多个不同尺度的左特征图和多个不同尺度的右特征图，多个所述左特征图和多个所述右特征图一一对应且对应的所述左特征图和所述右特征图的尺度相同；对于多个不同尺度的所述左特征图和多个不同尺度的所述右特征图，将其中对应的所述左特征图和所述右特征图进行特征相关性操作，构建对应相同尺度的第一代价卷，以得到多个不同尺度的第一代价卷；采用多尺度代价聚合方式分别对每个所述第一代价卷进行代价聚合，得到多个不同尺度的第二代价卷，所述第二代价卷与所述第一代价卷一一对应且对应的所述第二代价卷的尺度与所述第一代价卷的尺度相同；对尺度最大的所述第二代价卷进行视差回归，得到所述左视图和所述右视图的第一视差图；采用视差优化方式对所述第一视差图进行优化，得到所述左视图和所述右视图的第二视差图；根据所述第二视差图，计算得到所述左视图中的物体深度距离；所述视差优化方式，包括：将所述右视图翘曲到所述左视图，得到第一翘曲右图；基于尺度最大的所述第二代价卷，学习所述第一翘曲右图的遮挡区域和所述遮挡区域内正确的填充图像；根据所述第一翘曲右图、所述遮挡区域和所述填充图像，得到第二翘曲右图；根据所述左视图和所述第二翘曲右图，得到重构误差图；根据所述重构误差图，得到残差视差图；根据所述残差视差图和所述第一视差图，得到第二视差图。

3、一些实施例中，所述根据所述第一翘曲右图、所述遮挡区域和所述填充图像，得到第二翘曲右图，包括：根据所述遮挡区域，屏蔽第一翘曲右图中所述遮挡区域的模糊信息；根据所述遮挡区域内正确的填充图像，填充所述遮挡区域。

4、一些实施例中，所述根据所述第一翘曲右图、所述遮挡区域和所述填充图像，得到第二翘曲右图，通过以下方式表示：，其中，为所述第二翘曲右图，为所述遮挡区域，为所述遮挡区域内正确的填充图像，为权重共享的特征提取，为所述右视图，为翘曲操作。

5、一些实施例中，所述根据所述左视图和所述第二翘曲右图，得到重构误差图，通过以下方式表示：，其中，为所述重构误差图，为权重共享的特征提取，为所述左视图，为所述第二翘曲右图。

6、一些实施例中，所述根据所述残差视差图和所述第一视差图，得到第二视差图，通过以下方式表示：，其中，为所述第二视差图，为所述第一视差图，为所述残差视差图。

7、一些实施例中，所述对所述第一视差图优化，以得到所述左视图和所述右视图的第二视差图，还包括：采用非对称可变形卷积对第一翘曲右图进行编码，以抑制所述第一翘曲右图由于翘曲操作而引入的非对称性。

8、一些实施例中，所述对于多个不同尺度的左特征图和多个不同尺度的右特征图，将其中对应的左特征图和右特征图进行特征相关性操作，构建对应相同尺度的第一代价卷，以得到多个不同尺度的第一代价卷，包括：对每个所述右特征图向右移动；将相同尺度的所述左特征图和向右移动后的所述右特征图进行特征相关性操作，以得到多个不同尺度的第一代价卷；所述对每个所述右特征图向右移动的位移量通过以下方式得到：，其中，为所述位移量，，为预设的最大视差搜索偏移量，对应于所述左视图和所述右视图的大小，为尺度大小，s对应于所述左特征图和所述右特征图的尺度大小。

9、一些实施例中，所述多尺度代价聚合方式，包括：分别对每个所述第一代价卷进行同尺度代价聚合，得到多个尺度内聚合代价卷；对所有所述尺度内聚合代价卷进行跨尺度代价聚合，得到多个不同尺度的第二代价卷，其中：每个所述第二代价卷，可通过以下方式表示：，其中，为所述尺度内聚合代价卷，是所述第二代价卷，是实现所有所述尺度内聚合代价卷融合的通用函数，s为尺度大小，s为尺度集合。

10、一些实施例中，所述对尺度最大的所述第二代价卷进行视差回归，得到所述左视图和所述右视图的第一视差图，通过以下计算方式得到：，其中，为所述第一视差图，为预设的视差候选值，与所述位移量的值一致，的数量为，为的对应概率，为回归操作。

11、根据第二方面，一种实施例中提供一种计算机可读存储介质，所述介质上存储有程序，所述程序能够被处理器执行以实现如前述的方法。

12、根据上述实施例的无监督学习遮挡区域的立体匹配方法，采用多尺度代价聚合方式对构建的多个不同尺度的第一代价卷进行代价聚合，可以充分融合所有第一代价卷的信息，更大程度地扩大感受野和获取更丰富的结构信息；基于多尺度代价聚合后的代价卷实现对原始翘曲右图中的遮挡区域和该遮挡区域内正确的填充图像的无监督的学习，再根据学习到的遮挡区域和填充图像对原始翘曲右图进行处理得到新的翘曲右图，能够准确地预测遮挡区域并对鬼影效应产生的区域进行了有效处理，从而输出更清晰的翘曲右图，该立体匹配方法能够应用在不同工业产品上及不同类型的视觉场景下，快速且准确识别出物体深度距离，提高了视差预测的准确性。

技术特征：

1.一种无监督学习遮挡区域的立体匹配方法,其特征在于，包括：

2.如权利要求1所述的方法，其特征在于，所述根据所述第一翘曲右图、所述遮挡区域和所述填充图像，得到第二翘曲右图，包括：

3.如权利要求2所述的方法，其特征在于，所述根据所述第一翘曲右图、所述遮挡区域和所述填充图像，得到第二翘曲右图，通过以下方式表示：，

4.如权利要求3所述的方法，其特征在于，所述根据所述左视图和所述第二翘曲右图，得到重构误差图，通过以下方式表示：

5.如权利要求4所述的方法，其特征在于，所述根据所述残差视差图和所述第一视差图，得到第二视差图，通过以下方式表示：

6.如权利要求1所述的方法，其特征在于，所述对所述第一视差图优化，以得到所述左视图和所述右视图的第二视差图，还包括：采用非对称可变形卷积对第一翘曲右图进行编码，以抑制所述第一翘曲右图由于翘曲操作而引入的非对称性。

7.如权利要求1所述的方法，其特征在于，所述对于多个不同尺度的左特征图和多个不同尺度的右特征图，将其中对应的左特征图和右特征图进行特征相关性操作，构建对应相同尺度的第一代价卷，以得到多个不同尺度的第一代价卷，包括：

8.如权利要求7所述的方法，其特征在于，所述多尺度代价聚合方式，包括：

9.如权利要求8所述的方法，其特征在于，所述对尺度最大的所述第二代价卷进行视差回归，得到所述左视图和所述右视图的第一视差图，通过以下计算方式得到：

10.一种计算机可读存储介质，其特征在于，所述介质上存储有程序，所述程序能够被处理器执行以实现如权利要求1-9中任一项所述的方法。

技术总结
本发明提供一种无监督学习遮挡区域的立体匹配方法，采用多尺度代价聚合方式对构建的多个不同尺度的第一代价卷进行代价聚合，可以充分融合所有第一代价卷的信息，更大程度地扩大感受野和获取更丰富的结构信息；基于多尺度代价聚合后的代价卷实现对原始翘曲右图中的遮挡区域和该遮挡区域内正确的填充图像的无监督的学习，再根据学习到的遮挡区域和填充图像对原始翘曲右图进行处理得到新的翘曲右图，能够准确地预测遮挡区域并对鬼影效应产生的区域进行了有效处理，从而输出更清晰的翘曲右图；该立体匹配方法能够应用在不同工业产品上及不同类型的视觉场景下，快速且准确识别出物体深度距离，提高了视差预测的准确性。

技术研发人员：俞正中,王纬奇,赵思婷,钱刃,赵勇,李福池
受保护的技术使用者：东莞市爱培科技术有限公司
技术研发日：
技术公布日：2024/1/15