一种自适应融合的立体匹配算法的制作方法

本发明涉及立体匹配，具体涉及一种自适应融合的立体匹配算法。

背景技术：

1、立体匹配中的卷积神经网络已经取得了显著的进步，然而，它仍然是难以处理遮挡区域。立体匹配是计算机科学中的一种基本问题在计算机视觉在许多方面都有应用，如机器人，自动驾驶等。立体匹配的目标是在一对经过校正的立体图像之间建立紧密的对应关系。随着深度学习的发展，卷积神经网络已广泛应用于立体匹配中，与传统方法相比，现有的遮挡、重复和反射区域，无法在复杂的无人驾驶的场景中达到准确的匹配效果。

技术实现思路

1、本发明主要解决的技术问题是：提供一种能够在复杂的无人驾驶的场景提高匹配效果准确性的立体匹配算法。

2、根据第一方面，一种实施例中提供一种自适应融合的立体匹配算法，包括：

3、获取双目摄像机拍摄的左视图和右视图；

4、对所述左视图和右视图进行特征提取，以构建第一尺度代价卷和第二尺度代价卷，所述第一尺度代价卷的尺度大于所述第二尺度代价卷的尺度；

5、对所述第一尺度代价卷进行下采样，以生成第一融合分支；对所述第二尺度代价卷进行卷积，以生成维持所述第二尺度代价卷的尺度的第二融合分支；融合所述第一融合分支和第二融合分支，生成初始融合代价卷；

6、对所述初始融合代价卷进行更新，以生成融合代价卷，所述初始融合代价卷的更新包括：

7、对所述初始融合代价卷依次进行上采样和下采样，以更新所述第一融合分支；对所述第二尺度代价卷进行卷积，以维持所述第二融合分支；融合更新后的第一融合分支和所述第二融合分支以对所述初始融合代价卷进行更新；

8、重复所述初始融合代价卷的更新，直至达到所述设定次数，输出所述初始融合代价卷为融合代价卷；

9、根据所述融合代价卷生成稠密视差图，以计算左视图和右视图的视差。

10、一种实施例中，所述第一尺度代价卷包括1/4d，1/4h，1/4w代价卷；所述第二尺度代价卷包括1/16d，1/16h，1/16w代价卷；其中，d表示预设的最大视差值，h表示左视图和右视图的高度，w表示左视图和右视图的宽度。

11、一种实施例中，所述对所述第一尺度代价卷进行下采样，以生成第一融合分支，包括：

12、对所述第一尺度代价卷进行下采样时，所述第一尺度代价卷由1/4d，1/4h，1/4w代价卷变化为1/8d，1/8h，1/8w代价卷，再由1/8d，1/8h，1/8w代价卷变化为1/16d，1/16h，1/16w代价卷；所述第一融合分支包括1/16d，1/16h，1/16w代价卷；其中，d表示预设的最大视差值，h表示左视图和右视图的高度，w表示左视图和右视图的宽度。

13、一种实施例中，所述对所述第二尺度代价卷进行卷积，以生成维持所述第二尺度代价卷的尺度的第二融合分支，包括：

14、利用步长为1的两层3d卷积对所述第二尺度代价卷进行卷积，以生成维持所述第二尺度代价卷的尺度的第二融合分支。

15、一种实施例中，所述融合所述第一融合分支和第二融合分支，生成初始融合代价卷，包括：

16、分别对所述第一融合分支和第二融合分支进行最大池化和平均池化，以对应获取第一融合分支的2d特征和第二融合分支的2d特征；

17、将所述第一融合分支的2d特征和第二融合分支的2d特征输入至2d卷积层，以对应生成第一融合分支的权重图和第二融合分支的权重图；

18、对所述第一融合分支的权重图和第二融合分支的权重图进行求和，以生成初始融合代价卷；所述初始融合代价卷包括1/16d，1/16h，1/16w代价卷；其中，d表示预设的最大视差值，h表示左视图和右视图的高度，w表示左视图和右视图的宽度。

19、一种实施例中，所述对所述初始融合代价卷依次进行上采样和下采样，包括：

20、对所述初始融合代价卷进行上采样时，所述初始融合代价卷由1/16d，1/16h，1/16w代价卷变化为1/8d，1/8h，1/8w代价卷，再由1/8d，1/8h，1/8w代价卷变化为1/4d，1/4h，1/4w代价卷；

21、对所述初始融合代价卷进行下采样时，所述初始融合代价卷由1/4d，1/4h，1/4w代价卷变化为1/8d，1/8h，1/8w代价卷，再由1/8d，1/8h，1/8w代价卷变化为1/16d，1/16h，1/16w代价卷；

22、其中，d表示预设的最大视差值，h表示左视图和右视图的高度，w表示左视图和右视图的宽度。

23、一种实施例中，所述设定次数包括2次。

24、一种实施例中，所述获取双目摄像机拍摄的左视图和右视图，包括：

25、对所述双目摄像机进行相机标定；

26、根据相机标定的结果对双目摄像机拍摄的原始左视图和原始右视图进行匹配，对匹配后的原始左视图和原始右视图进行矫正，以生成所述双目摄像机拍摄的左视图和右视图。

27、一种实施例中，所述对匹配后的原始左视图和原始右视图进行矫正，以生成所述双目摄像机拍摄的左视图和右视图，包括：

28、利用bouguet极线矫正方法对匹配后的原始左视图和原始右视图进行矫正，以生成所述双目摄像机拍摄的左视图和右视图。

29、根据第二方面，一种实施例中提供一种计算机可读存储介质，所述介质上存储有程序，所述程序能够被处理器执行以实现上述的方法。

30、根据上述实施例的自适应融合的立体匹配算法和计算机可读存储介质，该算法先获取双目摄像机的左视图和右视图，然后对左视图和右视图进行特征提取以构建出第一尺度代价卷和第二尺度代价卷，接着对第一尺度代价卷进行下采样，从而生成第一融合分支；对第二尺度代价卷进行卷积以生成维持第二尺度代价卷尺度的第二融合分支。融合第一融合分支和第二融合分支以生成初始融合代价卷，再对初始融合代价卷依次进行上采样和下采样的更新。对初始融合代价卷进行下采样和上采样操作，可以将初始融合代价卷的尺度从大到小，再从小到大地变化，以便更好地捕捉左视图和右视图中的细节信息，还可以提高对左视图和右视图的理解能力和识别准确率。最终将达到更新次数的初始融合代价卷输出为融合代价卷，根据融合代价卷稠密视差图以计算左视图和右视图的视差。本申请通过学习不同尺度的代价卷，对不同尺度代价卷进行融合得到的信息来提高立体匹配算法匹配效果的准确性。

技术特征：

1.一种自适应融合的立体匹配算法，其特征在于，包括：

2.如权利要求1所述的自适应融合的立体匹配算法，其特征在于，所述第一尺度代价卷包括1/4d，1/4h，1/4w代价卷；所述第二尺度代价卷包括1/16d，1/16h，1/16w代价卷；其中，d表示预设的最大视差值，h表示左视图和右视图的高度，w表示左视图和右视图的宽度。

3.如权利要求2所述的自适应融合的立体匹配算法，其特征在于，所述对所述第一尺度代价卷进行下采样，以生成第一融合分支，包括：

4.如权利要求2所述的自适应融合的立体匹配算法，其特征在于，所述对所述第二尺度代价卷进行卷积，以生成维持所述第二尺度代价卷的尺度的第二融合分支，包括：

5.如权利要求2所述的自适应融合的立体匹配算法，其特征在于，所述融合所述第一融合分支和第二融合分支，生成初始融合代价卷，包括：

6.如权利要求5所述的自适应融合的立体匹配算法，其特征在于，所述对所述初始融合代价卷依次进行上采样和下采样，包括：

7.如权利要求1所述的自适应融合的立体匹配算法，其特征在于，所述设定次数包括2次。

8.如权利要求1所述的自适应融合的立体匹配算法，其特征在于，所述获取双目摄像机拍摄的左视图和右视图，包括：

9.如权利要求8所述的自适应融合的立体匹配算法，其特征在于，所述对匹配后的原始左视图和原始右视图进行矫正，以生成所述双目摄像机拍摄的左视图和右视图，包括：

10.一种计算机可读存储介质，其特征在于，所述介质上存储有程序，所述程序能够被处理器执行以实现如权利要求1-9中任一项所述的立体匹配算法。

技术总结
一种自适应融合的立体匹配算法，涉及立体匹配技术领域。该方法包括：获取双目摄像机拍摄的左视图和右视图；对左视图和右视图进行特征提取以构建第一尺度代价卷和第二尺度代价卷；对第一尺度代价卷进行下采样以生成第一融合分支；对第二尺度代价卷进行卷积以生成第二融合分支；融合第一融合分支和第二融合分支，生成初始融合代价卷；对初始融合代价卷依次进行上采样和下采样以更新第一融合分支；对第二尺度代价卷进行卷积以维持第二融合分支；融合第一融合分支和第二融合分支以对初始融合代价卷进行更新；重复初始融合代价卷的更新直至达到设定次数，输出初始融合代价卷为融合代价卷；根据融合代价卷生成稠密视差图以计算左视图和右视图的视差。

技术研发人员：俞正中,李鹏飞,钱刃,丘文峰,赵勇,李福池
受保护的技术使用者：东莞市爱培科技术有限公司
技术研发日：
技术公布日：2024/1/16