深度图像的处理方法、装置、设备及存储介质与流程

本申请实施例涉及人工智能，特别涉及一种深度图像的处理方法、装置、设备及存储介质。

背景技术：

1、深度图像是指将图像采集器采集到的场景中各点的距离(深度)值作为像素值的图像。

2、相关技术中，通过深度估计算法对彩色图像进行处理，得到对应的深度图像，但由于深度图像表征的是场景中全部区域的深度值，在边缘像素占全部图像像素比例较低的情况下，很难从深度图像中确定出准确的边缘深度，因此为了对场景中不同物体的边缘位置进行确认，需要对深度图像中的边缘深度进行更加精准地确认。

技术实现思路

1、本申请实施例提供了一种深度图像的处理方法、装置、设备及存储介质，能够提高对深度图像中深度边缘的优化效率。所述技术方案如下：

2、一方面，本申请实施例提供了一种深度图像的处理方法，所述方法包括：

3、获取彩色图像以及所述彩色图像对应的深度图像；

4、基于所述深度图像中的深度边缘，从所述深度图像中提取第一深度图像块，所述第一深度图像块沿所述深度边缘分布；

5、从所述彩色图像中提取所述第一深度图像块对应的彩色图像块；

6、基于所述第一深度图像块以及所述彩色图像块，对所述第一深度图像块进行边缘细化，得到第二深度图像块，所述第二深度图像块中所述深度边缘的精度高于所述第一深度图像块中所述深度边缘的精度；

7、将所述深度图像中的所述第一深度图像块替换为所述第二深度图像块。

8、另一方面，本申请实施例提供了一种深度图像的处理方法，所述方法包括：

9、获取样本彩色图像以及所述样本彩色图像对应的样本深度图像；

10、基于所述样本深度图像中的深度边缘，从所述样本深度图像中提取第一样本深度图像块，所述第一样本深度图像块沿所述深度边缘分布；

11、从所述样本彩色图像中提取所述第一样本深度图像块对应的样本彩色图像块；

12、基于所述第一样本深度图像块以及所述样本彩色图像块，通过细化网络对所述第一样本深度图像块进行边缘细化，得到第二样本深度图像块；

13、基于所述第二样本深度图像块以及所述第二样本深度图像块对应的参考深度图像块，确定边缘细化损失；

14、基于所述边缘细化损失训练所述细化网络。

15、另一方面，本申请实施例提供了一种深度图像的处理装置，所述装置包括：

16、图像获取模块，用于获取彩色图像以及所述彩色图像对应的深度图像；

17、图像块提取模块，用于基于所述深度图像中的深度边缘，从所述深度图像中提取第一深度图像块，所述第一深度图像块沿所述深度边缘分布；

18、所述图像块提取模块，还用于从所述彩色图像中提取所述第一深度图像块对应的彩色图像块；

19、边缘细化模块，用于基于所述第一深度图像块以及所述彩色图像块，对所述第一深度图像块进行边缘细化，得到第二深度图像块，所述第二深度图像块中所述深度边缘的精度高于所述第一深度图像块中所述深度边缘的精度；

20、图像块替换模块，用于将所述深度图像中的所述第一深度图像块替换为所述第二深度图像块。

21、另一方面，本申请实施例提供了一种深度图像的处理装置，所述装置包括：

22、图像获取模块，用于获取样本彩色图像以及所述样本彩色图像对应的样本深度图像；

23、图像块提取模块，用于基于所述样本深度图像中的深度边缘，从所述样本深度图像中提取第一样本深度图像块，所述第一样本深度图像块沿所述深度边缘分布；

24、所述图像块提取模块，还用于从所述样本彩色图像中提取所述第一样本深度图像块对应的样本彩色图像块；

25、边缘细化模块，用于基于所述第一样本深度图像块以及所述样本彩色图像块，通过细化网络对所述第一样本深度图像块进行边缘细化，得到第二样本深度图像块；

26、损失确定模块，用于基于所述第二样本深度图像块以及所述第二样本深度图像块对应的参考深度图像块，确定边缘细化损失；

27、网络训练模块，用于基于所述边缘细化损失训练所述细化网络。

28、另一方面，本申请实施例提供了一种计算机设备，所述计算机设备包括处理器和存储器，所述存储器中存储有至少一条指令，所述至少一条指令由所述处理器加载并执行以实现如上述方面所述的深度图像的处理方法。

29、另一方面，本申请实施例提供了一种计算机可读存储介质，所述可读存储介质中存储有至少一条指令，所述至少一条指令由处理器加载并执行以实现如上述方面所述的深度图像的处理方法。

30、另一方面，本申请实施例提供了一种计算机程序产品，该计算机程序产品包括计算机指令，该计算机指令存储在计算机可读存储介质中。计算机设备的处理器从计算机可读存储介质读取该计算机指令，处理器执行该计算机指令，使得该计算机设备执行上述方面提供的深度图像的处理方法。

31、本申请实施例中，基于深度图像中的深度边缘，从第一深度图像中提取出第一深度图像块并从彩色图像中对应的提取出彩色图像块，从而基于彩色图像块和第一深度图像块，对第一深度图像块进行边缘细化，得到深度边缘精度高于第一深度图像块的第二深度图像块，进而以第二深度图像块替换深度图像中的第一深度图像块，实现对深度图像中深度边缘的优化，采用本申请实施例提供的方案，通过提取深度图像块的方式对深度边缘进行精准的细化，提高了对深度图像中深度边缘的优化效率，减少了细化深度边缘过程中的计算量。

技术特征：

1.一种深度图像的处理方法，其特征在于，所述方法包括：

2.根据权利要求1所述的方法，其特征在于，所述基于所述第一深度图像块以及所述彩色图像块，对所述第一深度图像块进行边缘细化，得到第二深度图像块，包括：

3.根据权利要求2所述的方法，其特征在于，所述将所述第一深度图像块和所述彩色图像块输入细化网络，得到所述细化网络输出的深度残差，包括：

4.根据权利要求1所述的方法，其特征在于，所述基于所述第一深度图像块以及所述彩色图像块，对所述第一深度图像块进行边缘细化，得到第二深度图像块之前，所述方法还包括：

5.根据权利要求4所述的方法，其特征在于，所述方法还包括：

6.根据权利要求1所述的方法，其特征在于，所述基于所述深度图像中的深度边缘，从所述深度图像中提取第一深度图像块，包括：

7.一种深度图像的处理方法，其特征在于，所述方法包括：

8.根据权利要求7所述的方法，其特征在于，所述基于所述第二样本深度图像块以及所述第二样本深度图像块对应的参考深度图像块，确定边缘细化损失之前，所述方法包括：

9.根据权利要求8所述的方法，其特征在于，所述基于所述第一样本深度图像块以及真值深度图像，生成所述第二样本深度图像块对应的所述参考深度图像块，包括：

10.根据权利要求9所述的方法，其特征在于，所述基于所述边缘掩膜以及所述前后景掩膜，对位于所述深度边缘的像素点进行深度值更新，得到所述参考深度图像块，包括：

11.根据权利要求10所述的方法，其特征在于，所述基于所述前景边缘掩膜所表征前景非边缘区域的前景非边缘深度，更新所述前景边缘掩膜所表征前景边缘区域内像素点的深度值，包括：

12.根据权利要求9所述的方法，其特征在于，所述基于所述第一样本深度图像块生成边缘掩膜，包括：

13.根据权利要求7所述的方法，其特征在于，所述基于所述第一样本深度图像块以及所述样本彩色图像块，通过细化网络对所述第一样本深度图像块进行边缘细化，得到第二样本深度图像块之前，所述方法还包括：

14.根据权利要求7所述的方法，其特征在于，所述基于所述第一样本深度图像块以及所述样本彩色图像块，通过细化网络对所述第一样本深度图像块进行边缘细化，得到第二样本深度图像块，包括：

15.根据权利要求7所述的方法，其特征在于，所述基于所述样本深度图像中的深度边缘，从所述样本深度图像中提取第一样本深度图像块，包括：

16.一种深度图像的处理装置，其特征在于，所述装置包括：

17.一种深度图像的处理装置，其特征在于，所述装置包括：

18.一种计算机设备，其特征在于，所述计算机设备包括处理器和存储器，所述存储器中存储有至少一条指令，所述至少一条指令由所述处理器加载并执行以实现如权利要求1至6任一所述的深度图像的处理方法，或，实现以权利要求7至15任一所述的深度图像的处理方法。

19.一种计算机可读存储介质，其特征在于，所述可读存储介质中存储有至少一条指令，所述至少一条指令由处理器加载并执行以实现如权利要求1至6任一所述的深度图像的处理方法，或，实现以权利要求7至15任一所述的深度图像的处理方法。

20.一种计算机程序产品，其特征在于，所述计算机程序产品包括计算机指令，所述计算机指令存储在计算机可读存储介质中；计算机设备的处理器从所述计算机可读存储介质读取所述计算机指令，所述处理器执行所述计算机指令，使得所述计算机设备执行如权利要求1至6任一所述的深度图像的处理方法，或，实现以权利要求7至15任一所述的深度图像的处理方法。

技术总结
本申请实施例公开了一种深度图像的处理方法、装置、设备及存储介质，属于人工智能技术领域。该方法包括：获取彩色图像以及所述彩色图像对应的深度图像；基于所述深度图像中的深度边缘，从所述深度图像中提取第一深度图像块，所述第一深度图像块沿所述深度边缘分布；从所述彩色图像中提取所述第一深度图像块对应的彩色图像块；基于所述第一深度图像块以及所述彩色图像块，对所述第一深度图像块进行边缘细化，得到第二深度图像块，所述第二深度图像块中所述深度边缘的精度高于所述第一深度图像块中所述深度边缘的精度；将所述深度图像中的所述第一深度图像块替换为所述第二深度图像块。

技术研发人员：邱轲,张晟浩
受保护的技术使用者：腾讯科技（深圳）有限公司
技术研发日：
技术公布日：2024/1/16