深度图获取方法、装置、电子设备及存储介质与流程

本技术涉及车辆控制，尤其涉及一种深度图获取方法、装置、电子设备及存储介质。

背景技术：

1、单目深度补全是一项计算机视觉任务，涉及从单个rgb图像，以及给定的稀疏深度真值补全场景的深度。该任务在机器人技术、增强现实、自动驾驶和虚拟现实等领域有几个重要的应用。单目深度补全的应用包括对象跟踪、场景重建和3d建模等等。

2、单目深度补全是自动驾驶系统的关键组成部分，因为它使车辆能够感知环境并根据该感知做出决策。通过准确补全环境中物体的深度，该系统可以确保安全高效的驾驶。同时单目深度预测不需要雷达或者是多视角摄像机，成本最低。在简单任务上有很好的推广价值。

3、目前，常用的单目深度补全方法利用了深度学习模型，例如卷积神经网络(cnn)。与传统的计算机视觉方法相比，这些模型显著提高了深度补全的准确性。一种流行的单目深度补全方法是基于使用cnn预测密集深度图。这些方法通常涉及在rgb-d(深度)图像的大型数据集上训练cnn，并在cnn提取的特征之上用一个像素尺度的深度回归器去回归深度，以学习rgb图像与其对应的深度图之间的关系。这些方法在nyu depth v2和kitti等基准数据集上取得了令人印象深刻的结果。单目深度补全的另一种方法涉及使用空间传播稀疏深度散点，并补全低分辨率的深度，然后利用双线性差值方式上采样深度成为预测深度。

4、现有的cnn密集回归模型因为像素与像素一一对应的关系，相同深度值对应的图像像素映射种类可能千差万别，这点阻碍了密集回归的深度预测收敛性，在训练集特别是在经过数据扩增后的训练集上拟合程度无法达到预期效果。而且，现有涉及空间传播补全低分辨率的深度中心点插值得到深度图的方式在生成的深度图质量无法达到预期效果，同时，伴随比较大边缘毛刺。

技术实现思路

1、本技术实施例提供一种深度图获取方法、装置、电子设备及存储介质，以解决现有技术中经过数据扩增后的训练集上拟合程度无法达到预期效果，且涉及空间传播补全低分辨率的深度中心点插值得到深度图的方式在生成的深度图质量无法达到预期效果，同时，伴随比较大边缘毛刺的问题。

2、为了解决上述技术问题，本技术实施例是这样实现的：

3、第一方面，本技术实施例提供了一种深度图获取方法，所述方法包括：

4、获取目标车辆对应的单目图像和稀疏深度图像；

5、将所述单目图像和所述稀疏深度图像输入至深度图预测模型，所述深度图预测模型包括：特征提取层、特征聚合层和单目引导的降噪层；

6、调用所述特征提取层提取所述单目图像的多个尺度的单目图像特征，及所述稀疏深度图像的稀疏深度图像特征；

7、调用所述特征聚合层对每个尺度的所述单目图像特征分别与所述稀疏深度图像特征进行聚合处理，得到聚合特征图；

8、调用所述单目引导的降噪层对所述聚合特征图进行降噪处理，得到所述目标车辆对应的预测深度图。

9、可选地，所述深度图预测模型还包括：图像切分层和位置嵌入层，

10、在所述调用所述特征提取层提取所述单目图像的多个尺度的单目图像特征，及所述稀疏深度图像的稀疏深度图像特征之前，还包括：

11、调用所述图像切分层对所述单目图像进行切分处理，得到所述单目图像对应的切分图像；

12、调用所述位置嵌入层根据所述切分图像对应的位置信息，生成所述切分图像对应的位置向量，并将所述位置向量嵌入所述切分图像，得到切分图像单元。

13、可选地，所述调用所述特征提取层提取所述单目图像的多个尺度的单目图像特征，包括：

14、调用所述特征提取层提取所述切分图像单元的多个尺度的切分图像特征；

15、根据所述切分图像特征和所述切分图像单元对应的位置向量，得到所述单目图像对应的多个尺度的单目图像特征。

16、可选地，所述特征聚合层包括：自注意力模块和聚合模块，

17、所述调用所述特征聚合层对每个尺度的所述单目图像特征分别与所述稀疏深度图像特征进行聚合处理，得到聚合特征图，包括：

18、调用所述自注意力模块分别对每个尺度的所述单目图像特征进行处理，得到注意力特征；

19、调用所述聚合模块对多个所述注意力特征进行聚合处理，输出所述聚合特征图。

20、可选地，所述单目引导的降噪层包括：单目条件去噪模块和深度图输出模块，

21、所述调用所述单目引导的降噪层对所述聚合特征图进行降噪处理，得到所述目标车辆对应的预测深度图，包括：

22、调用所述单目条件去噪模块根据所述聚合特征图对深度隐变量进行迭代优化处理，得到优化深度隐变量；

23、调用所述深度图输出模块对所述优化深度隐变量和所述聚合特征图进行处理，得到所述预测深度图。

24、第二方面，本技术实施例提供了一种深度图获取装置，所述装置包括：

25、单目图像获取模块，用于获取目标车辆对应的单目图像和稀疏深度图像；

26、单目图像输入模块，用于将所述单目图像和所述稀疏深度图像输入至深度图预测模型，所述深度图预测模型包括：特征提取层、特征聚合层和单目引导的降噪层；

27、特征提取模块，用于调用所述特征提取层提取所述单目图像的多个尺度的单目图像特征，及所述稀疏深度图像的稀疏深度图像特征；

28、聚合特征图获取模块，用于调用所述特征聚合层对每个尺度的所述单目图像特征分别与所述稀疏深度图像特征进行聚合处理，得到聚合特征图；

29、预测深度图获取模块，用于调用所述单目引导的降噪层对所述聚合特征图进行降噪处理，得到所述目标车辆对应的预测深度图。

30、可选地，所述深度图预测模型还包括：图像切分层和位置嵌入层，

31、所述装置还包括：

32、切分图像获取模块，用于调用所述图像切分层对所述单目图像进行切分处理，得到所述单目图像对应的切分图像；

33、切分图像单元获取模块，用于调用所述位置嵌入层根据所述切分图像对应的位置信息，生成所述切分图像对应的位置向量，并将所述位置向量嵌入所述切分图像，得到切分图像单元。

34、可选地，所述特征提取模块包括：

35、切分图像特征提取单元，用于调用所述特征提取层提取所述切分图像单元的多个尺度的切分图像特征；

36、单目图像特征获取单元，用于根据所述切分图像特征和所述切分图像单元对应的位置向量，得到所述单目图像对应的多个尺度的单目图像特征。

37、可选地，所述特征聚合层包括：自注意力模块和聚合模块，

38、所述聚合特征图获取模块包括：

39、注意力特征获取单元，用于调用所述自注意力模块分别对每个尺度的所述单目图像特征进行处理，得到注意力特征；

40、聚合特征图输出单元，用于调用所述聚合模块对多个所述注意力特征进行聚合处理，输出所述聚合特征图。

41、可选地，所述单目引导的降噪层包括：单目条件去噪模块和深度图输出模块，

42、所述预测深度图获取模块包括：

43、优化隐变量获取单元，用于调用所述单目条件去噪模块根据所述聚合特征图对深度隐变量进行迭代优化处理，得到优化深度隐变量；

44、预测深度图获取单元，用于调用所述深度图输出模块对所述优化深度隐变量和所述聚合特征图进行处理，得到所述预测深度图。

45、第三方面，本技术实施例提供了一种电子设备，包括：

46、存储器、处理器及存储在所述存储器上并可在所述处理器上运行的计算机程序，所述计算机程序被所述处理器执行时实现上述任一项所述的深度图获取方法。

47、第四方面，本技术实施例提供了一种可读存储介质，当所述存储介质中的指令由电子设备的处理器执行时，使得电子设备能够执行上述任一项所述的深度图获取方法。

48、在本技术实施例中，通过获取目标车辆对应的单目图像和稀疏深度图像。将单目图像和稀疏深度图像输入至深度图预测模型，深度图预测模型包括：特征提取层、特征聚合层和单目引导的降噪层。调用特征提取层提取单目图像的多个尺度的单目图像特征，及稀疏深度图像的稀疏深度图像特征。调用特征聚合层对每个尺度的单目图像特征分别与稀疏深度图像特征进行聚合处理，得到聚合特征图。调用单目引导的降噪层对聚合特征图进行降噪处理，得到目标车辆对应的预测深度图。本技术实施例将单目深度估计问题重新定义为一个迭代去噪过程，从随机深度分布中生成深度图像，并通过单目视觉条件加上稀疏视觉深度进行进行扩散引导。基于扩散的生成方法可以极大提高生成深度图的质量，有效避免了低分辨率和边缘毛刺问题。

49、上述说明仅是本技术技术方案的概述，为了能够更清楚了解本技术的技术手段，而可依照说明书的内容予以实施，并且为了让本技术的上述和其它目的、特征和优点能够更明显易懂，以下特举本技术的具体实施方式。