图像深度估计方法、装置、设备及存储介质与流程

本发明涉及深度估计，尤其涉及一种图像深度估计方法、装置、设备及存储介质。

背景技术：

1、现有的主流深度估计或稠密深度恢复的方法主要是通过rgb图像或64线雷达+rgb图像融合进行深度估计。但是现有技术存在的缺陷是：如果仅用rgb图像进行深度恢复，模型往往无法很好的估计出绝对深度且泛化能力有限，从而导致深度估计时的较大误差。基于rgb+多线/单线雷达的方法，通常仅从图像语义的层面在模型结构上进行了相互的补充和引导，不能够充分利用不同数据形态本身的重要特征来提升最终的预测精度，导致预测精度不高。

2、上述内容仅用于辅助理解本发明的技术方案，并不代表承认上述内容是现有技术。

技术实现思路

1、本发明的主要目的在于提供一种图像深度估计方法、装置、设备及存储介质，旨在解决现有技术的深度估计方法的预测精度低的技术问题。

2、为实现上述目的，本发明提供了一种图像深度估计方法，所述图像深度估计方法包括以下步骤：

3、获取待评估对象的彩色图像和单线图像；

4、将所述单线图像输入到第一网络模块中进行特征提取和绝对深度估计，得到单线压缩特征图和绝对深度估计结果；

5、将单线压缩特征图和所述彩色图像输入到第二网络模块进行相对深度估计，得到相对深度估计结果；

6、根据所述相对深度估计结果和绝对深度估计结果确定所述待评估对象对应的输出深度图。

7、可选地，所述第一网络模块的生成方法包括：

8、设定预设数量的连续预设步幅的预设结构，得到目标编码器结构，所述预设结构包括卷积层、归一化和激活层；

9、设定连续预设数量的预设步幅的反卷积层，得到目标解码器结构；

10、根据所述目标编码器结构和所述目标解码器结构构建第一网络模块。

11、可选地，所述将所述单线图像输入到第一网络模块中进行特征提取和绝对深度估计，得到单线压缩特征图和绝对深度估计结果，包括：

12、将所述单线图像输入到第一网络模块的编码器，经过所述第一网络模块的编码器的二次压缩和提取特征图之后得到单线压缩特征图；

13、将所述单线压缩特征图输入所述第一网络模块的解码器，得到绝对深度估计结果。

14、可选地，所述将单线压缩特征图和所述彩色图像输入到第二网络模块进行相对深度估计，得到相对深度估计结果，包括：

15、将所述彩色图像输入到第二网络模块的编码器，经过所述第二网络模块的编码器的尺度压缩和特征提取之后得到彩色压缩特征图；

16、将所述单线压缩特征图和所述彩色压缩特征图进行合并拼接，得到拼接特征图；

17、将所述拼接特征图输入到所述第二网络模块的解码器，得到相对深度估计结果。

18、可选地，所述第二网络模块的生成方法包括：

19、通过轻量级分割网络构建初始第二网络模块；

20、将所述轻量级分割网络的解码器中的上采样模块的上采样方式修改为反卷积方式，得到更新后的上采样模块；

21、根据所述修改后的上采样模块更新所述轻量级分割网络，得到第二网络模块。

22、可选地，所述将所述彩色图像输入到第二网络模块的编码器，经过所述第二网络模块的编码器的尺度压缩和特征提取之后得到彩色压缩特征图之后，还包括：

23、将所述单线图像进行特征映射，得到对应的目标区间内的多个映射元素；

24、将各映射元素与所述彩色压缩特征图进行对位相乘，得到特征图校准信息，并根据所述特征图校准信息更新所述彩色压缩特征图。

25、可选地，所述根据所述相对深度估计结果和绝对深度估计结果确定所述待评估对象对应的输出深度图，包括：

26、将所述相对深度估计结果和所述绝对深度估计结果进行合并拼接，得到压缩拼接特征图；

27、通过通道注意力模块对所述压缩拼接特征图进行加权处理，得到输出深度图。

28、可选地，所述根据所述相对深度估计结果和绝对深度估计结果确定所述待评估对象对应的输出深度图之前，还包括：

29、在所述第一网络模块的解码器后链接目标通道维度的卷积层，以通过第一网络损失函数在所述第一网络模块的解码器输出第一损失数据；

30、在所述第二网络模块的解码器后链接目标通道维度的卷积层，以通过第二网络损失函数在所述第二网络模块的解码器输出第二损失数据；

31、将所述第一损失数据和所述第二损失数据进行合并拼接，并通过融合损失函数得到融合损失数据；

32、将所述第二损失数据和所述融合损失数据分别与所述第一损失数据进行比对，进行所述第一网络模块和所述第二网络模块的优化。

33、此外，为实现上述目的，本发明还提出一种图像深度估计装置，所述图像深度估计装置包括：

34、图像获取模块，用于获取待评估对象的彩色图像和单线图像；

35、单线图像处理模块，用于将所述单线图像输入到第一网络模块中进行特征提取和绝对深度估计，得到单线压缩特征图和绝对深度估计结果；

36、融合图像处理模块，用于将单线压缩特征图和所述彩色图像输入到第二网络模块进行相对深度估计，得到相对深度估计结果；

37、结果输出模块，用于根据所述相对深度估计结果和绝对深度估计结果确定所述待评估对象对应的输出深度图。

38、此外，为实现上述目的，本发明还提出一种图像深度估计设备，所述图像深度估计设备包括：存储器、处理器及存储在所述存储器上并在所述处理器上运行的图像深度估计程序，所述图像深度估计程序配置为实现如上文所述的图像深度估计方法。

39、此外，为实现上述目的，本发明还提出一种存储介质，所述存储介质上存储有图像深度估计程序，所述图像深度估计程序被处理器执行时实现如上文所述的图像深度估计方法。

40、本发明获取待评估对象的彩色图像和单线图像；将所述单线图像输入到第一网络模块中进行特征提取和绝对深度估计，得到单线压缩特征图和绝对深度估计结果；将单线压缩特征图和所述彩色图像输入到第二网络模块进行相对深度估计，得到相对深度估计结果；根据所述相对深度估计结果和绝对深度估计结果确定所述待评估对象对应的输出深度图。通过这种方式，实现了设定两个网络模块，分别针对待评估对象的彩色图像和单线图像进行深度估计的处理以及图像融合之后的深度估计，得到了相对估计结果和绝对估计结果，最终基于相对估计结果和绝对估计结果得到输出深度图，基于不同形态数据的特征进行深度估计，可以有效提升模型进行深度估计的效果，减少深度估计误差并增强深度估计的鲁棒性。

技术特征：

1.一种图像深度估计方法，其特征在于，所述图像深度估计方法包括：

2.如权利要求1所述的方法，其特征在于，所述第一网络模块的生成方法包括：

3.如权利要求1所述的方法，其特征在于，所述将所述单线图像输入到第一网络模块中进行特征提取和绝对深度估计，得到单线压缩特征图和绝对深度估计结果，包括：

4.如权利要求1所述的方法，其特征在于，所述将单线压缩特征图和所述彩色图像输入到第二网络模块进行相对深度估计，得到相对深度估计结果，包括：

5.如权利要求1所述的方法，其特征在于，所述第二网络模块的生成方法包括：

6.如权利要求1所述的方法，其特征在于，所述将所述彩色图像输入到第二网络模块的编码器，经过所述第二网络模块的编码器的尺度压缩和特征提取之后得到彩色压缩特征图之后，还包括：

7.如权利要求1所述的方法，其特征在于，所述根据所述相对深度估计结果和绝对深度估计结果确定所述待评估对象对应的输出深度图，包括：

8.如权利要求1所述的方法，其特征在于，所述根据所述相对深度估计结果和绝对深度估计结果确定所述待评估对象对应的输出深度图之前，还包括：

9.一种图像深度估计设备，其特征在于，所述设备包括：存储器、处理器及存储在所述存储器上并可在所述处理器上运行的图像深度估计程序，所述图像深度估计程序配置为实现如权利要求1至8中任一项所述的图像深度估计方法。

10.一种存储介质，其特征在于，所述存储介质上存储有图像深度估计程序，所述图像深度估计程序被处理器执行时实现如权利要求1至8任一项所述的图像深度估计方法。

技术总结
本发明公开了一种图像深度估计方法、装置、设备及存储介质，属于深度估计技术领域。本发明通过获取待评估对象的彩色图像和单线图像；将所述单线图像输入到第一网络模块中进行特征提取和绝对深度估计，得到单线压缩特征图和绝对深度估计结果；将单线压缩特征图和所述彩色图像输入到第二网络模块进行相对深度估计，得到相对深度估计结果；根据所述相对深度估计结果和绝对深度估计结果确定所述待评估对象对应的输出深度图。通过这种方式，基于不同形态数据的特征进行深度估计，可以有效提升模型进行深度估计的效果，减少深度估计误差并增强深度估计的鲁棒性。

技术研发人员：申啸尘
受保护的技术使用者：深圳市杉川机器人有限公司
技术研发日：
技术公布日：2024/1/15