深度图像的确定方法、装置和电子设备与流程

本技术涉及图像处理，尤其涉及一种深度图像的确定方法、装置和电子设备。

背景技术：

1、深度图像有助于理解物体与环境之间的几何关系，在即时定位与地图构建(simultaneous localization and mapping，简称slam)、在聚焦、目标检测及辅助盲人感知环境等领域具有重要作用。相关技术中通常基于电子设备中的深度相机来得到对应场景的深度图像。然而，在户外光线条件较差时，深度相机也无法获得可用的深度图，因此，如何以便捷地方式得到一个场景的深度图像是目前亟需解决的技术问题。

技术实现思路

1、本技术旨在至少在一定程度上解决相关技术中的技术问题。

2、根据本技术的第一方面，提供了一种深度图像的确定方法，所述方法包括：获取针对同一个场景的红外图像和可见光图像；根据所述可见光图像，确定所述场景的第一环境光亮度值；通过深度图像生成模型的图像特征提取层对所述红外图像和可见光图像进行特征提取，以得到所述红外图像的第一图像特征和所述可见光图像的第二图像特征；在所述深度图像生成模型的融合层中，基于所述第一环境光亮度值对所述第一图像特征和所述第二图像特征进行融合以得到融合特征；在所述深度图像生成模型的解码层中，基于所述融合特征确定出所述场景的深度图像。

3、在本技术的一个实施例中，所述根据所述可见光图像，确定所述场景的第一环境光亮度值，包括：确定所述可见光图像中各个像素点的亮度值；对所述可见光图像中各个像素点的亮度值进行求平均处理；将求平均处理所得到的亮度平均值作为所述场景的第一环境光亮度值。

4、在本技术的一个实施例中，所述在所述深度图像生成模型的融合层中，基于所述第一环境光亮度值对所述第一图像特征和所述第二图像特征进行融合以得到融合特征，包括：在所述深度图像生成模型的融合层中，根据所述第一环境光亮度值，确定所述第一图像特征对应的第一融合权重和所述第二图像特征对应的第二融合权重；在所述深度图像生成模型的融合层中，对所述第一融合权重与所述第一图像特征的乘积以及所述第二融合权重与所述第二图像特征的乘积进行相加处理，以得到所述融合特征。

5、在本技术的一个实施例中，在所述第一环境光亮度小于预设亮度阈值的情况下，所述第一融合权重大于所述第二融合权重；在所述第一环境光亮度值大于预设亮度阈值的情况下，所述第二融合权重大于所述第一融合权重。

6、在本技术的一个实施例中，所述深度图像生成模型是通过下述方式训练得到的：获取样本场景的第二环境光亮度值、可见光样本图像以及深度样本图像；确定所述可见光样本图像的红外样本图像；将所述第二环境光亮度、所述可见光样本图像和所述红外样本图像作为所述深度图像生成模型的输入，并将所述深度样本图像为所述深度图像生成模型的输出，对所述深度图像生成模型进行训练。

7、在本技术的一个实施例中，所述确定所述可见光样本图像的红外样本图像，包括：根据预先训练好的循环生成对抗网络，对所述可见光样本图像进行转换，以得到所述可见光样本图像的红外样本图像。

8、本技术实施例提供的深度图像的确定方法，获取针对同一个场景的红外图像和可见光图像；根据可见光图像，确定场景的第一环境光亮度值；通过深度图像生成模型的图像特征提取层对红外图像和可见光图像进行特征提取，以得到红外图像的第一图像特征和可见光图像的第二图像特征；在深度图像生成模型的融合层中，基于第一环境光亮度值对第一图像特征和第二图像特征进行融合以得到融合特征；在深度图像生成模型的解码层中，基于融合特征确定出场景的深度图像。由此，通过该场景下的环境光亮度，对该场景下的红外图像和可见光图像两种模态数据进行有效结合，可方便、快捷地生成了该场景所对应的深度图像。

9、根据本技术实施例的第二方面，提供了一种深度图像的确定装置，包括：获取模块，用于获取针对同一个场景的红外图像和可见光图像；第一确定模块，用于根据所述可见光图像，确定所述场景的第一环境光亮度值；特征提取模块，用于通过深度图像生成模型的图像特征提取层对所述红外图像和可见光图像进行特征提取，以得到所述红外图像的第一图像特征和所述可见光图像的第二图像特征；融合模块，用于在所述深度图像生成模型的融合层中，基于所述第一环境光亮度值对所述第一图像特征和所述第二图像特征进行融合以得到融合特征；第二确定模块，用于在所述深度图像生成模型的解码层中，基于所述融合特征确定出所述场景的深度图像。

10、在本技术的一个实施例中，所述第一确定模块，具体用于：确定所述可见光图像中各个像素点的亮度值；对所述可见光图像中各个像素点的亮度值进行求平均处理；将求平均处理所得到的亮度平均值作为所述场景的第一环境光亮度值。

11、在本技术的一个实施例中，所述融合模块，具体用于：在所述深度图像生成模型的融合层中，根据所述第一环境光亮度值，确定所述第一图像特征对应的第一融合权重和所述第二图像特征对应的第二融合权重；在所述深度图像生成模型的融合层中，对所述第一融合权重与所述第一图像特征的乘积以及所述第二融合权重与所述第二图像特征的乘积进行相加处理，以得到所述融合特征。

12、在本技术的一个实施例中，在所述第一环境光亮度小于预设亮度阈值的情况下，所述第一融合权重大于所述第二融合权重；在所述第一环境光亮度值大于预设亮度阈值的情况下，所述第二融合权重大于所述第一融合权重。

13、在本技术的一个实施例中，所述装置还包括：获取模块，用于获取样本场景的第二环境光亮度值、可见光样本图像以及深度样本图像；第三确定模块，用于确定所述可见光样本图像的红外样本图像；训练模块，用于将所述第二环境光亮度、所述可见光样本图像和所述红外样本图像作为所述深度图像生成模型的输入，并将所述深度样本图像为所述深度图像生成模型的输出，对所述深度图像生成模型进行训练。

14、在本技术的一个实施例中，所述第三确定模块，具体用于：根据预先训练好的循环生成对抗网络，对所述可见光样本图像进行转换，以得到所述可见光样本图像的红外样本图像。

15、本技术实施例提供的深度图像的确定装置，获取针对同一个场景的红外图像和可见光图像；根据可见光图像，确定场景的第一环境光亮度值；通过深度图像生成模型的图像特征提取层对红外图像和可见光图像进行特征提取，以得到红外图像的第一图像特征和可见光图像的第二图像特征；在深度图像生成模型的融合层中，基于第一环境光亮度值对第一图像特征和第二图像特征进行融合以得到融合特征；在深度图像生成模型的解码层中，基于融合特征确定出场景的深度图像。由此，通过该场景下的环境光亮度，对该场景下的红外图像和可见光图像两种模态数据进行有效结合，可方便、快捷地生成了该场景所对应的深度图像。

16、根据本技术的第三方面，提供了一种电子设备，包括：存储器；处理器；存储在所述存储器上并可在所述处理器上运行的计算机程序，所述处理器执行所述计算机程序时实现本技术第一方面实施例提出的深度图像的确定方法。

17、根据本技术的第四方面，提供了一种计算机可读存储介质，其上存储有计算机程序，该计算机程序被处理器执行时实现本技术第一方面实施例提出的深度图像的确定方法。

18、根据本技术的第五方面，提供了一种计算机程序产品，包括计算机程序，该计算机程序被处理器执行时实现第一方面实施例提出的深度图像的确定方法。

19、本技术附加的方面和优点将在下面的描述中部分给出，部分将从下面的描述中变得明显，或通过本技术的实践了解到。