图像深度信息确定方法、装置及电子设备与流程

本公开涉及双目相机，尤其涉及一种图像深度信息确定方法、装置、设备、介质及程序产品。

背景技术：

1、在机器人、自动驾驶、slam等应用场景需要获取场景的三维信息，通过摄像头采集到的rgb相片估计图像中各像素的深度值有着较高的应用价值。

2、双目深度估计是基于图像深度估计方法中十分重要的研究方向，由于双目相机的基线距离(两个摄像头之间的距离)已知，可以通过三角测量方式获取到场景中物体的绝对深度。

3、目前，基于双目相机的图像深度信息的计算精度较低。

技术实现思路

1、本公开提供一种图像深度信息确定方法、装置、设备、介质及程序产品，以至少解决现有基于双目相机的图像深度信息的计算精度较低的问题。

2、本公开的技术方案如下：

3、本公开实施例提供一种图像深度信息确定方法，包括：

4、获取第一目标图像和第二目标图像；

5、将所述第一目标图像和所述第二目标图像输入图像视差识别模型中，得到所述第一目标图像的视差；

6、根据所述第一目标图像的视差，确定所述第一目标图像的深度信息。

7、可选地，所述获取第一目标图像和第二目标图像，包括：

8、获取双目相机的第一摄像头拍摄的第一原始图像以及第二摄像头拍摄的第二原始图像；

9、对所述第一原始图像和所述第二原始图像进行极线对齐矫正，得到所述第一目标图像和所述第二目标图像。

10、可选地，所述图像视差识别模型包括：下采样模块，特征融合模块和上采样模块；所述将所述第一目标图像和所述第二目标图像输入图像视差识别模型中，得到所述第一目标图像的视差，包括：

11、在所述图像视差识别模型内部，将所述第一目标图像和所述第二目标图像输入下采样模块，得到图片特征；

12、将所述图片特征输入特征融合模块，得到融合后的视差特征；

13、将所述融合后的视差特征输入所述上采样模块，得到所述第一目标图像的视差。

14、可选地，所述将所述第一目标图像和所述第二目标图像输入下采样模块，得到图片特征，包括：

15、在所述下采样模块内部，对所述第一目标图像和所述第二目标图像分别进行编码操作，得到第一编码特征和第二编码特征；

16、将所述第一编码特征和所述第二编码特征拼接在一起，得到所述图片特征。

17、可选地，所述将所述图片特征输入特征融合模块，得到融合后的视差特征，包括：

18、将所述相机外参输入卷积神经网络进行特征提取，得到外参特征；

19、将所述外参特征和所述图片特征输入所述特征融合模块，得到所述融合后的视差特征。

20、可选地，所述根据所述第一目标图像的视差，确定所述第一目标图像的深度信息，包括：

21、根据所述第一目标图像的视差、相机焦距和双目相机中心距，计算得到所述第一目标图像的深度信息。

22、本公开实施例还提供一种图像深度信息确定装置，包括：

23、获取模块，用于获取第一目标图像和第二目标图像；

24、视差识别模块，用于将所述第一目标图像和所述第二目标图像输入图像视差识别模型中，得到所述第一目标图像的视差；

25、确定模块，用于根据所述第一目标图像的视差，确定所述第一目标图像的深度信息。

26、可选地，所述获取模块在获取第一目标图像和第二目标图像时，用于：

27、获取双目相机的第一摄像头拍摄的第一原始图像以及第二摄像头拍摄的第二原始图像；

28、对所述第一原始图像和所述第二原始图像进行极线对齐矫正，得到所述第一目标图像和所述第二目标图像。

29、可选地，所述图像视差识别模型包括：下采样模块，特征融合模块和上采样模块；所述视差识别模块在将所述第一目标图像和所述第二目标图像输入图像视差识别模型中，得到所述第一目标图像的视差时，用于：

30、在所述图像视差识别模型内部，将所述第一目标图像和所述第二目标图像输入下采样模块，得到图片特征；

31、将所述图片特征输入特征融合模块，得到融合后的视差特征；

32、将所述融合后的视差特征输入所述上采样模块，得到所述第一目标图像的视差。

33、可选地，所述视差识别模块在将所述第一目标图像和所述第二目标图像输入下采样模块，得到图片特征时，用于：

34、在所述下采样模块内部，对所述第一目标图像和所述第二目标图像分别进行编码操作，得到第一编码特征和第二编码特征；

35、将所述第一编码特征和所述第二编码特征拼接在一起，得到所述图片特征。

36、可选地，所述视差识别模块在将所述图片特征输入特征融合模块，得到融合后的视差特征时，用于：

37、将所述相机外参输入卷积神经网络进行特征提取，得到外参特征；

38、将所述外参特征和所述图片特征输入所述特征融合模块，得到所述融合后的视差特征。

39、可选地，所述确定模块在根据所述第一目标图像的视差，确定所述第一目标图像的深度信息时，用于：

40、根据所述第一目标图像的视差、相机焦距和双目相机中心距，计算得到所述第一目标图像的深度信息。

41、本公开实施例还提供一种电子设备，包括：

42、处理器；

43、用于存储所述处理器可执行指令的存储器；

44、其中，所述处理器被配置为执行所述指令，以实现上述的方法中的各步骤。

45、本公开实施例还提供一种计算机可读存储介质，其特征在于，所述计算机指令用于使所述计算机执行上述的方法中的各步骤。

46、本公开实施例还提供一种计算机程序产品，包括计算机程序/指令，其特征在于，所述计算机程序/指令被处理器执行时实现上述的方法中的各步骤。

47、本公开的实施例提供的技术方案至少带来以下有益效果：

48、在本公开的一些实施例中，获取第一目标图像和第二目标图像；将第一目标图像和第二目标图像输入图像视差识别模型中，得到第一目标图像的视差；根据第一目标图像的视差，确定第一目标图像的深度信息，本公开实施例通过图像视差识别模型识别图像的视差，提高视差识别的准确度，进而根据第一目标图像的视差，计算得到第一目标图像的深度信息，提高图像深度信息的计算精度。

49、应当理解的是，以上的一般描述和后文的细节描述仅是示例性和解释性的，并不能限制本公开。

技术特征：

1.一种图像深度信息确定方法，其特征在于，包括：

2.根据权利要求1所述的方法，其特征在于，所述获取第一目标图像和第二目标图像，包括：

3.根据权利要求1所述的方法，其特征在于，所述图像视差识别模型包括：下采样模块，特征融合模块和上采样模块；所述将所述第一目标图像和所述第二目标图像输入图像视差识别模型中，得到所述第一目标图像的视差，包括：

4.根据权利要求3所述的方法，其特征在于，所述将所述第一目标图像和所述第二目标图像输入下采样模块，得到图片特征，包括：

5.根据权利要求3所述的方法，其特征在于，所述将所述图片特征输入特征融合模块，得到融合后的视差特征，包括：

6.根据权利要求1所述的方法，其特征在于，所述根据所述第一目标图像的视差，确定所述第一目标图像的深度信息，包括：

7.一种图像深度信息确定装置，其特征在于，包括：

8.根据权利要求7所述的装置，其特征在于，所述获取模块在获取第一目标图像和第二目标图像时，用于：

9.根据权利要求7所述的装置，其特征在于，所述图像视差识别模型包括：下采样模块，特征融合模块和上采样模块；所述视差识别模块在将所述第一目标图像和所述第二目标图像输入图像视差识别模型中，得到所述第一目标图像的视差时，用于：

10.根据权利要求9所述的装置，其特征在于，所述视差识别模块在将所述第一目标图像和所述第二目标图像输入下采样模块，得到图片特征时，用于：

11.根据权利要求9所述的装置，其特征在于，所述视差识别模块在将所述图片特征输入特征融合模块，得到融合后的视差特征时，用于：

12.根据权利要求7所述的装置，其特征在于，所述确定模块在根据所述第一目标图像的视差，确定所述第一目标图像的深度信息时，用于：

13.一种电子设备，其特征在于，包括：

14.一种计算机可读存储介质，其特征在于，所述计算机指令用于使所述计算机执行权利要求1-6中任一项所述的方法中的各步骤。

15.一种计算机程序产品，包括计算机程序/指令，其特征在于，所述计算机程序/指令被处理器执行时实现权利要求1-6中任一项所述的方法中的各步骤。

技术总结
本公开提供了一种图像深度信息确定方法、装置、设备、介质及程序产品。在本公开的一些实施例中，获取第一目标图像和第二目标图像；将第一目标图像和第二目标图像输入图像视差识别模型中，得到第一目标图像的视差；根据第一目标图像的视差，确定第一目标图像的深度信息，本公开实施例通过图像视差识别模型识别图像的视差，提高视差识别的准确度，进而根据第一目标图像的视差，计算得到第一目标图像的深度信息，提高图像深度信息的计算精度。

技术研发人员：刘建伟
受保护的技术使用者：爱芯元智半导体（上海）有限公司
技术研发日：
技术公布日：2024/1/11