图像处理方法、装置、电子设备及计算机可读存储介质与流程

本技术涉及计算机图形学，具体而言，本技术涉及一种图像处理方法、装置、电子设备及计算机可读存储介质。

背景技术：

1、三维图像是一种由三个独立的视角所捕捉的图像，是模拟人眼看世界的原理，利用光学折射制作出来，三维图像可以使眼睛感观上看到物体的上下、左右、前后三维关系。与二维图像不同，三维图像可以显示物体的全貌，包括其表面和内部的特征。该技术在工业制造、建筑设计、虚拟现实和游戏等领域得到了广泛应用。

2、在现有技术中，可以采用tof(time of flight，飞行时间)传感器或者结构光传感器对物体的三维图像信息(即深度信息)进行提取，以进行3d建模等应用；但是上述传感器的体积大、功耗高，价格也很贵，存在获取三维图像信息的成本较高的问题。

技术实现思路

1、本技术实施例提供了一种图像处理方法、装置、电子设备及计算机可读存储介质，可以解决现有技术中在获取三维图像信息时，成本较高的问题。所述技术方案如下：

2、根据本技术实施例的一个方面，提供了一种图像处理方法，该方法包括：

3、获取待处理的目标图像；

4、针对目标图像中的每一目标像素点，确定目标像素点对应的参考图像；从参考图像内的参考像素点中筛选得到与目标像素点相匹配的匹配像素点；基于目标像素点和匹配像素点的像素信息确定目标像素点的深度值；其中，参考图像与目标图像的采集目标相同、且位于不同的视差平面；

5、根据各目标像素点的深度值，得到目标图像的深度信息。

6、在一个可能的实现方式中，上述从参考图像内的参考像素点中筛选得到与目标像素点相匹配的匹配像素点，包括：

7、分别确定目标像素点与各参考像素点的匹配代价值；其中，匹配代价值与目标像素点和参考像素点之间的匹配程度相关联；

8、将最小的匹配代价值所对应的参考像素点，作为与目标像素点相匹配的匹配像素点。

9、在一个可能的实现方式中，上述分别确定目标像素点与各参考像素点的匹配代价值，包括：

10、针对每一参考像素点，确定目标像素点与参考像素点在rgb空间的第一差值；并根据目标像素点在目标图像中的第一灰度变化率，和参考像素点在参考图像中的第二灰度变化率，确定目标像素点和参考像素点的灰度变化率的第二差值；

11、基于第一差值和第二差值确定目标像素点与各参考像素点的匹配代价值；其中，匹配代价值与第一差值正相关，匹配代价值与第二差值正相关。

12、在又一个可能的实现方式中，上述参考图像是基于如下方式得到的：

13、基于预设的初始视差值确定初始视差平面；其中，目标像素点位于初始视差平面中；

14、根据初始视差平面中的各候选像素点与目标像素点的目标代价值，对初始视差平面进行至少一次迭代更新操作，直至满足预设迭代终止条件，得到目标视差平面；

15、根据目标图像的大小、以目标像素点为中心，在目标视差平面中截取参考图像。

16、在又一个可能的实现方式中，上述迭代更新操作包括：

17、确定目标像素点的比对像素点所处的比对视差平面；其中，比对像素点包括与目标像素点空间相邻的像素点、目标像素点的同名点、与目标像素点时序相邻的图像帧中的像素点中的至少一项；

18、计算比对视差平面中的各比对像素点与目标像素点的比对代价值；

19、当比对代价值小于目标代价值，基于比对视差平面的参数更新初始视差平面，将更新参数后的初始视差平面作为下一次迭代更新前对应的初始视差平面。

20、在另一个可能的实现方式中，上述初始视差平面中的各候选像素点与目标像素点的目标代价值，是基于如下方式得到的：

21、根据预设的视差值确定目标像素点相对于初始视差平面的同名点；

22、针对初始视差平面中的每一候选像素点，根据第三差值和第四差值计算候选像素点和同名点的候选代价值；基于第三差值确定候选代价值的权重；其中，第三差值是基于候选像素点和同名点在rgb空间的差值信息得到的；第四差值是基于候选像素点和同名点在初始视差平面中的灰度变化率的差值信息得到的；第三差值与权重负相关；

23、将各候选像素点对应的候选代价值加权求和，得到目标代价值。

24、在另一个可能的实现方式中，上述基于目标像素点和匹配像素点的像素信息确定目标像素点的深度值，包括：

25、分别确定目标像素点和匹配像素点的归一化平面坐标；

26、获取世界坐标系到目标像素点对应的相机坐标系的第一投影矩阵，和世界坐标系到匹配像素点对应的相机坐标系的第二投影矩阵；

27、基于归一化平面坐标、第一投影矩阵和第二投影矩阵计算目标像素点的深度值。

28、根据本技术实施例的另一个方面，提供了一种图像处理装置，该装置包括：

29、获取模块，用于获取待处理的目标图像；

30、筛选模块，用于针对目标图像中的每一目标像素点，确定目标像素点对应的参考图像；从参考图像内的参考像素点中筛选得到与目标像素点相匹配的匹配像素点；基于目标像素点和匹配像素点的像素信息确定目标像素点的深度值；其中，参考图像与目标图像的采集目标相同、且位于不同的视差平面；

31、深度模块，用于根据各目标像素点的深度值，得到目标图像的深度信息。

32、在一个可能的实现方式中，上述筛选模块在从参考图像内的参考像素点中筛选得到与目标像素点相匹配的匹配像素点时，用于：

33、分别确定目标像素点与各参考像素点的匹配代价值；其中，匹配代价值与目标像素点和参考像素点之间的匹配程度相关联；

34、将最小的匹配代价值所对应的参考像素点，作为与目标像素点相匹配的匹配像素点。

35、在一个可能的实现方式中，上述筛选模块在分别确定目标像素点与各参考像素点的匹配代价值时，用于：

36、针对每一参考像素点，确定目标像素点与参考像素点在rgb空间的第一差值；并根据目标像素点在目标图像中的第一灰度变化率，和参考像素点在参考图像中的第二灰度变化率，确定目标像素点和参考像素点的灰度变化率的第二差值；

37、基于第一差值和第二差值确定目标像素点与各参考像素点的匹配代价值；其中，匹配代价值与第一差值正相关，匹配代价值与第二差值正相关。

38、在又一个可能的实现方式中，上述参考图像是基于如下方式得到的：

39、基于预设的初始视差值确定初始视差平面；其中，目标像素点位于初始视差平面中；

40、根据初始视差平面中的各候选像素点与目标像素点的目标代价值，对初始视差平面进行至少一次迭代更新操作，直至满足预设迭代终止条件，得到目标视差平面；

41、根据目标图像的大小、以目标像素点为中心，在目标视差平面中截取参考图像。

42、在又一个可能的实现方式中，上述迭代更新操作包括：

43、确定目标像素点的比对像素点所处的比对视差平面；其中，比对像素点包括与目标像素点空间相邻的像素点、目标像素点的同名点、与目标像素点时序相邻的图像帧中的像素点中的至少一项；

44、计算比对视差平面中的各比对像素点与目标像素点的比对代价值；

45、当比对代价值小于目标代价值，基于比对视差平面的参数更新初始视差平面，将更新参数后的初始视差平面作为下一次迭代更新前对应的初始视差平面。

46、在另一个可能的实现方式中，上述初始视差平面中的各候选像素点与目标像素点的目标代价值，是基于如下方式得到的：

47、根据预设的视差值确定目标像素点相对于初始视差平面的同名点；

48、针对初始视差平面中的每一候选像素点，根据第三差值和第四差值计算候选像素点和同名点的候选代价值；基于第三差值确定候选代价值的权重；其中，第三差值是基于候选像素点和同名点在rgb空间的差值信息得到的；第四差值是基于候选像素点和同名点在初始视差平面中的灰度变化率的差值信息得到的；第三差值与权重负相关；

49、将各候选像素点对应的候选代价值加权求和，得到目标代价值。

50、在另一个可能的实现方式中，上述筛选模块在基于目标像素点和匹配像素点的像素信息确定目标像素点的深度值时，用于：

51、分别确定目标像素点和匹配像素点的归一化平面坐标；

52、获取世界坐标系到目标像素点对应的相机坐标系的第一投影矩阵，和世界坐标系到匹配像素点对应的相机坐标系的第二投影矩阵；

53、基于归一化平面坐标、第一投影矩阵和第二投影矩阵计算目标像素点的深度值。

54、根据本技术实施例的另一个方面，提供了一种电子设备，该电子设备包括：存储器、处理器及存储在存储器上的计算机程序，上述处理器执行计算机程序以实现本技术实施例第一方面所示方法的步骤。

55、根据本技术实施例的再一个方面，提供了一种计算机可读存储介质，其上存储有计算机程序，该计算机程序被处理器执行时实现本技术实施例第一方面所示方法的步骤。

56、根据本技术实施例的一个方面，提供了一种计算机程序产品，其包括计算机程序，该计算机程序被处理器执行时实现本技术实施例第一方面所示方法的步骤。

57、本技术实施例提供的技术方案带来的有益效果是：

58、本技术实施例通过确定与目标图像的采集目标相同、且位于不同的视差平面的参考图像，从参考图像内的参考像素点中筛选得到与目标像素点相匹配的匹配像素点，并基于目标像素点和匹配像素点的像素信息确定目标像素点的深度值；进而根据各目标像素点的深度值，得到目标图像的深度信息。本技术实施例通过参考图像中的参考像素点与目标像素点的匹配关系，为每一目标像素点筛选相匹配的匹配像素点，以得到各个目标像素点的深度值。本技术实施例实现了目标物的二维图像信息(目标图像信息)至三维图像信息(深度信息)的转换；区别于现有技术中，基于体积大、功耗高的tof传感器或者结构光传感器获取物体的三维图像信息，本技术实施例通过传统的视觉传感器就可得到三维图像信息，有效降低了三维图像信息的测量成本，提升了用户体验。