光场图像处理方法及装置与流程

本公开涉及图像处理，具体涉及一种光场图像处理方法及装置。

背景技术：

1、光场(light field)可以记录更高维度的光线数据，从而获得比传统二维成像及以双目立体视觉为代表的传统三维成像更高精度的三维信息，光场视频可以准确感知动态环境，使得用户感受到身临其境的观看体验。

2、但是，光场视频的数据量大、处理速度慢，难以实现实时性的光场视频呈现，导致光场视频的应用场景受限。

技术实现思路

1、为提高光场图像的数据处理效率，从而实现实时性的光场视频呈现，本公开实施方式提供了一种光场图像处理方法、装置、电子设备、视频通信系统以及存储介质。

2、第一方面，本公开实施方式提供了一种光场图像处理方法，应用于显示设备，所述方法包括：

3、获取目标视点信息以及由采集设备发送的光场图像组；所述目标视点信息表示所述显示设备的观察者眼睛的位置信息，所述光场图像组包括所述采集设备中每个目标光场相机所采集的光场图像；

4、基于所述目标视点信息对各个光场图像中的前景图像进行视点融合，得到所述目标视点信息所对应的前景视点图像；

5、基于所述目标视点信息以及预先生成的每个视点位置的背景视差图，对各个光场图像中的背景图像进行视点融合，得到所述目标视点信息所对应的背景视点图像；所述视点位置表示与每个目标光场相机相对应的位置；

6、根据所述前景视点图像和所述背景视点图像生成目标光场图像。

7、在一些实施方式中，所述基于所述目标视点信息对各个光场图像中的前景图像进行视点融合，得到所述目标视点信息所对应的前景视点图像，包括：

8、对所述光场图像组中的每个光场图像进行图像分割，得到每个光场图像对应的前景图像；

9、对于任意两个相邻的目标光场相机所对应的第一光场图像和第二光场图像，对所述第一光场图像对应的第一前景图像以及所述第二光场图像对应的第二前景图像进行视差估计，得到所述第一前景图像对应的第一前景视差图以及第二前景图像对应的所述第二前景视差图；

10、基于第一前景视差图对所述第一前景图像进行视差映射得到第一前景映射图，基于第二前景视差图对所述第二前景图像进行视差映射得到第二前景映射图；

11、基于所述目标视点信息对所述第一前景映射图和所述第二前景映射图进行图像融合处理，得到所述前景视点图像。

12、在一些实施方式中，所述对所述光场图像组中的每个光场图像进行图像分割，得到每个光场图像对应的前景图像，包括：

13、对于所述光场图像组中的每个光场图像，基于预先生成的与所述光场图像相同视点位置的预设背景图像，对所述光场图像进行图像差分，得到所述光场图像对应的前景图像和背景图像。

14、在一些实施方式中，所述对所述第一光场图像对应的第一前景图像以及所述第二光场图像对应的第二前景图像进行视差估计，得到所述第一前景图像对应的第一前景视差图以及第二前景图像对应的所述第二前景视差图，包括：

15、基于预设降采样系数对所述第一前景图像进行降采样得到第一降采样图，对所述第二前景图像进行降采样得到第二降采样图；

16、对所述第一降采样图和所述第二降采样图上相同像素的位置进行匹配，得到第一降采样图对应的第一视差图，以及第二降采样图对应的第二视差图；

17、根据所述第一视差图和所述预设降采样系数确定第一视差搜索范围，根据所述第二视差图和所述预设降采样系数确定第二视差搜索范围；

18、基于所述第一视差搜索范围对所述第一前景图像进行视差估计得到所述第一前景视差图，基于所述第二视差搜索范围对所述第二前景图像进行视差估计得到所述第二前景视差图。

19、在一些实施方式中，所述基于第一前景视差图对所述第一前景图像进行视差映射得到第一前景映射图，基于第二前景视差图对所述第二前景图像进行视差映射得到第二前景映射图，包括：

20、根据所述第一前景视差图将所述第一前景图像上的每个像素匹配至映射图上的对应像素位置，得到所述第一前景映射图；根据所述第二前景视差图将所述第二前景图像上的每个像素匹配至映射图上的对应像素位置，得到所述第二前景映射图；

21、所述基于所述目标视点信息对所述第一前景映射图和所述第二前景映射图进行图像融合处理，得到所述前景视点图像，包括：

22、根据所述目标视点信息与所述任意两个相邻的目标光场相机的位置信息，确定第一权值和第二权值；

23、基于所述第一权值和所述第二权值，对所述第一前景映射图和所述第二前景映射图进行图像融合处理，得到所述前景视点图像。

24、在一些实施方式中，所述基于所述目标视点信息以及预先生成的每个视点位置的背景视差图，对各个光场图像中的背景图像进行视点融合，得到所述目标视点信息所对应的背景视点图像；所述视点位置表示与每个目标光场相机相对应的位置，包括：

25、对所述光场图像组中的每个光场图像进行图像分割，得到每个光场图像对应的背景图像；

26、对于任意两个相邻的目标光场相机所对应的第一光场图像和第二光场图像，基于预先生成的与所述第一光场图像相同视点位置的第一背景视差图，对所述第一光场图像的第一背景图像进行视差映射得到第一背景映射图，基于预先生成的与所述第二光场图像相同视点位置的第二背景视差图，对所述第二光场图像的第二背景图像进行视差映射得到第二背景映射图；

27、基于所述目标视点信息对所述第一背景映射图和所述第二背景映射图进行图像融合处理，得到所述背景视点图像。

28、在一些实施方式中，所述获取目标视点信息，包括：

29、通过设于所述显示设备上的图像采集装置采集场景图像；

30、根据所述场景图像进行图像检测，得到场景图像中观察者眼睛的位置信息；

31、基于所述位置信息生成所述目标视点信息。

32、在一些实施方式中，获取由采集设备发送的光场图像组的过程，包括：

33、将所述目标视点信息发送至所述采集设备，以使所述采集设备根据所述目标视点信息从多个光场相机中确定一个或多个所述目标光场相机；

34、接收所述采集设备发送的所述光场图像组。

35、在一些实施方式中，本公开所述的光场图像处理方法，还包括：

36、接收所述采集设备发送的每个视点位置的背景视差图并存储。

37、第二方面，本公开实施方式提供了一种光场图像处理方法，应用于采集设备，所述方法包括：

38、通过设于所述采集设备上的多个光场相机分别采集当前场景图像，得到每个光场相机对应的视点位置的场景图像；

39、对于任意相邻的两个光场相机，根据两个光场相机分别采集的场景图像，生成每个光场相机的视点位置的背景视差图；

40、将每个视点位置的背景视差图发送至显示设备，以使所述显示设备存储每个视点位置的背景视差图。

41、在一些实施方式中，本公开所述的光场图像处理方法，还包括：

42、接收所述显示设备发送的目标视点信息；

43、根据所述目标视点信息，从所述采集设备包括的多个光场相机中确定一个或多个目标光场相机；

44、通过所述目标光场相机采集光场图像得到光场图像组，并将所述光场图像组发送至所述显示设备。

45、第三方面，本公开实施方式提供了一种光场图像处理装置，应用于显示设备，所述装置包括：

46、获取模块，被配置为获取目标视点信息以及由采集设备发送的光场图像组；所述目标视点信息表示所述显示设备的观察者眼睛的位置信息，所述光场图像组包括所述采集设备中每个目标光场相机所采集的光场图像；

47、前景融合模块，被配置为基于所述目标视点信息对各个光场图像中的前景图像进行视点融合，得到所述目标视点信息所对应的前景视点图像；

48、背景融合模块，被配置为基于所述目标视点信息以及预先生成的每个视点位置的背景视差图，对各个光场图像中的背景图像进行视点融合，得到所述目标视点信息所对应的背景视点图像；所述视点位置表示与每个目标光场相机相对应的位置；

49、图像合成模块，被配置为根据所述前景视点图像和所述背景视点图像生成目标光场图像。

50、在一些实施方式中，所述前景融合模块被配置为：

51、对所述光场图像组中的每个光场图像进行图像分割，得到每个光场图像对应的前景图像；

52、对于任意两个相邻的目标光场相机所对应的第一光场图像和第二光场图像，对所述第一光场图像对应的第一前景图像以及所述第二光场图像对应的第二前景图像进行视差估计，得到所述第一前景图像对应的第一前景视差图以及第二前景图像对应的所述第二前景视差图；

53、基于第一前景视差图对所述第一前景图像进行视差映射得到第一前景映射图，基于第二前景视差图对所述第二前景图像进行视差映射得到第二前景映射图；

54、基于所述目标视点信息对所述第一前景映射图和所述第二前景映射图进行图像融合处理，得到所述前景视点图像。

55、在一些实施方式中，所述前景融合模块被配置为：

56、对于所述光场图像组中的每个光场图像，基于预先生成的与所述光场图像相同视点位置的预设背景图像，对所述光场图像进行图像差分，得到所述光场图像对应的前景图像和背景图像。

57、在一些实施方式中，所述前景融合模块被配置为：

58、基于预设降采样系数对所述第一前景图像进行降采样得到第一降采样图，对所述第二前景图像进行降采样得到第二降采样图；

59、对所述第一降采样图和所述第二降采样图上相同像素的位置进行匹配，得到第一降采样图对应的第一视差图，以及第二降采样图对应的第二视差图；

60、根据所述第一视差图和所述预设降采样系数确定第一视差搜索范围，根据所述第二视差图和所述预设降采样系数确定第二视差搜索范围；

61、基于所述第一视差搜索范围对所述第一前景图像进行视差估计得到所述第一前景视差图，基于所述第二视差搜索范围对所述第二前景图像进行视差估计得到所述第二前景视差图。

62、在一些实施方式中，所述前景融合模块被配置为：

63、根据所述第一前景视差图将所述第一前景图像上的每个像素匹配至映射图上的对应像素位置，得到所述第一前景映射图；根据所述第二前景视差图将所述第二前景图像上的每个像素匹配至映射图上的对应像素位置，得到所述第二前景映射图；

64、根据所述目标视点信息与所述任意两个相邻的目标光场相机的位置信息，确定第一权值和第二权值；

65、基于所述第一权值和所述第二权值，对所述第一前景映射图和所述第二前景映射图进行图像融合处理，得到所述前景视点图像。

66、在一些实施方式中，所述背景融合模块被配置为：

67、对所述光场图像组中的每个光场图像进行图像分割，得到每个光场图像对应的背景图像；

68、对于任意两个相邻的目标光场相机所对应的第一光场图像和第二光场图像，基于预先生成的与所述第一光场图像相同视点位置的第一背景视差图，对所述第一光场图像的第一背景图像进行视差映射得到第一背景映射图，基于预先生成的与所述第二光场图像相同视点位置的第二背景视差图，对所述第二光场图像的第二背景图像进行视差映射得到第二背景映射图；

69、基于所述目标视点信息对所述第一背景映射图和所述第二背景映射图进行图像融合处理，得到所述背景视点图像。

70、在一些实施方式中，所述获取模块被配置为：

71、通过设于所述显示设备上的图像采集装置采集场景图像；

72、根据所述场景图像进行图像检测，得到场景图像中观察者眼睛的位置信息；

73、基于所述位置信息生成所述目标视点信息。

74、在一些实施方式中，所述获取模块被配置为：

75、将所述目标视点信息发送至所述采集设备，以使所述采集设备根据所述目标视点信息从多个光场相机中确定一个或多个所述目标光场相机；

76、接收所述采集设备发送的所述光场图像组。

77、在一些实施方式中，所述获取模块被配置为：

78、接收所述采集设备发送的每个视点位置的背景视差图并存储。

79、第四方面，本公开实施方式提供了一种光场图像处理装置，应用于采集设备，所述装置包括：

80、图像采集模块，被配置为通过设于所述采集设备上的多个光场相机分别采集当前场景图像，得到每个光场相机对应的视点位置的场景图像；

81、视差确定模块，被配置为对于任意相邻的两个光场相机，根据两个光场相机分别采集的场景图像，生成每个光场相机的视点位置的背景视差图；

82、发送模块，被配置为将每个视点位置的背景视差图发送至显示设备，以使所述显示设备存储每个视点位置的背景视差图。

83、在一些实施方式中，所述发送模块被配置为：

84、接收所述显示设备发送的目标视点信息；

85、根据所述目标视点信息，从所述采集设备包括的多个光场相机中确定一个或多个目标光场相机；

86、通过所述目标光场相机采集光场图像得到光场图像组，并将所述光场图像组发送至所述显示设备。

87、第五方面，本公开实施方式提供了一种电子设备，包括：

88、处理器；和

89、存储器，存储有计算机指令，所述计算机指令用于使所述处理器执行根据第一方面任意实施方式所述的方法，或者执行根据第二方面任意实施方式所述的方法。

90、第六方面，本公开实施方式提供了一种视频通信系统，包括：

91、显示设备，包括图像采集装置和第一控制器，所述第一控制器用于执行根据第一方面任意实施方式所述的方法；

92、采集设备，包括光场相机阵列和第二控制器，所述光场相机阵列包括多个光场相机，所述第二控制器用于执行根据第二方面任意实施方式所述的方法。

93、第七方面，本公开实施方式提供了一种存储介质，存储有计算机指令，所述计算机指令用于使计算机执行根据第一方面任意实施方式所述的方法，或者执行根据第二方面任意实施方式所述的方法。

94、本公开实施方式的光场图像处理方法，包括获取目标试点信息以及由采集设备发送的光场图像组，基于目标视点信息对各个光场图像中的前景图像进行视点融合得到前景视点图像，基于目标视点信息以及预先生成的每个视点位置的背景视点图，对各个光场图像中的背景图像进行视点融合得到背景视点图像，根据前景视点图像和背景视点图像生成目标光场图像。本公开实施方式中，通过前背景分割的方式，预先生成背景图像的视差图，从而无需实时计算针对复杂背景的视差图，大大缩减视点图像合成的数据量，提高图像处理速度和精度，可以实现实时光场视频通信。