一种基于图像虚化的图像立体成像方法及相关装置与流程

本发明涉及图像处理，尤其涉及一种基于图像虚化的图像立体成像方法及相关装置。

背景技术：

1、在当代数字图像处理领域，如何增强图像的真实感和深度感是一个重要课题。传统的图像处理方法难以捕捉到图像中的深度信息，从而无法准确模拟景深效果。然而，近年来，深度学习技术的兴起为图像处理带来了新的机会。通过结合深度学习、图像处理和渲染技术，可以实现更逼真、更具深度感的图像展示效果。

2、尽管深度学习在深度估计中取得了重大突破，但在复杂场景下，仍存在深度估计精度不足的问题。特别是对于遮挡、透明物体等情况，现有技术往往难以准确预测深度信息。现有的清晰度调整技术通常是基于简单的模糊操作，难以实现对不同深度层次的精细调整。导致在虚化处理中缺乏灵活性，无法满足特定场景的需求。虽然帧间深度一致性校验能够确保深度信息在动画中的连续性，但在某些情况下，如快速移动的物体或景深跳变的场景中，仍然出现不连续或不自然的效果。

技术实现思路

1、本发明提供了一种基于图像虚化的图像立体成像方法及相关装置，用于提高基于图像虚化的图像立体成像的准确率。

2、本发明第一方面提供了一种基于图像虚化的图像立体成像方法，所述基于图像虚化的图像立体成像方法包括：

3、将预置的多个待处理图像输入预置的深度估计网络进行像素深度分析，得到每个所述待处理图像的像素深度数据；

4、对每个所述待处理图像的像素深度数据进行数据划分，得到训练数据集以及验证数据集，通过所述训练数据集对预置的初始虚化网络模型进行模型训练，并通过所述验证数据集对所述初始虚化网络模型进行参数更新，得到目标虚化网络模型；

5、将每个所述待处理图像的像素深度数据以及多个所述待处理图像输入所述目标虚化网络模型进行图像虚化处理，得到多个目标虚化图像；

6、对每个所述目标虚化图像进行图像景深数据提取，得到每个所述目标虚化图像的景深数据集，通过每个所述目标虚化图像的景深数据集进行图像清晰度调节权重计算，得到每个所述目标虚化图像的清晰度调节权重；

7、通过每个所述目标虚化图像的清晰度调节权重，对每个所述目标虚化图像进行帧间深度一致性校验，当校验通过时，对每个所述目标虚化图像进行图像展示序列生成，得到目标图像展示序列；

8、对所述目标图像展示序列进行基于多个预设深度层次的图像虚化成像，得到目标立体虚化图像，并对所述目标立体虚化图像进行实时渲染，得到目标立体三维展示图像。

9、结合第一方面，在本发明第一方面的第一实施方式中，所述将每个所述待处理图像的像素深度数据以及多个所述待处理图像输入所述目标虚化网络模型进行图像虚化处理，得到多个目标虚化图像，包括：

10、将每个所述待处理图像的像素深度数据输入所述目标虚化网络模型进行像素值缩放范围标定，得到目标像素值缩放范围；

11、基于所述目标像素值缩放范围，将多个所述待处理图像输入所述目标虚化网络模型进行前向传播处理，得到多个初始虚化图像；

12、对多个所述初始虚化图像进行虚化相似性指数计算，得到每个所述初始虚化图像对应的虚化相似性指数；

13、对每个所述初始虚化图像对应的虚化相似性指数进行指数梯度分析，得到指数梯度变化数据；

14、通过预置的梯度下降算法对所述指数梯度变化数据进行图像优化参数计算，得到目标图像优化参数；

15、通过所述目标图像优化参数对多个所述初始虚化图像进行图像虚化调整，得到多个所述目标虚化图像。

16、结合第一方面的第一实施方式，在本发明第一方面的第二实施方式中，所述对多个所述初始虚化图像进行虚化相似性指数计算，得到每个所述初始虚化图像对应的虚化相似性指数，包括：

17、分别对每个所述初始虚化图形进行图像分块处理，得到多个图像块集合；

18、对多个所述图像块集合进行图像参数分析，得到每个所述图像块集合对应的图像指标参数集，其中，所述图像指标参数集包括：亮度、对比度以及结构分量；

19、通过每个所述图像块集合对应的图像指标参数集对多个所述初始虚化图像进行像素绝对差异计算，得到每两个初始虚化图像之间的绝对差异数据；

20、分别对每两个初始虚化图像之间的绝对差异数据进行差异数据属性判别，得到每两个初始虚化图像的差异数据属性；

21、基于每两个初始虚化图像的差异数据属性，分别对每两个初始虚化图像之间的绝对差异数据进行差异数据平均化处理，得到平均绝对差异数值；

22、通过所述平均绝对差异数值对多个所述初始虚化图像进行虚化相似性指数计算，得到每个所述初始虚化图像对应的虚化相似性指数。

23、结合第一方面，在本发明第一方面的第三实施方式中，所述对每个所述目标虚化图像进行图像景深数据提取，得到每个所述目标虚化图像的景深数据集，通过每个所述目标虚化图像的景深数据集进行图像清晰度调节权重计算，得到每个所述目标虚化图像的清晰度调节权重，包括：

24、分别对每个所述目标虚化图像进行深度图构建，得到每个所述目标虚化图像的深度图；

25、分别对每个所述目标虚化图像的深度图进行图像距离信息提取，得到每个所述目标虚化图像的景深数据集；

26、对每个所述目标虚化图像的景深数据集进行归一化处理，得到每个所述目标虚化图像的归一化景深数据集；

27、对每个所述目标虚化图像的归一化景深数据集进行深度区域划分，得到多个深度区域；

28、通过多个所述深度区域对每个所述目标虚化图像进行图像划分，得到第一区域图像集以及第二区域图像集；

29、通过预置的第一权重计算函数，对所述第一区域图像集进行权重图构建，得到第一权重图集合，同时，通过预置的第二权重计算函数，对所述第二区域图像集进行权重图构建，得到第二权重图集合；

30、对所述第一权重图集合以及所述第二权重图集合进行进行图像清晰度调节权重计算，得到每个所述目标虚化图像的清晰度调节权重。

31、结合第一方面，在本发明第一方面的第四实施方式中，所述通过每个所述目标虚化图像的清晰度调节权重，对每个所述目标虚化图像进行帧间深度一致性校验，当校验通过时，对每个所述目标虚化图像进行图像展示序列生成，得到目标图像展示序列，包括：

32、将每个所述目标虚化图像的清晰度调节权重分别与每个所述目标虚化图像进行图像清晰度调整，得到多个待校验虚化图像；

33、对多个所述待校验虚化图像进行图像帧分割，得到多个图像帧；

34、对多个所述图像帧进行排序，得到图像帧序列，并对所述图像帧序列进行相邻帧深度差异计算，得到深度差异数据集；

35、基于预设的深度差异阈值，对所述深度差异数据集进行帧间深度一致性校验；

36、当校验通过时，对每个所述目标虚化图像进行图像展示序列生成，得到目标图像展示序列。

37、结合第一方面的第四实施方式，在本发明第一方面的第五实施方式中，所述当校验通过时，对每个所述目标虚化图像进行图像展示序列生成，得到目标图像展示序列，包括：

38、每个所述目标虚化图像进行展示时间间隔计算，得到目标时间间隔；

39、对多个所述目标虚化图像进行深度顺序分析，得到目标深度顺序；

40、基于所述目标时间间隔，对多个所述目标虚化图像进行时间顺序分析，得到目标时间顺序；

41、对所述目标深度顺序以及所述目标时间顺序进行图像展示顺序融合，得到目标展示顺序；

42、通过所述目标展示顺序对每个所述目标虚化图像进行图像展示序列生成，得到目标图像展示序列。

43、结合第一方面，在本发明第一方面的第六实施方式中，所述对所述目标图像展示序列进行基于多个预设深度层次的图像虚化成像，得到目标立体虚化图像，并对所述目标立体虚化图像进行实时渲染，得到目标立体三维展示图像，包括：

44、基于多个预设深度层次，对所述目标图像展示序列进行焦点距离计算，得到多个目标焦点距离；

45、通过多个所述目标焦点距离对所述目标图像展示序列进行高斯模糊处理，得到目标立体虚化图像；

46、对所述目标立体虚化图像进行渲染帧率计算，得到目标渲染帧率；

47、基于所述目标渲染帧率，对所述目标立体虚化图像进行渲染参数提取，得到渲染参数集合；

48、通过所述渲染参数集合以及所述目标渲染帧率，对所述目标立体虚化图像进行实时渲染，得到所述目标立体三维展示图像。

49、本发明第二方面提供了一种基于图像虚化的图像立体成像装置，所述基于图像虚化的图像立体成像装置包括：输入模块，用于将预置的多个待处理图像输入预置的深度估计网络进行像素深度分析，得到每个所述待处理图像的像素深度数据；

50、划分模块，用于对每个所述待处理图像的像素深度数据进行数据划分，得到训练数据集以及验证数据集，通过所述训练数据集对预置的初始虚化网络模型进行模型训练，并通过所述验证数据集对所述初始虚化网络模型进行参数更新，得到目标虚化网络模型；

51、虚化模块，用于将每个所述待处理图像的像素深度数据以及多个所述待处理图像输入所述目标虚化网络模型进行图像虚化处理，得到多个目标虚化图像；

52、计算模块，用于对每个所述目标虚化图像进行图像景深数据提取，得到每个所述目标虚化图像的景深数据集，通过每个所述目标虚化图像的景深数据集进行图像清晰度调节权重计算，得到每个所述目标虚化图像的清晰度调节权重；

53、校验模块，用于通过每个所述目标虚化图像的清晰度调节权重，对每个所述目标虚化图像进行帧间深度一致性校验，当校验通过时，对每个所述目标虚化图像进行图像展示序列生成，得到目标图像展示序列；

54、成像模块，用于对所述目标图像展示序列进行基于多个预设深度层次的图像虚化成像，得到目标立体虚化图像，并对所述目标立体虚化图像进行实时渲染，得到目标立体三维展示图像。

55、本发明第三方面提供了一种基于图像虚化的图像立体成像设备，包括：存储器和至少一个处理器，所述存储器中存储有指令；所述至少一个处理器调用所述存储器中的所述指令，以使得所述基于图像虚化的图像立体成像设备执行上述的基于图像虚化的图像立体成像方法。

56、本发明的第四方面提供了一种计算机可读存储介质，所述计算机可读存储介质中存储有指令，当其在计算机上运行时，使得计算机执行上述的基于图像虚化的图像立体成像方法。

57、本发明提供的技术方案中，将多个待处理图像输入深度估计网络进行像素深度分析，得到每个待处理图像的像素深度数据；对每个待处理图像的像素深度数据进行数据划分，得到训练数据集以及验证数据集，通过训练数据集对初始虚化网络模型进行模型训练，并通过验证数据集对初始虚化网络模型进行参数更新，得到目标虚化网络模型；将每个待处理图像的像素深度数据以及多个待处理图像输入目标虚化网络模型进行图像虚化处理，得到多个目标虚化图像；对每个目标虚化图像进行图像景深数据提取，得到每个目标虚化图像的景深数据集，通过每个目标虚化图像的景深数据集进行图像清晰度调节权重计算，得到每个目标虚化图像的清晰度调节权重；通过每个目标虚化图像的清晰度调节权重，对每个目标虚化图像进行帧间深度一致性校验，当校验通过时，对每个目标虚化图像进行图像展示序列生成，得到目标图像展示序列；对目标图像展示序列进行基于多个预设深度层次的图像虚化成像，得到目标立体虚化图像，并对目标立体虚化图像进行实时渲染，得到目标立体三维展示图像。在本技术方案中，通过深度估计网络，从图像中获取真实的深度信息，使得虚化处理更加准确，可以模拟出更真实的景深效果，增强图像的深度感。使用目标虚化网络模型，能够针对不同的图像和深度情况进行定制化的虚化处理，使得虚化效果更加逼真、与真实场景相符。根据图像的深度信息，计算出清晰度调节权重，使得近处物体更清晰，远处物体更模糊，增强了图像的立体感和真实感。通过帧间深度一致性校验，确保了展示序列中不同图像的深度信息在播放过程中保持一致，提升了观赏体验。在生成目标立体虚化图像的过程中，基于多个预设深度层次的虚化能够增强图像的立体感，让观众更好地感受深度差异。通过实时渲染，将目标立体虚化图像渲染到显示设备上，可以实现逼真的立体三维展示，为观众带来沉浸式的视觉体验。