图像处理方法、图像处理装置、设备及介质与流程

本技术涉及图像处理，特别是涉及一种图像处理方法、图像处理装置、设备及介质。

背景技术：

1、三维图像因其具有较多的信息而逐渐被应用到多个领域中。然而，随着三维图像的应用的发展，对高质量的三维图像的需求越来越多。

2、例如，在医学领域中，高质量的医学图像拥有更加清晰的病灶信息，更有利于医生对于病情的诊断。又例如，在物体检测领域中，高质量的三维场景图像可以拥有区分度更大的物体信息，从而更有利于对目标物体进行跟踪检测。

3、相关技术中，一般是通过昂贵的设备获取高质量的三维图像，特别是在医学领域中，要获取高质量的三维医学图像不仅需要昂贵的仪器，还提出了对患者的高要求，如需要患者长时间静止不动，使用高剂量的造影剂等，这导致获取成本居高不下的问题。

技术实现思路

1、鉴于上述问题，提出了本技术实施例的一种图像处理方法、图像处理装置、设备及介质，以便克服上述问题或者至少部分地解决上述问题。

2、为了解决上述问题，本技术的第一方面，公开了一种图像处理方法，所述方法包括：

3、从原始三维图像中分解出多个三维分量图像，不同的三维分量图像对应不同的频率；

4、从多个三维分量图像中，获取与指定的目标对象适配的目标三维分量图像；

5、将所述目标三维分量图像输入到所述目标对象对应的图像生成模型，以基于所述目标三维分量图像生成目标三维图像；其中，所述目标三维图像的图像质量高于所述原始三维图像的图像质量，所述图像质量包括以下至少一者：对比度、纹理清晰度；

6、显示所述目标三维图像。

7、可选地，从多个三维分量图像中，获取与指定的目标对象适配的目标三维分量图像，包括：

8、从预设关联表中，确定所述目标对象对应的目标频率范围；其中，所述预设关联表中包括每种对象对应的频率范围；

9、从多个三维分量图像中，确定对应的频率属于所述目标频率范围内的目标三维分量图像。

10、可选地，所述每种对象对应的频率范围的确定，包括：

11、针对每种对象，获取包括该对象的多个初始三维图像；

12、分别对多个所述初始三维图像进行分解，得到每个所述初始三维图像对应的多个第一三维分量图像；

13、分别确定多个所述第一三维分量图像中该种对象的清晰度；

14、从多个所述第一三维分量图像中，确定出符合预设条件的至少一个第二三维分量图像；

15、基于多个第二三维分量图像所对应的频率，确定该种对象对应的频率范围。

16、可选地，所述图像生成模块包括：卷积模块，以及依次串接在所述卷积模块之后的特征增强模块和上采样模块；将所述目标三维分量图像输入到所述目标对象对应的图像生成模型，以基于所述目标三维分量图像生成目标三维图像，包括：

17、通过所述卷积模块对所述目标三维分量图像进行三维特征提取，得到三维特征图；

18、通过所述特征增强模块对所述三维特征图迭代进行多种尺度的三维卷积和融合，得到增强三维特征图；

19、通过所述上采样模块对所述增强三维特征图进行上采样，得到所述目标三维图像。

20、可选地，所述特征增强模块包括多个串接的特征传递层、以及与多个所述特征传递层分别连接的至少一个卷积模块，其中，在每个所述特征传递层与所述卷积模块之间连接三维卷积单元；所述通过所述特征增强模块对所述三维特征图迭代进行多种尺度的三维卷积，并多种尺度的三维卷积得到的卷积特征图进行融合，得到增强三维特征图，包括：

21、将所述三维特征图输入到所述特征传递层，通过所述特征传递层对输入到该特征传递层的所述三维特征图进行三维卷积后，与该特征传递层之前的全部三维特征图进行融合后，输入到下一特征传递层以及所述三维卷积单元；

22、通过所述三维卷积单元对输入的特征进行相应尺度的三维卷积后输入到对应的卷积模块，并通过所述卷积模块对所述三维卷积单元输出的特征进行三维卷积。

23、可选地，所述图像生成模型为对抗网络模型，将所述目标三维分量图像输入到所述目标对象对应的图像生成模型，以基于所述目标三维分量图像生成目标三维图像，包括：

24、将所述目标三维分量图像输入到所述图像生成模型中的生成器，以通过所述生成器生成所述目标三维图像。

25、可选地，所述图像生成模型是通过以下步骤得到的：

26、获取训练样本集，所述训练样本集包括多个三维图像样本，以及每个三维图像样本中分解出的所述目标对象对应的三维分量图像样本；

27、将多个所述三维分量图像样本输入到对抗网络中的生成器，通过所述生成器生成所述三维分量图像样本对应的三维预测图像；

28、通过所述对抗网络中的鉴别器，输出各个所述三维预测图像与对应的三维图像样本之间的质量参数差异；

29、基于所述质量参数差异，对所述对抗网络进行迭代更新，得到所述图像生成模型。

30、可选地，基于所述质量参数差异，对所述对抗网络进行迭代更新，得到所述图像生成模型，包括：

31、基于所述质量参数差异，确定与所述生成器对应的第一损失值，以及与所述鉴别器对应的第二损失值；

32、基于所述第一损失值，对所述生成器的参数进行更新，以及基于所述第二损失值，对所述鉴别器的参数进行更新。

33、可选地，所述方法还包括：

34、基于所述第一损失值和所述第二损失值，确定整体损失值；

35、基于所述整体损失值，对所述鉴别器和所述生成器被更新后的参数进行更新。

36、可选地，所述从原始三维图像中分解出多个三维分量图像，包括：

37、步骤1：基于预设大小的相邻窗口，从所述原始三维图像中确定三维体积的局部极大值和局部极小值；

38、步骤2：通过当前对应的滤波器，基于所述局部极大值和局部极小值，构建所述原始三维图像的平均包络线；

39、步骤3：基于所述平均包络线，从所述原始三维图像中确定出当次对应的三维分量图像，并重复上述步骤1-步骤3，直到分解出的三维分量图像满足第一预设条件；

40、获取结束迭代时得到的多个三维分量图像。

41、可选地，所述基于所述平均包络线，从所述原始三维图像中确定出当次对应的三维分量图像之后，所述方法还包括：

42、对所述当次的三维分量图像进行验证，以确定所述当次的三维分量图像是否满足第二预设条件；

43、若满足，则以去除所述当次的三维分量图像后的三维原始图像为基础，重复上述步骤1-步骤3，直到分解出的三维分量图像满足第一预设条件；

44、若不满足，则以当次对应的三维原始图像为基础，重复所述步骤1和所述步骤3，直到所述当次的三维分量图像满足所述第二预设条件。

45、可选地，对所述当次的三维分量图像进行验证，以确定所述当次的三维分量图像是否满足第二预设条件，包括：

46、获取上一次迭代所确定出的满足所述第二预设条件的上一三维分量图像；

47、基于所述上一三维分量图像、所述当次的三维分量图像，以及各自对应的三维坐标，确定连续两次迭代之间的标准差；

48、基于所述标准差，确定所述当次的三维分量图像是否满足所述第二预设条件。

49、本技术实施例的第三方面，还公开了一种电子设备，包括：包括存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序，所述处理器执行时实现如第一方面实施例所述的图像处理方法。

50、本技术实施例的第四方面，还公开了一种计算机可读存储介质，其存储的计算机程序使得处理器执行如本技术第一方面实施例所述的图像处理方法。

51、在本技术实施例中，可以从原始三维图像中分解出多个三维分量图像，从多个三维分量图像中获取与指定的目标对象适配的目标三维分量图像；之后，将目标三维分量图像输入到目标对象对应的图像生成模型，以基于目标三维分量图像生成目标三维图像；其中，目标三维图像中目标对象对应的质量参数值高于原始三维图像目标对象对应的质量参数值，质量参数值用于表征以下至少一种图像质量：图像对比度、图像纹理。

52、一方面，由于利用图像生成模型生成了高质量的目标三维图像，因此，即便采取低性能的仪器获取到了低质量的原始三维图像，仍然可以通过图像生成模型获得质量得到提升的三维图像，从而降低了高质量的三维图像的获取成本。

53、另一方面，由于不同的三维分量图像对应不同的频率，且从多个三维分量图像中筛选了与目标对象适配的目标三维分量图像，这样，针对性获取到的目标三维分量图像便可以充分反应目标对象的特征，从而使得提升质量后的三维图像与目标对象之间的适应性增强。

54、再一方面，由于目标三维图像在图像对比度、图像纹理中的至少一者上，优于原始三维图像，因此，生成后的目标三维图像可以更加清晰地刻画出目标对象，从而为后续的业务提供高质量的图像，以提高后续业务的准确率。