影像处理的方法、影像处理模型的训练方法及装置与流程

1.本发明涉及医学影像处理的技术领域，尤其是涉及一种影像处理的方法、影像处理模型的训练方法及装置。


背景技术：

2.cbct影像，全称为cone beam ct，也称为锥形束ct，其主要利用x射线源和平板检测器的旋转照射得到多角度的图像切片后，再通过三维重建，即可得到ct图像切片。较短的扫描时间可减少因病人身体移动引起的图像失真，这一优点使得cbct技术被广泛使用，但是由于平板检测器会接收大量x射线散射后的放射结果，使得cbct影像的噪声及图像对比度、分辨率等相关的图像质量会受到很大的限制，即人们常说的cbct伪影。
3.目前，cbct伪影主要可分为以下几类：杯状伪影、环状伪影、条纹伪影、金属伪影、散射伪影、截断伪影。而目前常用的消除cbct伪影的方法主要为传统图像处理算法，多数为在图像重建过程中利用某一种伪影的形成原理进行相关消除算法的开发，但是，这类算法的适用范围较窄，难以兼顾多种类的伪影，不仅去伪影效果不明显，也难以进行推广。


技术实现要素：

4.有鉴于此，本发明的目的在于提供一种影像处理的方法、影像处理模型的训练方法及装置，以缓解上述技术问题。
5.第一方面，本发明实施例提供了一种影像处理的方法，包括：获取待处理影像；提取所述待处理影像包含的目标区域；将所述目标区域输入至预先训练好的影像处理模型，通过所述影像处理模型对所述目标区域进行去除伪影处理，并输出所述目标区域对应的去伪影影像；其中，所述影像处理模型为预先训练好的生成对抗网络模型中的生成器，用于对输入的所述目标区域进行去除伪影处理；对所述去伪影影像进行还原处理，以得到所述待处理影像对应的目标影像，其中，所述目标影像包含所述去伪影影像。
6.结合第一方面，本发明实施例提供了第一方面的第一种可能的实施方式，其中，上述待处理影像为cbct影像；上述提取所述待处理影像包含的目标区域的步骤，包括：对所述cbct影像的身体掩膜进行分割；按照预设的裁剪调整规则对分割后的所述身体掩膜进行裁剪调整，以得到所述目标区域；其中，所述裁剪调整规则包括：在预设的坐标系内，以所述身体掩膜的坐标中心为中心原点，平均向所述cbct影像的外延方向裁剪预设像素的区域；将裁剪后得到的所述区域的尺寸调整至预设尺寸，并将调整后的区域确定为目标区域。
7.结合第一方面的第一种可能的实施方式，本发明实施例提供了第一方面的第二种可能的实施方式，其中，上述对所述去伪影影像进行还原处理，以得到所述待处理影像对应的目标影像的步骤，包括：基于所述裁剪调整规则对所述去伪影影像进行反向操作，以得到所述待处理影像对应的目标影像。
8.第二方面，本发明实施例还提供一种影像处理模型的训练方法，其特征在于，包括：获取预先设置的训练集，其中，所述训练集包括至少一对训练影像，且，每对所述训练影
像包括第一类影像数据和第二类影像数据，其中，所述第一类影像数据和所述第二类影像数据为包含相同软组织的cbct影像，且，所述第二类影像数据的成像质量高于所述第一类影像数据的成像质量；将所述训练集输入至预先构建的生成对抗网络模型，对所述生成对抗网络模型包括的生成器和判别器分别进行循环训练，以更新所述生成器和所述判别器参数；保存更新后的所述生成器和所述判别器的参数，并将所述生成对抗网络模型中的所述生成器保存为影像处理模型，以用于对待处理影像进行去除伪影处理。
9.结合第二方面，本发明实施例提供了第二方面的第一种可能的实施方式，其中，上述将所述训练集输入至预先构建的生成对抗网络模型，对所述生成对抗网络模型包括的生成器和判别器分别进行循环训练的步骤，包括：持续循环执行下述步骤，直至所述生成对抗网络模型包括的生成器和判别器满足预设条件，其中，所述预设条件包括循环训练的次数达到预设次数，或者所述生成器的损失值小于预设的损失阈值和所述判别器的损失值维持在预设范围：冻结所述生成器的参数，将所述训练集中的所述第一类影像数据输入至所述生成器中，得到所述第一类影像数据的预测影像数据；将所述预测影像数据和所述第一类影像数据对应的所述第二类影像数据输入至所述判别器进行判定，并计算所述判别器的损失值；将所述损失值反向传播至所述判别器中，以更新所述判别器的参数；以及，冻结所述判别器的参数，将所述训练集中的所述第一类影像数据输入至所述生成器中，得到所述第一类影像数据的预测影像数据；将所述第一类影像数据的预测影像数据和所述第一类影像数据对应的所述第二类影像数据输入至所述判别器和所述生成器进行判定，并计算所述判别器的损失值和所述生成器的损失值，将所述生成器和所述判别器的损失值之和反向传播至所述生成器，以更新所述生成器的参数。
10.结合第二方面的第一种可能的实施方式，本发明实施例提供了第二方面的第二种可能的实施方式，其中，上述方法还包括：如果监测到所述循环训练的次数完成预设的循环周期，则获取预先设置的验证集；其中，所述验证集包括至少一对所述训练影像，且，每对所述训练影像包括所述第一类影像数据和所述第二类影像数据；将所述验证集中的所述第一类影像数据输入至更新后的所述生成对抗网络模型，以使更新后的所述生成对抗网络模型中的所述生成器输出所述第一类影像数据的预测影像数据；计算所述预测影像数据与所述第一类影像数据对应的所述第二类影像数据的损失值；如果所述生成器的损失值小于预设的损失阈值以及所述判别器的损失值维持在预设范围，则停止所述循环训练，保存所述生成器和所述判别器的参数，并对所述生成对抗网络模型进行更新。
11.结合第二方面的第一种可能的实施方式，本发明实施例提供了第二方面的第三种可能的实施方式，其中，上述计算所述生成器的损失值所用到的损失函数为加权的l1损失函数和l2损失函数：计算所述判别器的损失值所用到的损失函数为l1损失函数；
12.其中，所述l1损失函数的计算公式为：所述l2损失函数的计算公式为：n为输入的训练影像的数量，yi为所述第二类影像数据的目标区域，f(xi)为所述第一类影像数据的预测影像数据的区域。
13.结合第二方面，本发明实施例提供了第二方面的第四种可能的实施方式，其中，上述方法还包括：获取预先采集的影像数据集，其中，所述影像数据集中的影像数据包括多个
对相同软组织进行cbct影像采集时得到的第一类样本数据和第二类样本数据，其中，所述第二类样本数据的成像质量高于所述第一类样本数据的成像质量；对所述影像数据集中的影像数据进行数据配准，以使所述第一类样本数据与所述第二类样本数据的每个像素点的物理坐标位置一一对应；对数据配准之后的所述第一类样本数据和所述第二类样本数据进行裁剪处理，以提取所述第一类样本数据和所述第二类样本数据中包含的目标区域，并将裁剪后的目标区域保存至预先建立的初始训练集中；按照预设的增广方式对所述初始训练集进行数据增广，得到所述初始训练集对应的增广数据集；按照预设的比例将所述增广数据集划分成训练集和验证集。
14.结合第二方面，以及第二方面的第一至第四种可能的实施方式，本发明实施例提供了第二方面的第五种可能的实施方式，其中，上述生成器为基于unet架构的卷积神经网络，所述判别器为基于vgg19的判别器网络。
15.第三方面，本发明实施例还提供一种影像处理的装置，包括：第一获取模块，用于获取待处理影像；提取模块，用于提取所述待处理影像包含的目标区域；处理模块，用于将所述目标区域输入至预先训练好的影像处理模型，通过所述影像处理模型对所述目标区域进行去除伪影处理，并输出所述目标区域对应的去伪影影像；其中，所述影像处理模型为预先训练好的生成对抗网络模型中的生成器，用于对输入的所述目标区域进行去除伪影处理；还原模块，用于对所述去伪影影像进行还原处理，以得到所述待处理影像对应的目标影像，其中，所述目标影像包含所述去伪影影像。
16.第四方面，本发明实施例还提供一种影像处理模型的训练装置，包括：第二获取模块，用于获取预先设置的训练集，其中，所述训练集包括至少一对训练影像，且，每对所述训练影像包括第一类影像数据和第二类影像数据，其中，所述第一类影像数据和所述第二类影像数据为包含相同软组织的cbct影像，且，所述第二类影像数据的成像质量高于所述第一类影像数据的成像质量；训练模块，用于将所述训练集输入至预先构建的生成对抗网络模型，对所述生成对抗网络模型包括的生成器和判别器分别进行循环训练，以更新所述生成器和所述判别器参数；保存模块，用于保存更新后的所述生成器和所述判别器的参数，并将所述生成对抗网络模型中的生成器保存为影像处理模型，以用于对待处理影像进行去除伪影处理。
17.第五方面，本发明实施例还提供一种电子设备，包括存储器、处理器及存储在所述存储器上并可在所述处理器上运行的计算机程序，所述处理器执行所述计算机程序时实现上述第一方面和第二方面所述的方法的步骤。
18.第六方面，本发明实施例还提供一种计算机可读存储介质，该计算机可读存储介质上存储有计算机程序，所述计算机程序被处理器运行时执行上述第一方面和第二方面所述的方法的步骤。
19.本发明实施例带来了以下有益效果：
20.本发明实施例提供的影像处理的方法、影像处理模型的训练方法及装置，能够获取待处理影像，并提取待处理影像包含的目标区域；进而将目标区域输入至预先训练好的影像处理模型，通过影像处理模型对目标区域进行去除伪影处理，并输出目标区域对应的去伪影影像，然后对去伪影影像进行还原处理，以得到待处理影像对应的包含去伪影影像的目标影像，并且，本发明实施例中所使用的影像处理模型为预先训练好的生成对抗网络
模型中的生成器，用于对输入的目标区域进行去除伪影处理，因此，可以有效消除待处理影像可能产生的各种伪影，并且，所述影像处理模型在使用过程中无需考虑伪影的形成原理，因此，在进行伪影消除时，无需设置任何前置条件和人工参与，具有较好的泛化性能，不仅能够兼顾多种类的伪影，得到较好的去伪影效果，也有利于进行推广。
21.本发明的其他特征和优点将在随后的说明书中阐述，并且，部分地从说明书中变得显而易见，或者通过实施本发明而了解。本发明的目的和其他优点在说明书、权利要求书以及附图中所特别指出的结构来实现和获得。
22.为使本发明的上述目的、特征和优点能更明显易懂，下文特举较佳实施例，并配合所附附图，作详细说明如下。
附图说明
23.为了更清楚地说明本发明具体实施方式或现有技术中的技术方案，下面将对具体实施方式或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图是本发明的一些实施方式，对于本领域技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。
24.图1为本发明实施例提供的一种影像处理的方法的流程图；
25.图2为本发明实施例提供的一种影像处理模型的训练方法的流程图；
26.图3为本发明实施例提供的一种影像处理的装置的结构示意图；
27.图4为本发明实施例提供的一种影像处理模型的训练装置的结构示意图；
28.图5为本发明实施例提供的一种电子设备的结构示意图。
具体实施方式
29.为使本发明实施例的目的、技术方案和优点更加清楚，下面将结合附图对本发明的技术方案进行清楚、完整地描述，显然，所描述的实施例是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。
30.目前，消除cbct影像的伪影的方法，主要为传统图像处理算法，而常用的图像处理算法中，第一种为基于滑动窗口差值和条带噪声检测的cbct环形伪影消除方法，具体地，可通过滑动窗口差值提取边缘特征，通过水平方向的梯度图像检测条带噪声，再利用边缘特征来优化条带噪声，最后在cbct图像基础上通过对噪声区域的插值达到消除环状伪影的目的；另外一种则是根据cbct图像重建坐标系与x射线-平板探测器的旋转矩阵和平移矩阵，重新计算重建点在x射线-平板探测器坐标系中的坐标，然后根据该坐标点计算投影点，最后根据反投影公式计算重建点的重建值，该方式可以消除cbct影像中常见的几何伪影。
31.虽然上述方法在一定程度上可以消除伪影，但是，第一种常用的算法适用范围较窄，通常只能消除某一类的cbct拍摄机器上的某一类伪影，并且，该类算法因为使用了大量机器以及成像原理相关的参数和条件，因此适用范围较窄，一般只适用于某一厂家的cbct机器和某一类伪影，对其他机器以及其他种类的伪影并不实用；而第二种算法中，计算重建值的过程通常需要建立相关的参数模型，以便于基于物理参数来消除伪影，而模型的参数量一般较大，导致运行速度较慢，对图像重建和图像生成均有较大的影响。
32.基于此，本发明实施例提供了一种影像处理的方法、影像处理模型的训练方法及装置，可以尽可能地消除cbct影像可能产生的各种伪影，以提高cbct影像的质量。
33.为便于对本实施例进行理解，首先对本发明实施例所公开的一种影像处理的方法进行详细介绍。
34.在一种可能的实施方式中，本发明实施例提供了一种影像处理的方法，具体地，如图1所示的一种影像处理的方法的流程图，该方法包括以下步骤：
35.步骤s102，获取待处理影像；
36.步骤s104，提取待处理影像包含的目标区域；
37.其中，本发明实施例中的待处理影像为cbct影像，具体地，通常指医学上采集的原始cbct影像，且存在一定的伪影等等，以便于执行本发明实施例中的影像处理的方法进行去除伪影处理。进一步，上述目标区域通常也可以称为感兴趣区域，而上述步骤s104的提取过程，可以减小待处理影像的尺寸，使得下述步骤中影像处理模型的输入图像的尺寸减小，进而使影像处理模型的注意力集中在目标区域上。
38.步骤s106，将目标区域输入至预先训练好的影像处理模型，通过影像处理模型对目标区域进行去除伪影处理，并输出目标区域对应的去伪影影像；
39.其中，影像处理模型为预先训练好的生成对抗网络模型中的生成器，用于对输入的目标区域进行去除伪影处理；
40.步骤s108，对去伪影影像进行还原处理，以得到待处理影像对应的目标影像，其中，目标影像包含去伪影影像。
41.具体地，由于步骤s106中，是对目标区域进行的去伪影处理，且，目标区域是在步骤s104中从待处理影像中提取出来的，因此，步骤s106中得到的去伪影影像实际仅仅是待处理影像的一部分，而经过s108的还原处理，则是将去伪影影像还原到待处理影像中，以便于得到待处理影像对应的完整的包含去伪影影像的目标影像。
42.因此，本发明实施例提供的影像处理的方法，能够获取待处理影像，并提取待处理影像包含的目标区域；进而将目标区域输入至预先训练好的影像处理模型，通过影像处理模型对目标区域进行去除伪影处理，并输出目标区域对应的去伪影影像，然后对去伪影影像进行还原处理，以得到待处理影像对应的包含去伪影影像的目标影像，并且，本发明实施例中所使用的影像处理模型为预先训练好的生成对抗网络模型中的生成器，用于对输入的目标区域进行去除伪影处理，因此，可以有效消除待处理影像可能产生的各种伪影，并且，影像处理模型在使用过程中无需考虑伪影的形成原理，因此，在进行伪影消除时，无需设置任何前置条件和人工参与，具有较好的泛化性能，不仅能够兼顾多种类的伪影，得到较好的去伪影效果，也有利于进行推广。
43.在实际使用时，由于本发明实施例中的待处理影像为cbct影像，因此上述步骤s104中实际是对cbct影像进行处理或者裁剪的过程，具体地，提取待处理影像包含的目标区域的步骤包括以下过程：对cbct影像的身体掩膜进行分割；按照预设的裁剪调整规则对分割后的身体掩膜进行裁剪调整，以得到目标区域。
44.具体地，本发明实施例中所使用的裁剪调整规则包括：在预设的坐标系内，以身体掩膜的坐标中心为中心原点，平均向cbct影像的外延方向裁剪预设像素的区域；将裁剪后得到的区域的尺寸调整至预设尺寸，并将调整后的区域确定为目标区域。
45.具体实现时，上述目标区域通常也可以称为感兴趣区域，并且，本发明实施例中用于对输入的目标区域进行去除伪影处理的影像处理模型，通常采用的是二维的生成对抗网络模型，因此，上述提取目标区域时，需要对每个cbct影像的每一层进行感兴趣区域的裁剪。此步骤可以减小影像处理模型的输入尺寸，使影像处理模型注意力集中在目标区域。
46.其中，上述对cbct影像的身体掩膜进行分割的过程，可以利用阈值法分割cbct影像的身体掩膜，在后续的裁剪过程中，可以以身体掩膜的(x，y)坐标中心点为中心，平均向cbct影像的上、下、左、右四个外延方向裁剪若干像素的区域，最后在进行尺寸调整，例如，将上述裁剪后得到的感兴趣区域调整至(256，256)的像素尺寸等等，具体裁剪的区域，以及尺寸调整的大小可以根据实际使用情况进行设置，本发明实施例对此不进行限制。
47.进一步，基于上述裁剪调整规则，在上述步骤s108中，对去伪影影像进行还原处理时，可以基于裁剪调整规则对去伪影影像进行反向操作，以得到待处理影像对应的目标影像，该反向操作可以将去伪影影像还原到cbct影像的原始尺寸，即可得到伪影消除之后的cbct影像。
48.因此，本发明实施例提供的上述影像处理的方法，可以利用生成对抗网络模型将低质量的cbct影像进行去除伪影处理，进而将低质量的cbct影像转换为高质量的cbct影像，以消除低质量的cbct影像中出现的各种伪影。与传统图像伪影消除算法相比，本发明实施例提供的上述影像处理的方法，可适用于多种伪影，包括但不限于几何伪影、杯状伪影、条纹伪影、金属伪影等，适用范围更广，且运行速度快，伪影消除效果较好。
49.进一步，为了得到本发明实施例中的上述影像处理模型，本发明实施例还提供了一种影像处理模型的训练方法，具体地，如图2所示的一种影像处理模型的训练方法的流程图，包括以下步骤：
50.步骤s202，获取预先设置的训练集；
51.其中，本发明实施例中的训练集包括至少一对训练影像，且，每对训练影像包括第一类影像数据和第二类影像数据，其中，第一类影像数据和第二类影像数据为包含相同软组织的cbct影像，且，第二类影像数据的成像质量高于第一类影像数据的成像质量；
52.步骤s204，将训练集输入至预先构建的生成对抗网络模型，对生成对抗网络模型包括的生成器和判别器分别进行循环训练，以更新生成器和判别器参数；
53.在实际使用时，该步骤中的循环训练实际是持续循环训练的过程，直至生成对抗网络模型包括的生成器和判别器满足预设条件，其中，预设条件包括循环训练的次数达到预设次数，或者生成器的损失值小于预设的损失阈值和判别器的损失值维持在预设范围，其中，判别器的损失值维持在预设范围通常指判别器的损失值基本稳定不变。
54.步骤s206，保存更新后的生成器和判别器的参数，并将生成对抗网络模型中的生成器保存为影像处理模型，以用于对待处理影像进行去除伪影处理。
55.具体实现时，本发明实施例所使用的生成对抗网络模型中，生成器也称为生成器模型，通常为基于unet架构的卷积神经网络，判别器也称为判别器模型，通常为基于vgg19的判别器网络。
56.具体地，生成器的unet架构为深度学习框架，该框架中，通常有5层下采样层，每一层包含卷积层、归一化层以及激活层。与现有的生成对抗网络模型以及unet架构不同的是，本发明实施例中的生成对抗网络模型采用自适应归一化层(switchable normalization)
代替原始批归一化层(batch normalization)，以提高生成对抗网络模型的泛化能力，进而适应不同的数据。
57.另外，本发明实施例中的生成对抗网络模型中，还可以使用带步长的卷积层代替池化层，以尽可能地保留图像信息，并消除图像生成过程中常出现的棋盘效应。
58.进一步，本发明实施例中的生成器中，通常还包括5层上采样层，与其他生成器网络不同的是，本发明实施例中，可以采用pixelshuffle层代替传统的反卷积层，可减少上采样过程中信息的缺失，提高生成图像的质量。
59.基于上述生成器和判别器，上述步骤s204中，执行循环训练时，通常先初始化所有网络参数，然后每一个批(batch)的训练过程如下：
60.(1)冻结生成器的参数，将训练集中的第一类影像数据输入至生成器中，得到第一类影像数据的预测影像数据；
61.其中，由于第二类影像数据的成像质量高于第一类影像数据的成像质量，因此，该步骤(1)中，实际是将低质量的第一类影像数据，或者说低质量的cbct影像输入至生成器，以得到低质量的cbct影像的预测影像数据，而该预测影像数据通常是低质量的cbct影像对应的高质量的cbct影像。
62.(2)将预测影像数据和第一类影像数据对应的第二类影像数据输入至判别器进行判定，并计算判别器的损失值；
63.(3)将损失值反向传播至判别器中，以更新判别器的参数；
64.其中，步骤(2)中，第二类影像数据通常是指高质量的cbct影像，判别器是对输入的预测影像数据和真实的高质量的cbct影像进行真假判断，然后得到判别器的损失值之后，将其反向传播至判别器中，以更新判别器的神经网络的参数。
65.(4)冻结判别器的参数，将训练集中的第一类影像数据输入至生成器中，得到第一类影像数据的预测影像数据；
66.(5)将第一类影像数据的预测影像数据和所述第一类影像数据对应的所述第二类影像数据输入至判别器进行判定，并计算判别器的损失值和生成器的损失值，将生成器和判别器的损失值之和反向传播至生成器，以更新生成器的参数。
67.具体地，步骤(4)和(5)中，是更新生成器的参数的过程，此时，是将低质量的cbct影像输入生成器中，得到预测的高质量的cbct影像，计算此时生成器的损失值，然后将损失值通过反向传播更新至生成器中，更新生成器网络的左右参数。
68.进一步，上述更新生成器和判别器参数之后，还可以继续对此时的生成对抗网络模型进行进一步的模型验证，具体地，如果监测到循环训练的次数完成预设的循环周期，例如，完成一个循环之后，则可以获取预先设置的验证集；其中，本发明实施例中的验证集与训练集类似，也包括至少一对训练影像，且，每对训练影像包括第一类影像数据和第二类影像数据，且，第二类影像数据的成像质量高于第一类影像数据的成像质量，具体验证过程如下：
69.(1)将验证集中的第一类影像数据输入至更新后的生成对抗网络模型，以使更新后的生成对抗网络模型中的生成器输出第一类影像数据的预测影像数据；
70.(2)计算预测影像数据与第一类影像数据对应的第二类影像数据的损失值；如果生成器的损失值小于预设的损失阈值以及判别器的损失值维持在预设范围，如，判别器的
损失值基本稳定不变时，则停止循环训练，保存生成器和判别器的参数，并对生成对抗网络模型进行更新。
71.在实际使用时，上述验证过程是将验证集中的低质量的cbct影像，即第一类影像数据输入指生成对抗网络模型的生成器，得到预测的高质量的cbct影像，即，预测影像数据，然后将其与真实的高质量的cbct影像计算损失函数，当损失函数的损失值最小，即小于预设的损失阈值时，停止训练，并保存此时生成器的网络和判别器的网络的权重参数。
72.具体实现时，上述计算生成器的损失值所用到的损失函数为加权的l1损失函数和l2损失函数：计算判别器的损失值所用到的损失函数为l1损失函数；
73.其中，l1损失函数的计算公式为：l2损失函数的计算公式为：n为输入的训练影像的数量，yi为第二类影像数据的目标区域，f(xi)为第一类影像数据的预测影像数据的区域。
74.在实际使用时，上述l1损失函数(l1_loss)也称为最小化绝对误差，其主要评估真实值与预估值之间的绝对值误差，l2损失函数(l2_loss)也称为最小化平方误差，其是由峰值信噪比简化后的损失函数，其主要评估真实值与预测值的差值的平方和，利用加权之后的l1损失函数和l2损失函数作为最终的模型损失函数，其权重可以根据训练过程发生变化，以便于使生成器和判别器的参数更加合理化。
75.在实际使用时，为了得到上述训练集和验证集，在进行模型训练之前，需要进行数据的收集和整理，并且，除本发明实施例中的训练集和验证集，还可以设置测试集，与训练集和验证集类似，测试集中也可以包括第一类影像数据和第二类影像数据。
76.具体地，数据收集和整理的过程如下：
77.(1)获取预先采集的影像数据集；
78.其中，影像数据集中的影像数据包括多个对相同软组织进行cbct影像采集时得到的第一类样本数据和第二类样本数据，其中，第二类样本数据的成像质量高于第一类样本数据的成像质量；
79.具体实现时，该过程属于数据收集的过程，其中，所收集的数据，通常是从医院或其他医疗机构采集的低质量的cbct影像和高质量的cbct影像，其中，低质量的cbct影像作为第一类样本数据，通常指使用较低剂量的曝光参数或重建质量较差的扫描设备扫描得到的cbct影像；高质量的cbct影像作为第二类样本数据，通常指使用较高曝光剂量的曝光参数或重建质量较好的扫描设备扫描得到的cbct影像，且要求低质量的和高质量的两类cbct影像扫描时间不得超过24小时，以使扫描的cbct影像之间软组织差异变化较小，进而使配准速度更快，结果更准确，训练的伪影消除网络也会更好。
80.进一步，在收集上述数据时，需要保持低质量的cbct影像扫描参数的多样性，以保证低质量的cbct影像中包含各类伪影，高质量的cbct影像则要求参数精准，以保证图像质量。另外，为了适用多种机器，扫描数据时，通常使用目前多数医院常用的各类设备，以提高所收集的数据的泛化性。
81.(2)对影像数据集中的影像数据进行数据配准，以使第一类样本数据与第二类样本数据的每个像素点的物理坐标位置一一对应；
82.通常，在进行数据配准时，可以将采集到的低质量的cbct影像和高质量的cbct影像进行刚性配准，刚性配准的方法可使用目前广泛使用的配准方法，例如，点云配准等等，具体地，可以利用传统图像分割算法，如阈值法、图割法，分别提取低质量的cbct影像和高质量的cbct影像的身体掩膜，利用身体掩膜的外轮廓点做点云，剔除距离中心点较远的不合理的点之后，计算两个点云之间的距离做损失函数，当损失函数最小时，即可求解当前最优变换，而此步骤数据配准的目的是保证低质量的cbct影像与高质量的cbct影像的每一个像素点的物理坐标位置一一对应。
83.(3)对数据配准之后的第一类样本数据和第二类样本数据进行裁剪处理，以提取第一类样本数据和第二类样本数据中包含的目标区域，并将裁剪后的目标区域保存至预先建立的初始训练集中；
84.具体实现时，该过程中的裁剪处理，与上述提取待处理影像包含的目标区域的步骤类似，由于本发明实施例中采用的是二维的生成对抗网络模型，因此需要对每个病例图像，即，cbct影像的每一层进行感兴趣区域裁剪，该裁剪处理的步骤可以减小生成对抗网络模型的输入尺寸，使生成对抗网络模型注意力集中在目标区域。具体裁剪过程如下，首先利用阈值法分割低质量的cbct影像的身体掩膜，以身体掩膜的(x，y)坐标中心点为中心，平均向cbct影像上、下、左、右裁剪若干像素的区域；将裁剪后得到的区域调整至预设尺寸，如(256，256)的尺寸，然后，利用同步骤对高质量的cbct影像进行处理，即可得到初始配对后的初始训练集。
85.(4)按照预设的增广方式对初始训练集进行数据增广，得到初始训练集对应的增广数据集；
86.该步骤中，是将步骤(3)中得到的初始配对后的初始训练集中所包括的数据进行增广，其中，增广技术可包括数据翻转，如，将低质量的cbct影像的感兴趣区域和高质量的cbct影像的感兴趣区域同时进行随机上下或者左右翻转；加入噪声，如对低质量的cbct影像的感兴趣区域加入高斯噪声、椒盐噪声等，而高质量的cbct影像的感兴趣区域则不变；数据旋转，如，对低质量的cbct影像的感兴趣区域和高质量的cbct影像的感兴趣区域进行相同角度的旋转，旋转角度随机选取，范围可在0-45度之内等等，通常数据增广的方式，可以增加数据集的多样性，以使训练得到的生成对抗网络模型的泛化能力更强。
87.(5)按照预设的比例将增广数据集划分成训练集和验证集。
88.进一步，除上述训练集和验证集，还可以进一步划分测试集，具体的数据集的划分情况，可以根据实际适应情况进行设置，本发明实施例对此不进行限制。
89.综上所述，本发明实施例通过使用训练效果较好的生成对抗网络模型进行cbct影像伪影消除的处理，可以借助于卷积神经网络将运行时间缩短到毫秒级，因此，伪影消除的速度更快，而且，基于已经训练完成的生成对抗网络模型进行伪影消除时，无需设置任何前置条件和人工参与，可减少人工成本。
90.进一步，本发明实施例中所使用的生成对抗网络模型，相对于传统的生成对抗网络模型，其生成器采用基于unet架构的卷积神经网络，并且将网络中的批归一化(batch normalization)更换为自适配归一化(switchable normalization)，进一步提高模型的泛化能力，使其能够学习并消除各种伪影。
91.并且，本发明实施例中的生成器，除了使用常用的l1损失函数外，另外加入由峰值
信噪比简化的l2损失函数，利用l2损失函数可以加快网络收敛速度，并提高生成图像信噪比，但是可能出现图像模糊，因此本发明实施例中的生成对抗网络模型中加入了判别器，以判别生成图像和高质量图像的真假，提高图像清晰度和真实性，进一步保证了消除伪影后的cbct影像的质量。
92.进一步，对应于上述图1所示的影像处理的方法，本发明实施例还提供了一种影像处理的装置，如图3所示的一种影像处理的装置的结构示意图，包括以下结构：
93.第一获取模块30，用于获取待处理影像；
94.提取模块32，用于提取所述待处理影像包含的目标区域；
95.处理模块34，用于将所述目标区域输入至预先训练好的影像处理模型，通过所述影像处理模型对所述目标区域进行去除伪影处理，并输出所述目标区域对应的去伪影影像；其中，所述影像处理模型为预先训练好的生成对抗网络模型中的生成器，用于对输入的所述目标区域进行去除伪影处理，且，所述影像处理模型包括生成器和判别器；
96.还原模块36，用于对所述去伪影影像进行还原处理，以得到所述待处理影像对应的目标影像，其中，所述目标影像包含所述去伪影影像。
97.进一步，对应于上述图2所示的影像处理模型的训练方法，本发明实施例还提供了一种影像处理模型的训练装置，如图4所示的一种影像处理模型的训练装置的结构示意图，包括以下结构：
98.第二获取模块40，用于获取预先设置的训练集，其中，所述训练集包括至少一对训练影像，且，每对所述训练影像包括第一类影像数据和第二类影像数据，其中，所述第一类影像数据和所述第二类影像数据为包含相同软组织的cbct影像，且，所述第二类影像数据的成像质量高于所述第一类影像数据的成像质量；
99.训练模块42，用于将所述训练集输入至预先构建的生成对抗网络模型，对所述生成对抗网络模型包括的生成器和判别器分别进行循环训练，以更新所述生成器和所述判别器参数；
100.保存模块44，用于保存更新后的所述生成器和所述判别器的参数，并将所述生成对抗网络模型中的生成器保存为影像处理模型，以用于对待处理影像进行去除伪影处理。
101.本发明实施例提供的影像处理的装置和影像处理模型的训练装置，与上述实施例提供的影像处理的方法和影像处理模型的训练方法具有相同的技术特征，所以也能解决相同的技术问题，达到相同的技术效果。
102.所属领域的技术人员可以清楚地了解到，为描述的方便和简洁，上述描述的装置的具体工作过程，可以参考前述方法实施例中的对应过程，在此不再赘述。
103.本发明实施例还提供一种电子设备，包括存储器、处理器及存储在所述存储器上并可在所述处理器上运行的计算机程序，所述处理器执行所述计算机程序时实现上述图1或图2所示的方法的步骤。
104.本发明实施例还提供一种计算机可读存储介质，该计算机可读存储介质上存储有计算机程序，所述计算机程序被处理器运行时执行上述图1或图2所示的方法的步骤。
105.本发明实施例还提供了一种电子设备的结构示意图，如图5所示，为该电子设备的结构示意图，其中，该电子设备包括处理器51和存储器50，该存储器50存储有能够被该处理器51执行的计算机可执行指令，该处理器51执行该计算机可执行指令以实现上述图1或图2
所示的方法。
106.在图5示出的实施方式中，该电子设备还包括总线52和通信接口53，其中，处理器51、通信接口53和存储器50通过总线52连接。
107.其中，存储器50可能包含高速随机存取存储器(ram，random access memory)，也可能还包括非不稳定的存储器(non-volatile memory)，例如至少一个磁盘存储器。通过至少一个通信接口53(可以是有线或者无线)实现该系统网元与至少一个其他网元之间的通信连接，可以使用互联网，广域网，本地网，城域网等。总线52可以是isa(industry standard architecture，工业标准体系结构)总线、pci(peripheral component interconnect，外设部件互连标准)总线或eisa(extended industry standard architecture，扩展工业标准结构)总线等。所述总线52可以分为地址总线、数据总线、控制总线等。为便于表示，图5中仅用一个双向箭头表示，但并不表示仅有一根总线或一种类型的总线。
108.处理器51可能是一种集成电路芯片，具有信号的处理能力。在实现过程中，上述方法的各步骤可以通过处理器51中的硬件的集成逻辑电路或者软件形式的指令完成。上述的处理器51可以是通用处理器，包括中央处理器(central processing unit，简称cpu)、网络处理器(network processor，简称np)等；还可以是数字信号处理器(digital signal processor，简称dsp)、专用集成电路(application specific integrated circuit，简称asic)、现场可编程门阵列(field-programmable gate array，简称fpga)或者其他可编程逻辑器件、分立门或者晶体管逻辑器件、分立硬件组件。通用处理器可以是微处理器或者该处理器也可以是任何常规的处理器等。结合本技术实施例所公开的方法的步骤可以直接体现为硬件译码处理器执行完成，或者用译码处理器中的硬件及软件模块组合执行完成。软件模块可以位于随机存储器，闪存、只读存储器，可编程只读存储器或者电可擦写可编程存储器、寄存器等本领域成熟的存储介质中。该存储介质位于存储器，处理器51读取存储器中的信息，结合其硬件完成前述图1或图2所示的方法。
109.本发明实施例所提供影像处理的方法、影像处理模型的训练方法及装置的计算机程序产品，包括存储了程序代码的计算机可读存储介质，所述程序代码包括的指令可用于执行前面方法实施例中所述的方法，具体实现可参见方法实施例，在此不再赘述。
110.另外，在本发明实施例的描述中，除非另有明确的规定和限定，术语“安装”、“相连”、“连接”应做广义理解，例如，可以是固定连接，也可以是可拆卸连接，或一体地连接；可以是机械连接，也可以是电连接；可以是直接相连，也可以通过中间媒介间接相连，可以是两个元件内部的连通。对于本领域技术人员而言，可以具体情况理解上述术语在本发明中的具体含义。
111.所述功能如果以软件功能单元的形式实现并作为独立的产品销售或使用时，可以存储在一个计算机可读取存储介质中。基于这样的理解，本发明的技术方案本质上或者说对现有技术做出贡献的部分或者该技术方案的部分可以以软件产品的形式体现出来，该计算机软件产品存储在一个存储介质中，包括若干指令用以使得一台计算机设备(可以是个人计算机，服务器，或者网络设备等)执行本发明各个实施例所述方法的全部或部分步骤。而前述的存储介质包括：u盘、移动硬盘、只读存储器(rom，read-only memory)、随机存取存储器(ram，random access memory)、磁碟或者光盘等各种可以存储程序代码的介质。
112.在本发明的描述中，需要说明的是，术语“中心”、“上”、“下”、“左”、“右”、“竖直”、“水平”、“内”、“外”等指示的方位或位置关系为基于附图所示的方位或位置关系，仅是为了便于描述本发明和简化描述，而不是指示或暗示所指的装置或元件必须具有特定的方位、以特定的方位构造和操作，因此不能理解为对本发明的限制。此外，术语“第一”、“第二”、“第三”仅用于描述目的，而不能理解为指示或暗示相对重要性。
113.最后应说明的是：以上实施例，仅为本发明的具体实施方式，用以说明本发明的技术方案，而非对其限制，本发明的保护范围并不局限于此，尽管参照前述实施例对本发明进行了详细的说明，本领域技术人员应当理解：任何熟悉本技术领域的技术人员在本发明揭露的技术范围内，其依然可以对前述实施例所记载的技术方案进行修改或可轻易想到变化，或者对其中部分技术特征进行等同替换；而这些修改、变化或者替换，并不使相应技术方案的本质脱离本发明实施例技术方案的精神和范围，都应涵盖在本发明的保护范围之内。因此，本发明的保护范围应以权利要求的保护范围为准。