一种基于CDGAN模型的医学图像生成方法及系统

本发明属于医学图像风格迁移生成，具体涉及一种基于cdgan模型的医学图像生成方法及系统。

背景技术：

1、在医学图像处理领域，高质量的医学图像对于精准的诊断和医学研究至关重要。然而，由于医学数据集的有限性，传统的图像生成技术在实现个性化风格迁移时受到了一定的限制。现有的医学图像生成系统在风格迁移方面存在的问题主要包括以下几点：

2、1.数据集有限：医学图像采集困难，尤其是特定疾病或罕见病。这使得深度学习等需要大量数据支持的算法面临挑战，因为模型的泛化能力可能会受到数据的影响。

3、2.数据样本类别不平衡：在医学数据集中，不同类别的样本数量可能差异很大。例如，在某些疾病的研究中，正常样本可能远多于患病样本，导致模型在处理类别不平衡问题时的性能下降。

4、传统医学图像生成方法通常依赖于有监督学习或基于规则的方法，而这些方法在处理个性化风格迁移时受到数据集有限和风格多样性的制约。因此，迫切需要一种新颖的图像数据生成系统，能够克服上述问题，实现高效的个性化医学图像风格迁移。

技术实现思路

1、针对上述现有技术的不足，本发明提供一种基于cdgan模型的医学图像生成方法及系统。

2、本发明的目的是通过以下技术方案实现的：

3、根据本说明书的第一方面，提供一种基于cdgan模型的医学图像生成方法，包括以下步骤：

4、步骤s1，将图像进行预处理，得到预处理图像数据集；

5、步骤s2，选择基于所述步骤s1中得到预处理图像数据集的训练模式中的一种模式，训练模式包括图像数据集共享模式和图像数据集非共享模式，得到模型训练图像数据集；

6、步骤s3，构建基于cdgan的图像生成模型，其中，所述cdgan图像生成模型包括生成器网络和判别器网络；生成器网络先采用三个不同的do-conv进行不规则采样，得到初步提取特征，然后用坐标注意力机制对初步提取特征进行线性变换，再通过relu激活函数，将负值置零，保留正值，通过softmax分配不同权重，利用残差网络在反向传播过程中学到恒等映射，得到二次提取特征；二次提取特征通过上采样操作而得到放大图像，对放大图像进行深度过参数化卷积和特征表示，得到特征表示图像；对特征表示图像再次进行上采样，得到扩大空间维度的特征图；对扩大空间维度的特征图进行二次深度卷积和调整操作，最后得到生成图像；判别器网络用于判断输入图像的真假；

7、步骤s4，确定所述步骤s3中的cdgan图像生成模型的训练参数，将基于所述步骤s2中得到的模型训练图像数据集划分为训练集和测试集；

8、步骤s5，将所述步骤s4中得到的训练集输入所述步骤s3中的cdgan图像生成模型中进行训练并用测试集进行测试，得到最终的图像生成模型；

9、步骤s6，使用所述步骤s5中得到的图像生成模型对所述步骤s3中模型训练图像数据集的图像进行处理，生成优化后的用于扩充数据集的图像。

10、进一步地，所述步骤s1中具体包括以下内容：

11、步骤s11，将图像依次进行初次筛选、二次筛选，得到符合训练要求的图像，构建标准图像数据集，其中，初次筛选按处理顺序依次采用文件格式过滤、k-means聚类、分辨率阈值设置，而二次筛选采用分类网络；

12、步骤s12，将所述步骤s11中得到的标准图像数据集的图像进行预处理，预处理包括格式统一、大小统一和颜色通道顺序统一，得到预处理图像数据集。

13、进一步地，在所述步骤s2中图像数据集共享模式和图像数据集非共享模式具体包括以下内容：

14、图像数据集共享模式是将所述步骤s1中得到的预处理图像数据集收录到系统数据库，作为共享数据集；查看所述系统数据库中已有的预处理图像数据集，若选择将查看的所述系统数据库中预处理图像数据集合并至其个人构建的步骤s1中得到预处理图像数据集，则构成扩充图像训练数据集；

15、图像数据集非共享模式是将所述步骤s1中得到的本次预处理图像数据集仅用于当前训练任务，不与系统数据库中其他预处理图像数据集共享，本次预处理图像数据集将在训练任务结束后被临时存储，不加入系统数据库，本次预处理图像数据集不会对其他的预处理图像数据集训练产生影响。

16、进一步地，所述步骤s3中生成器网络包括初步特征提取模块、坐标注意力模块、残差模块和特征重构模块；

17、其中，初步特征提取模块包括三个不同的do-conv，每个do-conv采用卷积核进行不规则采样，得到初步提取特征；

18、假设卷积层的输入图像是x，输出特征图是doconv，卷积核大小是k×k，输出通道数为cout，输入通道数为cin，则可以表示为：

19、doconv(x,w)＝relu(bn(depthconv(x，wd))⊙wg)

20、其中，w是do-conv中的卷积核参数，wd是深度卷积部分的卷积核参数，wg是一般卷积部分的卷积核参数，⊙表示逐元素乘法，relu表示relu激活函数，bn表示批量归一化操作，depthconv表示深度卷积操作，其卷积核大小为k×k，输出通道数为cout，输入通道数为cin；

21、doconv(·)表示do-conv操作，fd为特征提取后的输出结果，可以表示为：

22、fd(x)＝doconv3(doconv2(doconv1(x)))

23、初步特征提模块的初步提取特征输入到坐标注意力模块，坐标注意力模块用于增强对初步提取特征不同空间位置的关注度；坐标注意力模块处理后的特征输入至残差模块，由残差模块增强该特征的表示深度和表达能力；残差模块处理后结果输入至特征重构模块，特征重构模块用于降低特征的通道数并将特征映射到图像空间，得到生成图像。

24、进一步地，所述步骤s3中坐标注意力模块具体包括如下内容：

25、特征重要性评估和加权：首先，对于输入特征x，通过分别对x轴方向以及y轴方向平均池化操作，求得在水平方向和垂直方向上的平均值，得到两个大小为1×1×c特征图fx和fy；然后，将这两个特征图进行拼接，得到一个大小为1×1×2c的特征图fxy,即：

26、fxy＝[fx；fy]∈r1×1×2c

27、其次，通过一个1×1的卷积操作，将特征图fxy映射到大小为1×1×c/r的特征图fs，其中r是一个可调参数，用于控制特征重要性的降维程度；然后，将特征图fs通过一个sigmoid函数，将其值归一化到[0,1]范围内，得到一个大小为1×1×c/r的特征图fa，即：

28、

29、最后，通过将输入特征x和特征图fa进行逐通道相乘的方式，对输入特征进行加权，得到加权后的xca，即：

30、xca＝x⊙fa∈rh×w×c

31、特征重要性加权后的特征传递：通过将加权后的特征xca传递到下一个模块，实现特征的重要性加权后的传递；这个过程类似于普通卷积神经网络中的特征传递，使用卷积层进行特征变换，并通过激活函数进行非线性映射；具体来说，加权后的特征xca经过一个卷积层，得到输出特征y，即：

32、y＝conv(xca)∈rh×w×c′

33、其中，conv表示卷积操作，c′表示卷积层输出的通道数；最后得到的输出特征y经过坐标注意力模块操作后的结果。

34、进一步地，在所述步骤s3中判别器网络先采用1个大小为4*4*1的do-conv和leakyrelu激活函数进行处理，得到特征向量；然后特征向量依次经过3次不同的do-conv、leakyrelu激活函数和batchnorm标准化处理，得到标准化的图像特征，以判别真实图像和生成图像之间的差异；采用一个大小为4*4*1的do-conv降低标准化的图像特征的通道，得到一个通道数为1的特征值；采用sigmoid函数将所述特征值映射到0到1的范围内，最后得到概率值，用于判断输入图像的真假。

35、根据本说明书的第二方面，共享数据集的图像生成系统，其特征在于，包括：

36、图像预处理模块，用于将图像进行预处理，得到预处理图像数据集；

37、训练模式选择模块，用于选择基于所述图像预处理模块中得到预处理图像数据集的训练模式中的一种模式，训练模式包括图像数据集共享模式和图像数据集非共享模式，得到模型训练图像数据集；

38、图像生成模块，用于构建基于cdgan的图像生成模型，其中，所述cdgan图像生成模型包括生成器网络和判别器网络；生成器网络先采用三个不同的do-conv进行不规则采样，得到初步提取特征，然后用坐标注意力机制对初步提取特征进行线性变换，再通过relu激活函数，将负值置零，保留正值，通过softmax分配不同权重，利用残差网络在反向传播过程中学到恒等映射，得到二次提取特征；二次提取特征通过上采样操作而得到放大图像，对放大图像进行深度过参数化卷积和特征表示，得到特征表示图像；对特征表示图像再次进行上采样，得到扩大空间维度的特征图；对扩大空间维度的特征图进行二次深度卷积和调整操作，最后得到生成图像；判别器网络用于判断输入图像的真假；确定cdgan图像生成模型的训练参数；将基于模型训练图像数据集划分为训练集和测试集；将训练集输入cdgan图像生成模型中进行训练并用测试集进行测试；使用图像生成模型对模型训练图像数据集的图像进行处理，生成优化后的用于扩充数据集的图像。

39、本发明的有益效果是：本发明可以用于解决采集足够多的样医学样本图像困难而导致的样本不足和样本类别不均衡问题，尤其是特定疾病或罕见病，本发明可以为深度学习等依赖大量数据的算法提供强大的数据支持，从而提高模型的泛化能力。本发明中do-conv可以在不增加模型成本的情况下提高模型的可学习参数量，进而提升生成图像的质量和多样性，而坐标注意力机制可以使模型捕获图像不同区域的特征，增强模型对重点区域的关注度。