一种基于改进GAN网络的卵巢疾病超声图像的生成算法

本发明涉及一种卵巢疾病超声图像的生成算法，属于图像处理技术与医学辅助诊断。

背景技术：

1、由于医学超声成像具有实时性、无创性、无辐射性等特点，该技术被广泛应用于卵巢疾病的检查和诊断，主要依赖于医生对超声图像的观察和判断。然而，卵巢的恶性肿瘤早期往往缺乏明显症状，增加了其诊断的难度。此外，卵巢病变的多样性和多发性进一步增加了诊断的复杂性。

2、人工智能的进步，特别是深度学习，促进了医学图像处理领域的发展，卵巢疾病的诊断也在向其不断靠拢。相比于其他机器学习方法，深度学习更加依赖大规模标记数据的训练，以防产生过拟合现象。然而，在实际情况中，卵巢超声医学数据往往是不充足且不平衡的。一方面，可用的高质量的带标注的医疗图像非常有限，因为医学数据的采集过程复杂且昂贵，需要专业知识且耗费大量人力和时间。另一方面，患者的医疗信息涉及隐私权益，对于罕见病症和癌症来说难以获得，而卵巢疾病的种类多样性加剧了数据的不均衡性。当前，小规模数据集和数量有限的标注图像已成为医学图像处理领域的主要挑战。因此，对于卵巢超声图像的深度学习图像处理，数据集的获取和扩充极为重要。

3、近年来，随着深度学习理论的发展，生成对抗网络(gan)以其优越的性能在医学图像处理领域得到了广泛应用。gan网络具有强大的数据生成能力，已经被成功应用于图像的生成与转换、图像分类、图像检测和分割等多个领域，但仍存在训练困难、模式崩溃等问题。一种改进的gan网络，triple-gan(tgan)，通过引入分类器，解决了训练时反向传播过程中梯度消失等问题，能够生成一系列逼真且接近真实数据分布的样本。

4、支持向量机(svm)是一种广义线性分类器，采用监督学习方式对数据进行二元分类。在各种分类问题中，svm都有着出色的性能。由于其具有较高的可靠性，在医学图像处理中区分良性肿瘤和恶性肿瘤更有优势，在gan的生成图像验证方面应用广泛。

技术实现思路

1、本发明为解决基于超声图像的卵巢疾病智能诊断研究中数据量小、疾病样本不均衡的问题，进而提出一种基于改进gan网络的卵巢疾病超声图像的生成算法。

2、本发明为解决上述问题采取的技术方案是：本发明的步骤包括：

3、步骤一、对卵巢疾病超声图像进行预处理；

4、步骤二、构建基于tgan的三架构网络，实现卵巢疾病超声图像的合成；

5、步骤三、基于定性和定量评估卵巢疾病合成图像；

6、步骤四、实现端到端的卵巢疾病智能合成gui界面。

7、进一步的，步骤一中对卵巢疾病超声图像进行预处理的步骤包括：

8、步骤一(一)、选取十种不同疾病种类的超声图像建立数据集，整理分类将各个类别的图像按照“类别名+图像序号”的规则重命名，保证种类数量的均衡性；

9、步骤一(二)、考虑模型计算与合成效果的平衡性，去除无关信息，选取合适的图像尺寸，批量调整为统一格式256×256；

10、步骤一(三)、采用传统的数据增强方法对卵巢疾病超声图像数据进行扩充，方式为水平翻转，随机亮度、饱和度、色相变换，随机旋转变换，并对数据进行标准化和归一化，将图像的灰度值映射到合适的范围内。

11、进一步的，步骤二中卵巢疾病超声图像的合成步骤为：

12、步骤二(一)、构建生成器g网络；根据图像复杂性，设计网络具体结构，tgan的生成网络设计为无池化层，采用反卷积代替卷积，计算加入批量标准化层和合适的激活函数，将输入的噪声变量映射为图像；反卷积层的输出特征图宽、高计算公式如下：

13、hout＝(hin-1)×s[0]-2×p[0]+kernel_size[0]  (1)，

14、wout＝(win-1)×s[1]-2×p[1]+kernel_sixe[1]  (2)，

15、公式(1)和(2)中，hin表示反卷积层的输入特征图高，win表示反卷积层的输出特征图宽，hout表示反卷积层的输出特征图高，wout表示反卷积层的输出特征图宽，p表示填充，s表示步长，kernel_size表示卷积核大小，索引[1]表示宽度方向的，[0]表示高度方向上的，p越大，输出特征矩阵高和宽越小；

16、步骤二(二)、构建判别器d网络和分类器c网络；设计为两个结构相同的卷积网络，加入一层全连接层，同时有bn层和激活层，其网络层数不大于生成器网络层数；判别器输入为生成器合成图像与真实数据集图像，输出判别结果，分类器输入为真实数据图像，输出对应伪标签；

17、步骤二(三)、构建目标损失函数；在继承gan的基础上，利用交叉熵原理和kl散度构建损失函数，定义如下：

18、

19、公式(2)中，e(x,y)表示数学期望，(x,y)表示样本标签数据，c描述条件分布pc(x,y)≈p(y|x)，g描述条件分布pg(x,y)≈p(x|y)，d判别(x,y)是否来自真实数据分布p(x,y)，d(x,y)即d网络判断g生成图片是真实的概率；在理想情况下，当分类器c和生成器g定义的条件分布都收敛于真实数据分布p(x,y)时，即三者的最优博弈均衡点；α∈(0,1)是一个常数，决定了g和c之间的相对重要性，该权重参数用于平衡分类和生成的比重；rl是为了保证三者共同对抗的全局最优点，在c中加入的标准监督损失，定义如下：

20、rl＝e(x,y)～p(x,y)[-logpc(y|x)]；

21、步骤二(四)、网络模型训练；在预处理好的数据集上对构建的tgan网络进行训练，对该模型的调参，以达到最优效果的tgan模型，能够生成具有多种种类特征的逼真图像。

22、进一步的，步骤三中评估卵巢疾病合成图像的步骤为：

23、步骤三(一)、专家评估：将步骤二中训练好的模型生成的超声图像和原始的超声图像均处理为感兴趣区域，交由放射科医生根据多张图像做评估和研究。一是判断合成卵巢疾病的外观是否真实，二是对所产生的病变做良恶性判断，以验证合成数据的可信度；

24、步骤三(二)、图像质量指标定量评估：针对步骤二中训练好的模型生成的超声图像，分别计算全局域图像和仅为roi图块的均方误差、峰值信噪比、结构相似性指数；

25、步骤三(三)、svm分类性能测试：在不同的卵巢超声数据上训练相同的svm进行卵巢肿瘤的良恶性分类，分为两组输入数据：真实数据和混合数据，根据分类模型在测试数据集上的表现，对比两组数据的指标差异。

26、进一步的，步骤四中实现端到端的卵巢疾病智能合成gui界面的步骤包括：

27、步骤四(一)、图像生成模块设计：接入已训练好的tgan模型，调用该模型，并保存生成的多组图像和标签；

28、步骤四(二)、指定图像显示模块设计：接收并识别用户的输入指令，对应输出并显示对应的合成图像和类别名称；

29、步骤四(三)、整体界面设计与优化：优化各部件与用户操作，实现最终整体端到端的数据合成，提升界面的可视化效果和实用性。

30、本发明的有益效果是：

31、1、本发明使用tgan模型能够生成高质量和多样性的卵巢疾病超声图像，根据不同的输入数据生成具有不同特征的超声图像，有利于后续卵巢疾病智能诊断的相关研究；

32、2、本发明使用结合svm网络对合成卵巢疾病超声图像进行分类测试，一定程度上可以提高分类任务的准确率，证明了生成数据的成像质量高且可以广泛应用于智能诊断算法中；

33、3、本发明搭建的卵巢疾病智能合成gui界面实现了端到端的数据合成，有利于该技术的应用推广；

34、4、本发明涉及图像处理技术领域与医学辅助诊断领域，对于智能辅助诊断具有积极的推动作用。