一种乳腺癌病灶图像分割数据集的小样本扩增方法

本发明属于医学影像生成领域，具体涉及一种乳腺癌病灶图像分割数据集的小样本扩增方法。

背景技术：

1、乳腺癌是女性常见的恶性肿瘤之一，早期诊断和治疗至关重要。近年来深度学习在医学图像处理领域取得了显著的成果，语义分割技术能够准确地标记图像中的病灶区域，有助于医生更快速地做出诊断和制定治疗计划。

2、然而，基于深度学习的语义分割模型通常需要大量的标记数据来获得高准确度。对于乳腺癌病灶图像，由于受到患者个人隐私的保护，获取足够规模的标记数据变得异常困难。此限制导致当前可用的乳腺癌病灶数据集的规模相对较小，进而影响了分割模型的性能。

3、为了克服这一挑战，近年来，对抗生成网络(gan)作为一种强大的生成模型被引入到医学图像处理领域。gan可以学习从潜在空间中生成高质量的图像样本，这些图像样本在视觉上与真实图像非常相似。通过使用gan，我们可以生成合成的乳腺癌病灶图像，从而扩充现有的数据集。

4、这种使用对抗生成网络生成乳腺癌病灶图像分割数据集的方法具有以下优势：

5、1)数据增强，生成的合成图像能够有效地扩充有限的真实数据集，增加了训练样本的数量，从而提高了分割模型的泛化能力。

6、2)隐私保护，由于合成图像是通过gan从潜在空间生成的，并不是真实的患者图像，因此无需担心泄露患者隐私。

7、3)真实性，gan能够生成高质量的合成图像，这些图像在视觉上与真实图像相似，从而使得分割模型可以在更真实的情况下进行训练。

8、但是传统生成模型在面对高分辨率图像时效果并不理想，因此本发明所使用的对抗生成网络为当前最为先进的无条件生成网络stylegan3，但是stylegan3在面对小数据集时生成效果并不理想。

技术实现思路

1、为了解决这一问题本发明使用adaptive discriminator augmentation判别器，通过在训练判别器和生成器时加入数据增强，同时通过一个自适应参数p来控制数据增强的强度，最终使得本专利所设计的图像生成模型，可以在很小的数据集上生成高分辨率的图像，最终使用本专利所设计的生成网络生成图像与原始数据集一起训练语义分割网络。

2、为实现上述目的，本发明提供一种乳腺癌病灶图像分割数据集的小样本扩增方法包括如下步骤：

3、步骤一，广泛搜集乳腺癌病灶的超声波图像数据。收集的数据集经过专业医生的精细标注，将其划分为训练集、验证集和测试集，以确保训练、验证和评估过程的科学可靠性。

4、步骤二，使用划分好的训练集对语义分割网络进行预训练。为了克服过拟合和提高网络的泛化能力，本专利采用批归一化、dropout和数据增强等技术，确保模型对不同病灶样本有良好的适应性。在训练过程中，定期保存模型的最佳权重文件，以备后续步骤使用。

5、步骤三，构建对抗生成网络，包括生成网络和判别器网络。生成网络的核心是mapping network和synthesis network，mapping network将潜在图像特征向量映射为图像特征，为后续的生成过程提供图像特征；synthesis network将图像特征转换为与训练集相似的高分辨率图像。通过这两个网络的联合作用，最终可以生成具有高度真实性的合成图像。

6、步骤四，将生成网络生成的合成图像与划分好的训练集中的真实图像一同输入到adaptive discriminator augmentation中。在此过程中，采用自适应的训练策略，根据不同的图像数据进行优化。

7、步骤五，通过对抗训练的方式来优化对抗生成网络。具体而言，保持生成网络的参数不变，对判别器网络进行参数更新，并随后保持判别器网络参数不变，对生成网络进行参数更新。通过这种交替训练的方式，逐步优化生成网络和判别器网络，使其在整个训练过程中达到平衡。

8、步骤六，使用labelme为生成的图像制作相应的标签图片。将生成网络生成的图像和标签图片与原始训练集进行结合，形成新的训练集。此过程增加了样本的多样性和数量，提高了分割模型对各种病灶形态和特征的学习能力。

9、步骤七，将步骤二中预训练权重文件加载到语义分割网络中，并使用步骤六中新训练集进行再次训练。在这一过程中，语义分割网络将在更加丰富的数据集上进行训练，进一步优化模型的性能。这样，获得的分割模型在乳腺癌病灶超声波图像分割任务中将具备更高的准确性、鲁棒性和泛化能力。

10、优选的，步骤一中数据集的制作可以使用现有公开的乳腺癌病灶超声波图像数据，如kaggle比赛中的breast ultrasound images dataset数据集，也可与医院进行合作，收集数据集并且在医生的指导下进行标签数据集的制作，之后在进行训练集、验证集和测试集的划分以及数据增强。

11、优选的，步骤一中，在数据集的制作过程之中可以根据自己设备的计算性能，扩

12、大特征图的尺寸到256×256或者512×512甚至更大，在更大的图像数据集中所训练出的网络性能更好。

13、与现有技术相比，本发明的有益技术效果：

14、本发明针对乳腺癌病灶图像分割数据集的小样本扩增设计了一种无条件乳腺癌病灶图像生成模型算法，此算法的生成网络使用当前最为先进的无条件生成网络stylegan3，针对乳腺癌病灶数据集规模较小的问题，本专利在判别网络中使用adaptivediscriminator augmentation，这使得本专利所设计的对抗生成网络可以在小型乳腺癌病灶数据集上生成大量高质量、高分辨率的乳腺癌病灶图像，可以在保护病人隐私的情况下扩充乳腺癌病灶图像分割数据集的数量，同时还能保证扩充数据集的真实性和准确性，最终使得乳腺癌病灶图像分割网络的分割准确度变得更高。

技术特征：

1.一种乳腺癌病灶图像分割数据集的小样本扩增方法，其特征在于，包括以下步骤：

2.根据权利要求1所述的一种乳腺癌病灶图像分割数据集的小样本扩增方法，其特征在于，所述步骤一中数据集为kaggle上所收集的breast ultrasound images dataset数据集中benign部分。

3.根据权利要求1所述的一种乳腺癌病灶图像分割数据集的小样本扩增方法，其特征在于，所述步骤二使用语义分割网络encnet，其主干网络选用resnet50，使用步骤一中的数据集对语义分割网络进行预训练，并保存网络预训练权重。

4.根据权利要求1所述的一种乳腺癌病灶图像分割数据集的小样本扩增方法，其特征在于，所述步骤三中mapping network由两层全连接层组成，将潜在图像特征向量进行解耦合，将解耦合完成的特征分别经过不同的仿射变化被输入到synthesis network的不同层中。

5.根据权利要求1所述的一种乳腺癌病灶图像分割数据集的小样本扩增方法，其特征在于，所述步骤三中synthesis network由14层神经网络和torgb层组成，神经网络的输入为fourier向量而不是stylegan2中常数向量，向量经由14层变换网络最后经由torgb层恢复成三通道图像，其中14层网络的输入为上一层网络的输出，每层synthesis network在接收到上层输入后，经由ema处理输入图像，将mapping network的特征经仿射变换后作用于每层synthesis network的卷积核，卷积核先后经过modulation和demodulation最终作用于经过ema处理完成的图像，之后将输入图像添加偏执后经由upsample、激活函数和downsample，同时在进行卷积之前引入一个固定大小的边界，在进行downsample后进行裁剪，将引入的边界裁剪，在经过14层上述过程后经由torgb层，将输入信息转化为三通道图像。

6.根据权利要求1所述的一种乳腺癌病灶图像分割数据集的小样本扩增方法，其特征在于，所述步骤四使用先进的判别器模型adaptive discriminator augmentation，即在训练生成器和判别器时需要分别在图像进入判别器之前增加数据增强，但是为了避免增强泄漏，这里使用一个自适应参数p来控制数据增强强度，这里p的调节依照参数r的大小进行调节，r的公式为：

7.根据权利要求1所述的一种乳腺癌病灶图像分割数据集的小样本扩增方法，其特征在于，所述步骤五对上述所构建的对抗生成网络进行训练，首先控制生成网络权重不变，更新判别网络参数，此时所使用到的损失函数为：

8.根据权利要求1所述的一种乳腺癌病灶图像分割数据集的小样本扩增方法，其特征在于，所述步骤六在于使用labelme将生成器生成的图片标注出生成网络生成病灶图片的标签，将原始病灶图像和生成的图片以及原始标签图片和生成图像的标签图片制作成新训练集。

9.根据权利要求1所述的一种乳腺癌病灶图像分割数据集的小样本扩增方法，其特征在于，所述步骤七在于将步骤二中预训练权重加载至于语义分割网络，使用步骤六中新构建的训练集对语义分割网络进行训练。

技术总结
本发明属于医学影像生成领域，具体涉及一种乳腺癌病灶图像分割数据集的小样本扩增方法，步骤如下：数据集的制作与分割模型的训练、构建对抗生成网络、训练对抗生成网络、对生成网络生成的图像进行处理、分割网络再训练。相较于原始stylegan3生成模型申请人引入adaptive discriminator augmentation判别器，这使得本申请所提出模型在小数据集上生成效果优于原始stylegan3网络，并且经过扩充之后的数据集所训练的网络比原始数据集所训练的网络具有更高的分割精度。

技术研发人员：高存正,宋博
受保护的技术使用者：江苏师范大学
技术研发日：
技术公布日：2024/1/15