一种基于生成对抗网络的胚胎组织分割方法与流程

本发明涉及一种基于生成对抗网络的胚胎组织分割方法，属于医学图像处理技术领域。

背景技术：

随着数字成像技术的快速发展，医学成像逐渐广泛应用于临床的检测与治疗。医生可借助医学影像在判断病理原因、治疗过程中进行干预、治疗结束后查看效果等方面进行准确的诊断与病因定位，如此智能化的诊断缩短了诊断时间的同时提高了诊断的准确率。对于医学图像的观察和分类大概分为三个过程，起初靠有经验的医师对图像进行观察，主观因素强且费时费力；加入计算机技术后图像的识别可以做到半自动工作，即在医师的参与下进行更准确的较为高效的图像识别；随着人工智能技术的发展对于图像的识别与分类可以在部分领域图像中实现无需借助人力的全自动识别。由于未经处理的图像往往重叠复杂、难以辨认，存在多模态性、图像较为模糊、边缘信息较多和数据异质等性质。只通过数字成像展现的医学图像往往不能为医生所用，需要运用图像处理技术进行图像的分割、增强等，来达到各专业医生的要求标准。为了满足愈加复杂的医学图像分析和处理要求，研究优化神经网络方法并将其运用在医学图像处理中成为近年来的研究趋向之一，以期运用计算机技术帮助构建辅助治疗系统和自动检测系统。

对于细胞图像的处理是医学影像中的一个重要研究方向。相较与其他发展较为成熟的医学图像(例如mr和ct等)，细胞图像有它自身的特点：一是依赖提取和制片技术，二是图像细小复杂，观察困难。目前在对于癌变细胞检测等细胞形态检查的研究中，仍主要依赖有经验的医师或专业技术人员进行肉眼比对筛选，加上观察条件、医生主观因素等方面的影响，容易造成误判。加强细胞图像的识别和分析准确率，除了进行制片和显微镜成像方面的提高之外，引入计算机技术进行智能的细胞的边缘检测、分割、分类等工作，从而将计算机提供的高效准确和医师具备的知识和经验相结合，降低人工检测中存在的固有的系统误差，提高细胞检测的效率和准确度，建立能真正投入应用的高效的、智能的、可靠的医疗系统。

技术实现要素：

本发明的目的在于针对现有医疗辅助系统的训练过程中数据样本不充足，导致的大多使用传统机器学习方法进行训练的现象，提出了一种基于生成对抗网络的胚胎组织分割方法，旨在运用神经网络方法进行医疗辅助诊断及组织分割识别。

为达到以上目的，本发明拟采用以下技术方案。

所述基于生成对抗网络的胚胎组织分割方法依托于生成对抗网络；

其中，生成对抗网络包括u-net网络、判别器网络以及组织品质识别网络，具体通过三个网络之间的对抗训练来提升u-net网络的分割精度u-net网络又包括自注意力机制模块和残差网络模块，具体为：

u-net网络对胚胎组织切片图像进行组织分割掩码映射，判别器网络判别分割掩码结果和正式人工分割结果来提升u-net网络的分割效果；组织品质识别网络识别分割结果以及原始胚胎图像；

生成对抗网络中的分割网络考虑了网络中感受野大小与图像自相似性信息获取具有对应关系，为了在获取大感受野和计算量之间取得平衡，残差网络模块使用空洞卷积网络层作为其组成单元；

其中，对应关系为：感受野的大小对应图像自相似性信息获取的难易程度；

u-net网络的基础组成部分包括深度下采样模块和自注意特征融合模块；其中，深度下采样模块包括下采样层和残差网络模块；自注意特征融合模块，包括自注意力机制模块和残差网络模块；其中，自注意力机制模块，通过对特征图中任意两像素点的之间的关系计算，获取特征图的全局信息，保留更多的细节信息；

所述基于生成对抗网络的胚胎组织分割方法，包括以下步骤：

步骤101：构建u-net网络、判别器网络以及组织品质识别网络；

其中，构建的u-net网络包括深度下采样模块、自注意特征融合模块和深度上采样模块；

其中，深度下采样模块包括步长为2的卷积网络和残差网络模块；

自注意特征融合模块包括残差网络模块和自注意力机制模块；

深度上采样模块包括反卷积网络层；

组织品质识别网络通过对胚胎品质识别，充分利用胚胎成长状态的信息，进一步提升u-net网络分割效果；

步骤102：制作分割网络训练集，具体为：根据标注的图片分割结果生成图片分割掩码，再进行数据增强以获取更多的训练集，将所有标注分割结果的胚胎组织切片图像与其对应的分割掩码和组织切片品质汇总成训练所需的数据集，即制作完成了分割网络训练集；

其中，标注的图片分割结果为胚胎图像的分割掩码图像；分割网络训练集，即

其中，xi是第i张原始胚胎图像，yi是对应的分割掩码图像，li是对应的胚胎组织品质标注，n是训练集大小；

步骤103：配置生成对抗网络的网络训练所需参数，得到设置后的网络；

其中，网络训练所需参数包括：设置学习率、批处理大小、权值初始化方式、权值衰减系数、优化方法及迭代次数；

其中，优化方法是adam算法；设置后的网络包括设置后的u-net网络、设置后的判别器网络以及设置后的组织品质识别网络；

其中，θ1为设置的u-net网络及判别器网络的参数，θ2为设置的组织品质识别网络的参数；

步骤104：使用步骤102制作完成的分割网络训练集训练步骤103设置后的组织品质识别网络，得到训练好的组织品质识别网络；

其中，训练好组织品质识别网络即获得组织品质识别网络的权重；

步骤105：固定步骤104训练好的组织品质识别网络的权重，使用步骤102中制作完成的分割网络训练集结合组织品质识别网络训练步骤103设置后的网络中的u-net网络以及判别器网络，得到训练好的u-net网络；

其中，组织品质识别网络识别得到的识别误差作为训练u-net网络的损失函数的一部分，判别器网络的损失函数可表示为(1)，u-net网络的损失函数可表示为(2)：

其中，θ1是u-net网络及判别器网络训练设置的参数集，组织品质识别网络的映射表示为f，u-net网络的映射表示为g，判别器网络的映射表示为d，识别误差是训练后的组织品质识别网络的识别误差，||·||1表示l1范数，e·～d[f(·)]表示函数f(·)对·在分布d下的数学期望；

步骤106：使用步骤105训练好的u-net网络将未标注分割结果的胚胎组织切片图像作为输入，生成对应分割掩码图像。

有益效果

所述一种基于生成对抗网络的胚胎组织分割方法，与现有胚胎组织分割方法相比，具有如下有益效果：

1、所述胚胎组织分割方法依托的网络在训练分割时使用一个分类模型来补充损失，充分利用胚胎成长状态的信息，提升分割网络在胚胎组织分割领域的准确性；

2、所述胚胎组织分割方法依托的生成对抗网络生成器部分使用u-net网络，u-net网络具有能够通过少量的数据得到优质的分割结果的优势，并通过引入的自注意力机制，增加分割结果的细节部分；

3、所述胚胎组织分割方法依托的网络能够使用gpu进行计算，能够提升胚胎组织的分割效率，实现了对胚胎组织进行全自动的分割功能；

4、所述胚胎组织分割方法使用生成对抗网络框架来训练胚胎组织的分割网络，在同种条件下训练得到的u-net分割网络优于其他主流方法。

附图说明

图1是本发明一种基于生成对抗网络的胚胎组织分割方法的总流程图；

图2是本发明一种基于生成对抗网络的胚胎组织分割方法u-net网络中所使用的自注意力机制模块(selfattentionmodule)；

图3是本发明一种基于生成对抗网络的胚胎组织分割方法所使用的胚胎组织分割网络；

图4是本发明一种基于生成对抗网络的胚胎组织分割方法所使用的胚胎组织分割网络的深度下采样模块(deepdownsamplingblock)；

图5是本发明中所使用的胚胎组织分割网络的自注意特征融合模块；

图6是本发明中胚胎组织分割网络的训练方法。

具体实施方式

为了更好地说明本发明的目的和优点，下面结合附图和实例对发明内容做进一步说明。

实施例1

本实例公开的一种基于生成对抗网络的胚胎组织分割方法，使用生成模型替代传统分割方法，并加入预训练好的识别网络，提升模型的分割效果。之后，利用提升效果的分割模型对识别模型的数据进行预处理，进一步提升识别模型的品质检测效果。

所述基于生成对抗网络的胚胎组织分割方法，具体实施时如图1所示，包括以下步骤：

步骤101：构建u-net网络、判别器网络以及组织品质识别网络；

其中，构建的u-net网络包括深度下采样模块、自注意特征融合模块和深度上采样模块；

其中，深度下采样模块包括步长为2的卷积网络和残差网络模块；

自注意特征融合模块包括残差网络模块和自注意力机制模块；

深度上采样模块包括反卷积网络层；

生成对抗网络主要通过生成器和判别器之间的对抗学习，来使得生成器更好的拟合目标图像分布。本发明使用生成对抗网络框架来训练分割模型，如图6所示，其中使用u-net结构替代生成器部分，使用判别器识别真实标签和分割图像，缩小标签与分割图像之间的高次不一致性。并且额外加入一个预训练的分类网络，对分割后的图像结果进行品质分类，与原始图像的品质分级进行对比，为分割网络部分提供一个额外的损失，加快并提升分割网络的训练及准确度，即充分利用胚胎组织的成长状态的信息，实现有益效果1；

u-net框架u-net网络属于fcn网络的一种变体，也是encoder-decoder结构，其中，encoder负责特征提取功能，而decoder则负责将获取的最终特征反卷积重构出目标mask图像。本发明中使用u-net网络框架作为分割模型的基础框架，如图3所示，其中使用残差网络模块作为特征提取的基本模块，如图4所示。同时，u-net使用跳跃连接，这一步骤融合了底层信息的位置信息与深层特征的语义信息，并且相较于fcn中深层信息与浅层信息融合是通过对应像素相加的方式，u-net则是通过拼接的方式将两者结合。特征图相加的方式使得新的特征图在维度未发生变化的同时各个维度包含了更多特征，但特征图拼接的方式则保留了更多的维度和位置信息，这使得后来的卷积层能够在深层特征与浅层特征之间自由选择，在语义分割中能取得更好的效果。除此之外，在特征提取模块中加入自注意力机制模块，如图5所示，以获取特征图的全局信息，保留感兴趣区的更多细节信息，即实现有益效果2；

自注意力机制模块在卷积神经网络中，每次卷积操作由于卷积核的尺寸覆盖面积较小，无法直观获取较远像素点间的特征信息。因此我们引入了自注意力模型，该模型通过计算图像中任意两个像素点之间的关系，一步到位地获取图像的全局几何特征。如图2所示，给定一个中间特征图x作为输入，自注意力机制模块可以推断出一个包含图像中任意两点间联系的方阵，该方阵用于调整输入的特征图x得到输出y。具体操作子步骤如下所示：

步骤101.a自注意力机制模块对特征图x进行两种1x1滤波变换，对结果进行转置相乘并进行归一化，获得特征图的注意图o；

步骤101.b将特征图x进行1x1滤波变换，并与步骤101.a获取的注意图o相乘，再进行一次1x1的滤波变换，获得自注意力特征图y；

该过程用公式表示如(1)：

y＝v(softmax(f(x)^tg(x))h(x))(3)

其中，f和g是步骤101.a中对特征图x进行的两种1x1的滤波变换，softmax是步骤101.a中的归一化操作，h是步骤101.b中对特征图x进行的1x1滤波变换，v是步骤101.b中对特征图x和注意图o乘积进行的1x1滤波变换；

步骤102：制作分割网络训练集，具体为：根据标注的图片分割结果生成图片分割掩码，再进行数据增强以获取更多的训练集，将所有标注分割结果的胚胎组织切片图像与其对应的分割掩码和组织切片品质汇总成训练所需的数据集，即制作完成了分割网络训练集；

其中，标注的图片分割结果为胚胎图像的分割掩码图像；分割网络训练集，即

其中，xi是第i张原始胚胎图像，yi是对应的分割掩码图像，li是对应的胚胎组织品质标注，n是训练集大小；

训练分割模型所用到的胚胎细胞原始图像为有品质标注且分割标注的胚胎样本。分割模型训练过程中，我们随机抽取500张胚胎图片作为训练集，16张胚胎图片作为验证集，82张胚胎图片作为测试集。我们通过边缘检测的方式提取所有图像中胚胎细胞图像部分，并将图像大小固定在224x224，作为处理好的训练集。为了进一步扩大数据，我们采用三种方式，包括随机旋转90度、180度、270度，随机水平方向翻转，随机竖直方向翻转。使用labelme软件标注的胚胎图像，并生成图像对应的掩码图像，再由专业人士标注对应胚胎组织的品质等级。

步骤103：配置生成对抗网络网络训练所需参数，得到设置后的网络；

其中，网络训练所需参数包括：设置学习率、批处理大小、权值初始化方式、权值衰减系数、优化方法及迭代次数；

其中，优化方法是adam算法；设置后的网络包括设置后的u-net网络、设置后的判别器网络以及设置后的组织品质识别网络；

其中，θ1为设置的u-net网络及判别器网络的参数，θ2为设置的组织品质识别网络的参数；

步骤103所述的学习率初始化为2e^-4，批处理大小设为32，表示单次迭代优化所处理的图像块数，权值初始化方式为xavier初始化方法，优化方法使用adam算法，权值衰减系数为0.5。

步骤104：使用步骤102制作完成的分割网络训练集训练步骤103设置后的组织品质识别网络，得到训练好的组织品质识别网络；

其中，训练好组织品质识别网络即获得组织品质识别网络的权重；

组织品质识别网络的损失可表示为：

其中，θ2是组织品质识别网络训练设置的参数集，组织品质识别网络的映射表示为f；

步骤105：固定步骤104中训练好的组织品质识别网络的权重，使用步骤102中制作完成的分割网络训练集结合组织品质识别网络训练步骤103设置后的网络中的u-net网络以及判别器网络；

具体实施时，使用gpu完成步骤104和步骤105网络的训练过程，并利用cudnn库来加速神经网络的训练过程，即实现有益效果3；

其中，组织品质识别网络识别得到的识别误差作为训练u-net网络的损失函数的一部分，判别器网络的损失函数可表示为(1)，u-net网络的损失函数可表示为(2)：

其中，θ1是u-net网络及判别器网络训练设置的参数集，组织品质识别网络的映射表示为f，u-net网络的映射表示为g，判别器网络的映射表示为d，识别误差是训练后的组织品质识别网络的识别误差，||·||1表示l1范数，e.～d[f(·)]表示函数f(·)对·在分布d下的数学期望；

步骤106：使用步骤105训练得到的u-net网络将未标注分割结果的胚胎组织切片图像作为输入，生成对应分割掩码图像。

为说明本发明的效果，本实施例将在实验条件相同的情况下将我们的方法与其他几种主流方法进行对比。

1.测试环境

本实验的硬件测试条件为：corei7-7700cpu3.60ghz，内存32g。gpu为nvidiageforcegtx1080tigpu，显存11g，cuda8.0，开发工具为python3.5和opencv2.3.1。

2.评价方法

(1)使用dice系数来计算分割结果与目标图片间的相似度，进行分割结果进行评测，dice系数的定义如下：

其中，x和y分别表示分割网络输出的mask图像和对应的真实mask图像。

(2)使用精确度、召回率和f1值来对分割模型结果进行评测，精确度、召回率和f1值的定义如下：

其中，tp表示正确地把正样本预测为正，fp表示错误地把负样本预测为正，fn表示错误地把正样本预测为负。

3.组织分割网络检测结果

通过上述的分割效果对比，可以发现我们的分割方法效果远强于传统的e-net和icnet分割网络，相较于单一的u-net网络，dice系数有约2个百分点的提升，并且在精确度、召回率以及f1值上也有一定程度的提升。

以上所述的具体描述，对发明的目的、技术方案和有益效果进行了进一步详细说明，所应理解的是，以上所述仅为本发明的具体实施例而已，并不用于限定本发明的保护范围，凡在本发明的精神和原则之内，所做的任何修改、等同替换、改进等，均应包含在本发明的保护范围之内。