基于U-Net超声胎心和胎肺深度学习联合分割方法与流程

本发明属属医学图像处理技术领域，具体涉及一种基于u-net超声胎心和胎肺深度学习联合分割方法。

背景技术：

在孕妇的临床超声产前检查诊断中，需要对胎儿的先天性心脏病进行筛查和对肺的成熟度进行评估，因此，对图像中的心脏组织和肺的轮廓分割显得格外重要。

目前对于胎儿超声图像中心脏和肺组织联合分割的研究相对较少，大多是针对于单独的心脏和肺进行分割，忽略了图像中心脏与肺的相互关联关系。比如，对于胎儿心脏的超声图像的分割问题，c.shobananageswari等人在文献“s.nageswari,andp.helen,preservingtheborderandcurvatureoffetalheartchambersthroughtdywtperspectivegeometrywrapsegmentation.multimediatoolsandapplications,77,8,10235-10250,2018.”中采用了横向二进小波变换的方法对胎儿心室超声图像进分割分析。vargas-quintero等人在文献“l.vargas-quintero,b.escalante-ramírez,l.marín,m.huerta,f.cosio,andh.olivares,leftventriclesegmentationinfetalechocardiographyusingamulti-textureactiveappearancemodelbasedonthesteeredhermitetransform.computermethodsandprogramsinbiomedicine,137,231-245，2016.”中采用了基于hermite变换的多纹理主动外观模型，对左心室超声心动图像进行了分割。在关于胎儿肺的超声图像的分割研究中，l.xiaomin等人在文献“l.xiaomin.,w.yuanyuan,y.jinhua,andc.ping，fetallungsegmentationusingtexture-basedboundaryenhancementandactivecontourmodels，in20103rdinternationalconferenceonbiomedicalengineeringandinformatics,1,pp.264-268,2010.”中，通过对胸腔超声图像进行降噪和纹理增强，采用theexpectationmaximization(em)边界分割算法获取简化的边缘，然后通过thevectorfieldconvolutionmodel(vfc)模型获取到实际边缘。

以上是对于胎肺或胎心超声图像进行分割的方法，均是针对于单个组织的分割，忽略了对象之间相互关系；此外，这些方法多数通过提取手工设计的图像特征进行超声图像分割，需要借助大量经验知识，在模型中选取一个合适的阈值对于方法的效果影响很大，且分割过程是通过排除胸腔中其余组织的位置进行分割的，属于间接分割而非端到端的方法，因此，方法泛化能力不足，难以推广。

技术实现要素：

为了克服现有胎儿心脏和肺超声图像分割技术的分割精度低、方法鲁棒性差的不足，本发明提供一种基于u-net超声胎心和胎肺深度学习联合分割方法。首先，构建带有不同标注信息的胎儿心脏和肺的超声图像数据集；然后，利用数据集对fasterrcnn网络进行训练，并进行目标检测，得到包含心脏和肺的感兴趣区域(regionofinterest，roi)的小尺度胎肺胎心图像；最后，设计新的分割网络模型，并采用增强后的小尺度胎肺胎心图像和预训练模型的方式，对分割网络模型进行参数训练，得到可进行胎心胎肺超声图像像素级分割的网络，实现胎儿心脏与肺的分割。本发明通过语义分割的方式分割胎儿心脏与肺的边缘，提供定量化分割结果，有助于后续进行胎儿心脏与肺的健康评估。

一种基于u-net超声胎心和胎肺深度学习联合分割方法，其特征在于包括以下步骤：

步骤1：分别构建得到超声胎心胎肺图像语义分割数据集和目标检测数据集，其中，语义分割数据集包括胎儿心脏和肺的超声图像及图像中心脏边缘与肺边缘的坐标点标注信息，目标检测数据集包括胎儿心脏和肺的超声图像及包络心脏和肺的矩形框标注信息，每个数据集中的图像数量不少于500幅；所述的超声图像为对原始的医疗数位影像传输协定格式的超声图像进行脱敏处理后，再存储为数字图像格式的图像。

步骤2：以目标检测数据集中超声胎心胎肺的图像为输入，对fasterrcnn网络进行训练，得到训练好的网络；然后，利用训练好的网络对语义分割数据集中的超声胎心胎肺图像进行目标检测，得到包络心脏和肺的矩形框坐标信息，按照矩形框坐标对语义分割数据集中的图像进行裁剪处理，保留矩形框坐标对应的矩形图像，得到小尺度的胎肺胎心图像语义分割数据集。

步骤3：分别对小尺度的语义分割数据集中的每一幅图像进行几何变换和颜色变换，得到图像增强后的小尺度语义分割数据集；所述的几何变换包括对图像进行翻转、旋转、裁剪、缩放、变形中的一种或者若干种组合的变换；所述的颜色变换，是指依次对图像进行噪声添加、模糊、擦除和填充处理。

步骤4：以u-net网络模型为骨干网络，分别添加resnet模块到其左侧编码网络的4个卷积部分之前，并将左侧编码网络与右侧解码网络输出的相应同尺度的特征图同时输入到注意力模块，得到ra_u-net网络模型；采用imagenet数据集对ra_u-net网络进行训练，以训练后得到的网络参数作为迁移学习的预训练参数。

步骤5：以图像增强后的小尺度语义分割数据集作为训练集输入到ra_u-net网络模型进行训练，其中，以步骤4得到的预训练参数作为网络初始化参数，以交叉熵函数作为损失函数最小化网络预测的分割结果与数据集中的真实标记之间的差距，采用随机梯度下降法进行优化，当网络的损失函数达到最小值，网络训练结束，得到训练好的ra_u-net网络。

步骤6：采用训练好的ra_u-net网络对待分割的胎心胎肺超声图像进行处理，输出即为心脏和肺部组织的分割轮廓。

本发明的有益效果：由于构建了胎心胎肺超声图像的语义分割数据集和目标检测数据集，以小尺度的语义分割数据集为网络输入，可以使的分割结果精确；由于构建了新的ra_u-net网络模型，具有多尺度的细节特征提取以及注意力机制，利用其进行分割，具有更加精确的边缘信息提取。

附图说明

图1是本发明的基于u-net超声胎心和胎肺深度学习联合分割方法流程图；

图2是本发明实施例的超声胎心胎肺图像语义分割数据集中的图像示例；

图中，(a)-原始超声胎心与胎肺图像，(b)-标记数据，1-胎心区域，2-胎肺区域；

图3是本发明实施例的超声胎心胎肺图像目标检测数据集中的图像示例；

图4是本发明的ra_u-net网络模型示意图；

图5是采用本发明方法进行胎心胎肺超声图像分割实验图像；

图中，(a)-原始超声胎心与胎肺图像，(b)-分割结果图像，1-胎心组织，2-胎肺组织。

具体实施方式

下面结合附图和实施例对本发明进一步说明，本发明包括但不仅限于下述实施例。

如图1所示，本发明提供了一种基于u-net超声胎心和胎肺深度学习联合分割方法，其具体实现过程如下：

1、通过对原始的医疗数位影像传输协定(dicom)格式的超声图像进行脱敏处理，即包括去掉数据中的病人姓名、年龄、医院信息等隐私信息，同时将其中的图像数据存储成无损的常见图片格式(如tif、bmp、png等)，并分别进行信息标注，即通过专业的超声医生对图像中的胎儿心脏和肺组织分别进行边界勾画，同时在胎儿心脏和肺的共同区域进行组织包含框的标记，构建得到原始的超声胎心胎肺图像语义分割数据集和目标检测数据集。其中，语义分割数据集包括胎儿心脏和肺的超声图像及其图像中心脏边缘与肺边缘的坐标点标注信息，图2给出了数据集中单一图像示例，左侧为原始超声图像，右侧为标记信息；目标检测数据集包括胎儿心脏和肺的超声图像及其图像中包络心脏和肺的矩形框标注信息，图3给出了数据集中单一图像示例。语义分割数据集和目标检测数据集中的图像数量均不少于500幅。

2、利用构建得到的超声胎心胎肺图像目标检测数据集，训练目标检测网络模型，实现对图像中胎儿心肺同时存在的感兴趣区域(regionofinterest，roi)进行检测。其中，目标检测网络采用现有的fasterrcnn网络。在网络模型训练完成后，通过在目标检测数据集上进行检测，得到感兴趣区域坐标，与原始的语义分割数据集进行裁剪处理，按照矩形框坐标原始图像中选择相应矩形图像，得到小尺度的胎肺和胎心语义分割数据集。

3、构建面向胎肺与胎心联合分割的深度学习网络模型，利用前面得到的小尺度的语义分割数据集，挖掘图像中的胎肺与胎心的位置关系，通过图像中学到的胎肺组织特征促进胎心区域的分割，同时胎心组织的特征也可以在学习中促进胎肺的分割，最终胎心与胎肺组织都可以达到一个良好的分割效果。

考虑到超声图像数据规模不够庞大的现状，拟采用两种方式提升模型的能力。首先，对图像进行增强处理，以提升模型的泛化能力。本发明采用的图像增强方式有：图像的几何变换和颜色变换，其中，图像的几何变换，包括对图像进行翻转(水平或者是竖直方向)、旋转(以一定范围的角度进行旋转)、裁剪、缩放、变形等多种形变方式单个或者组合的方式；图像的颜色变换，包括对图像进行噪声添加(如高斯白噪声)，模糊、擦除(图像中随机区域的小块像素)和填充(图像中擦除的像素值以0值进行填充，也可以采取别的方式进行缺失区域的填充)。

4、采用迁移学习的方法，使用预训练模型加速训练过程解决问题。当前迁移学习常用的大型数据集有google的imagenet数据集，也可以采用相似度更高的数据集litslivertumorsegmentationdataset等。在预训练模型的选取上，借鉴vggnet、resnet、inceptionmodel、u-net等优秀的模型设计，本发明采用u-net作为网络模型的骨干网络。在网络中加入resnet模块实现网络更高层语义的抽取，同时设计可以提取更加丰富特征的网络模块，并加入attention机制，得到新的ra_u-net网络模型，以确保对于胎心和胎肺关系的提取。图4给出了网络结构示意图。ra_u-net网络中包含卷积块(即图中方块)、残差块(即图中连线)、注意力模块(即图中圆圈)，卷积核大小为3*3，步长为1。网络共分为9层，左侧网络(即图中左侧4层及最下层)，主要负责编码特征进行提取，右侧网络负责模型特征的还原以及特征解码，实现组织边界的精确分割。

本发明将构建好的ra_u-net网络模型先通过imagenet数据集进行训练，并以训练后得到的网络参数作为迁移学习的预训练参数。然后，通过迁移学习的方式将参数作为胎儿心肺联合分割的预训练参数，这样就不必从零开始训练，加速模型的训练。

5、以图像增强后的小尺度语义分割数据集作为训练集输入到ra_u-net网络模型进行正式训练，其中，网络的初始化参数设置为前面得到预训练参数，并以交叉熵函数作为损失函数最小化网络预测的分割结果与数据集中的真实标记之间的差距，采用随机梯度下降法进行优化，当网络的损失函数达到最小值，网络训练结束，得到训练好的ra_u-net网络。

6、采用训练好的ra_u-net网络对待分割的胎心胎肺超声图像进行处理，即完成对胎儿心脏和肺部组织的轮廓分割。

图5给出了采用本发明方法进行分割实验的原始图像和分割结果图像，可以看出，能够较好地分割出胎心组织和胎肺组织。本发明方法很好地解决了现有的胎儿心脏、肺的组织边缘分割难点问题，包括针对单个组织分割需要训练特定模型和现有的方法未考虑到组织间的相互关系的问题等，从而解决了对于组织的边缘轮廓分割效果并不理想的问题。本发明基于u-net模型设计联合分割模型，对胎心和胎肺组织进行语义分割，能够识别准备分割心脏与肺，并得到它们的彼此的组织边缘轮廓，起到较好的联合分割的效果。