一种胎盘植入分型评估工具和方法

本发明涉及图像分类，具体涉及一种基于感兴趣区域多模态mri图像融合的胎盘植入分型评估工具和方法。

背景技术：

1、胎盘植入性疾病（placenta accrete spectrum disorders, pas）是胎盘绒毛不同程度侵入子宫肌层引起的一系列疾病的总称，根据胎盘侵入深度，分为粘连型胎盘植入（placenta accreta, pa）、植入型胎盘植入（placenta increta, pi）及穿透型胎盘植入（placenta percreta, pp）。随着我国剖宫产术后再次妊娠比例上升，胎盘植入并发症的发生率不断增加，其主要风险问题为致命性产后出血及高子宫切除率，严重者甚至导致孕产妇死亡。文献报道，女性围产期子宫切除发生率为0.024%～0.87%，而其中因胎盘植入切除者高达73.3%（王媛媛，中国实用妇科与产科杂志2020年5月第36卷第5期《利用影像学指标判断胎盘植入患者不良妊娠结局》）。因此如何术前准确评估植入类型、预测术中出血可能、探索创新保留子宫、减少出血的手术方式，从而最终降低致命性产后出血率、年轻妇女子宫切除率及孕产妇死亡率、避免血源的浪费，减少患者及国家的经济负担是目前临床亟待迫切解决的实际问题（参见中国专利文献cn201610794451.6）。

2、胎盘植入的病理学原理和机制尚不明确，目前研究认为与蜕膜缺陷有关，绒毛附着处的子宫蜕膜组织有部分缺失，导致胎盘绒毛植入到子宫肌层甚至浆膜层或毗邻脏器。胎盘植入的金标准是术后通过对胎盘及子宫肌层样本细胞进行病理学分析，观察是否发生植入现象。该方法的特点是，需要在术后进行，并且需要2-3天的化验时间。但是诊断准确率高，是一种后验方法，用于验证和研究植入病理原因。胎盘植入的术前诊断评估方式主要有超声和核磁成像（mri）两种。超声是大多数孕妇通常采用的方式，由于其具有价格便宜、操作便捷等特点，通常要求孕妇定期进行超声检查。核磁成像作为近几年常用的一种方式，逐渐引起了广泛的关注。核磁成像的特点是清晰度高，可以看到胎盘纹理、子宫肌层厚度等远超超声成像的诸多细节，因此成为了一种重要的辅助手段。

3、中国专利文献cn201610794451.6公开的技术方案是将胎盘植入按照超声影像学特征分为（超声）轻型和中型、重型，分别用来预测粘连型和植入型、穿透型；通过b超图像数据进行图像处理选择了9种指标（胎盘位置，胎盘厚度，胎盘后低回声带，膀胱线，胎盘陷窝，胎盘基底底部血流，宫颈血窦、宫颈形态以及剖宫产史）建立超声评分量表，根据评分量表对临床可疑胎盘植入的患者进行分型预测。虽然该专利文献提出了一种用于胎盘植入预测量化的b超评价方法，但是这9种指标的选择、9种指标的b超图像预处理、各个指标与结果的相关性人为赋予权重等这些工作主要依赖医生主观经验较多、泛化能力较弱、不同医院机构标准存在差异等问题。

4、本技术的发明人提出了一项新发明来克服现有技术的缺点，所述新发明是一种基于感兴趣区域多模态mri图像融合的胎盘植入分型评估方法，是一种端到端的用于评估子宫胎盘植入存在或严重度的无创性方法，为后续妊娠手术提供参考。

技术实现思路

1、胎盘植入分型主要分为3类：无粘连/粘连型、植入型、穿透型，本发明的目的旨在提供一种基于感兴趣区域多模态mri图像融合的胎盘植入分型评估工具和方法，所要解决的技术问题至少包括如何在多模态的情况下，充分利用各个模态之间的互补性，对不同模态信息进行融合，提高胎盘植入分型预测的准确率和鲁棒性。

2、为了实现上述目的，本发明提供一种基于感兴趣区域多模态mri图像融合的胎盘植入分型评估工具，包括感兴趣区域预处理输入模块、多流深度模型模块和多流模型预测融合输出模块，所述的感兴趣区域预处理输入模块用于提取感兴趣区域，得到整体roi区域标注信息；采用经典的医学图像分割u-net模型，对人工标注的整体roi区域进行训练学习；直至训练集中每张mri图像的分割预测结果能和该mri图像的金标准人工标注结果达到预定的契合度；完成训练后对新样例数据实现自动整体roi区域分割；所述的多流深度模型模块用于采用相同的深度为18层3d残差网络对fiesta序列、ssfse序列、fiesta roi序列和ssfse roi序列进行各自独立训练，从四种mri模态图像序列上以基于patch随机切分的方式选d×h×w体素大小的立方块作为输入，将随机切分得到的立方块输入到相应各自的3d残差网络中进行训练，根据得到的预测值和真实值通过损失函数计算得到损失值，然后根据损失值对网络的参数权重通过反向传播进行更新，以这种方式经过重复训练直至网络收敛，最终得到最优参数权重；所述的多流模型预测融合输出模块用于对多流深度模型的四个流fiesta流、ssfse流、fiesta roi流和ssfse roi流对不同胎盘植入类型的预测概率相加取平均，得到最终的融合预测概率值，取最高的概率值对应的胎盘植入类别作为多流模型最终的预测输出。

3、优选地，所述的感兴趣区域是将子宫、胎盘、膀胱和宫颈口这四个区域作为一个整体roi区域。

4、优选地，所述的提取感兴趣区域的具体方法先采用开源标注软件itk-snap对样例进行标注，得到整体roi区域标注信息。

5、优选地，所述的采用经典的医学图像分割u-net模型，对人工标注的整体roi区域进行训练学习的具体方法为：分别对mri图像进行4次下采样和4次上采样；输入是mri图像，先经过两层卷积层，卷积核数均为64；然后进行第1次池化降采样，图像大小变为原来的一半，接着经过两层卷积层，卷积核数升为128，用来进一步提取图像特征；后面的下采样过程以此类推，每一层都经过两次卷积来提取图像特征；每下采样一层，都把图像减小一半，卷积核数目增加一倍，最后卷积核数升为1024；4次上采样过程包括先进行第1次反卷积上采样，图像大小变为原来的两倍，采取把降采样时的图像裁剪成相同大小后直接拼过来的方法增加特征层，再进行卷积来提取特征；接着经过两层卷积层，卷积核数从1024降为512；接着再一次进行上采样，重复以上过程；每一层都进行两次卷积来提取特征，每上采样一层，都会把图像扩大一倍，卷积核数目减少一半；4次上采样之后最后的卷积核数降为64；最后一步选择两个1×1的卷积核把64个特征通道变成2个，把图像分成背景和目标两个类别；最后输出预测的分割结果和真实结果通过损失函数计算得到损失值，记预测的分割结果为 m   pred，人工标注的真实结果为 m  gt，预测的分割结果和人工标注的真实结果的数组形状都是(d,h,w)，其中d,h,w分别表示深度、高度和宽度，且两者（即预测的分割结果 m  pred和人工标注的真实结果 m  gt）在每个位置的取值范围都是{0,1,..., g}，其中 g表示类别数量，计算出如下的损失函数公式（1）：

6、 (1)

7、其中是克罗内克函数， g表示类别取值，mi,j,k表示在mri图像中深度为i、高度j和宽度k位置的体素；根据得到的损失值，通过反向传播算法回传梯度至u-net模型当中的每个参数，让每个参数更新自身的权重值；以上训练过程会一直重复，直至训练集中每张mri图像的分割预测结果能和该mri图像的金标准人工标注结果达到预定的契合度；完成训练后对新样例数据实现自动整体roi区域分割。

8、优选地，输入的所述的mri图像是fiesta模态mri图像或ssfse模态mri图像。

9、优选地，所述的感兴趣区域预处理输入模块提供四种mri模态作为输入，包括：fiesta模态、ssfse模态、fiesta roi模态和ssfse roi模态。

10、优选地，所述的深度为18层3d残差网络包含有17个卷积层和1个全连接层，其结构记为：((conv1,resblock1×2,resblock2×2,resblock3×2,resblock4×2,fc)，其中conv1表示卷积层，resblock1、resblock2、resblock3和resblock4表示卷积残差块，每个卷积残差块含有两层卷积层；模型分别从fiesta序列、ssfse序列、fiesta roi序列和ssfseroi序列随机切分选取d×h×w体素大小的立方块输入到相应各自的3d残差网络中进行训练预测，立方块的形状是(1,d,h,w)，其中d,h,w分别是立方块的深度、高度和宽度，“1”表示通道数目；该立方块首先经过第一个卷积层conv1，得到中间特征1，其形状是（64, d， h/2,w/2），这里的“64”表示通道数目；然后经过池化层做降采样，形状变成（64，d/2，h/4，w/4）；然后经过第一个卷积残差块resblock1，得到中间特征2，其形状是（64，d/2，h/4，w/4），和之前形状一样，没有变化，接着再经过第二个卷积残差块resblock1，得到中间特征3，其形状依然是（64，d/2，h/4，w/4）；然后经过第三个卷积残差块resblock2，得到中间特征4，其形状是（128，d/4，h/8，w/8），接着再经过第四个卷积残差块resblock2，得到中间特征5，其形状依然是（128，d/4，h/8，w/8）；以此类推，然后经过第五个卷积残差块resblock3和第六个卷积残差块resblock3，得到中间特征6和中间特征7，其形状都是（256，d/8，h/16，w/16）；接着经过第七个卷积残差块resblock4和第八个卷积残差块resblock4，得到中间特征8和中间特征9，其形状都是（512，d/16，h/32，w/32）；然后再经过池化层得到形状（512，1，1，1），接着经过全连接层得到形状为（1024），即是个1024维的向量，最后经过softmax层得到最终的输出形状为（3），即是个3维向量，对应3分类问题：无粘连/粘连型、植入型和穿透型。

11、优选地，所述的多流深度模型模块选取交叉熵损失函数来度量3d残差网络的预测值和真实值之间的误差，所述的交叉熵损失函数为：

12、（2）

13、其中 l表示交叉熵损失函数，x表示样本，y表示真实值，表示预测值，n表示训练样本数量；fiesta流、ssfse流、fiesta roi流和ssfse roi流均采用上述的交叉熵损失函数作为自己训练时使用的损失函数。

14、本发明还提供一种基于感兴趣区域多模态mri图像融合的胎盘植入分型评估方法，包括以下步骤：

15、s1.对于医院提供的孕妇的两种矢状面mri序列图像数据，跟病征相关的区域是子宫、胎盘、膀胱和宫颈口，将子宫、胎盘、膀胱和宫颈口这四个相关区域作为一个整体roi区域，通过人工标注样例，然后利用医学图像分割模型训练学习，对未标注的新样例数据进行自动分割提取预处理，得到基于roi的mri模态；

16、s2.将fiesta流、ssfse流、fiesta roi流和ssfse roi流这四种mri模态输入四个独立的3d残差网络，每个流独立训练学习各自输入mri模态图像数据的特征信息，对胎盘植入分型进行分别预测并输出；

17、s3.以步骤s2的输出为融合基础，每个流对胎盘植入分型进行预测，分别输出一组概率值，每组概率值包括3个概率，分别对应3种类型的胎盘植入，然后对这四组预测概率值进行取平均作为最后的预测，取概率最高的胎盘植入类型作为最后的预测输出。

18、优选地，所述的两种矢状面mri序列图像数据包括fiesta序列和ssfse序列。

19、有益效果

20、与现有技术相比，本发明的有益效果是：

21、本发明所述的胎盘植入分型评估工具和方法是一种基于感兴趣区域多模态mri图像融合的胎盘植入分型评估方法，是一种端到端的用于评估子宫胎盘植入存在或严重度的无创性方法，能够为后续妊娠手术提供参考。

22、本发明中fiesta流和ssfse流之间的特征信息具有互补性，融合后可以提供模型的准确率；另外fiesta roi流和ssfse roi流提供的roi信息可以分别对fiesta流和ssfse流进行补充加强，重点学习感兴趣区域（roi）的特征信息，可以提高模型的鲁棒性。