关于CT图像左心房和左心耳组织的联合分割方法和系统

本发明涉及计算机视觉，具体地，涉及一种关于ct图像左心房和左心耳组织的联合分割方法、系统、介质及终端。

背景技术：

1、房颤是心脏相关疾病中最常见的一类疾病之一，该疾病与左心房组织密切相关。在左心房这一腔式结构的旁边，存在着左心耳这一更加精细的结构。而绝大多数由房颤引发的中风则是由左心耳里的血栓引起的。针对中风的常见治疗方法为抗凝疗法，然而不少病人对于该疗法存在禁忌症。因此，一种更加有效且可行的左心耳封堵技术应运而生。该方法可以规避抗凝疗法的绝大多数弊病。

2、而封堵器的尺寸与左心房和左心耳的交界面大小密切相关，因此强化对于左心房和左心耳拓扑结构的研究，有助于开展由房颤导致的中风治疗的研究。而术前的心脏ct成像则是对于该疾病的典型介入方式，因此左心房及左心耳ct图像的全自动精确分割对于此类疾病的诊断和治疗至关重要。

3、到目前为止，许多工作致力于左心房的自动分割，相比之下，对于左心耳的研究却是不足的，尤其是对于两者之间的相对位置关系的建模。左心房以及左心耳的形状结构都存在较大的差异。除此之外，相比于左右心房，左右心室，左心耳结构具有更加不确定的边缘，尤其是其与左心房的交界面区域，因此该区域的精确分割存在困难。

4、目前已有若干工作用于解决粗糙边缘的分割问题，这些工作大致可以分为三个类别。

5、第一个类别的策略是引入多任务学习的概念，对边界区域利用损失函数施加一个较强的约束。第二种则是通过复杂的后处理过程去优化边缘区域的粗糙分割结果。但以上两种方法主要用于优化高质量图像中具有清晰边缘的区域，并不适用于左心房以及左心耳交界面的不确定边缘。

6、相比之下，第三种解决策略能够起作用，该策略是基于增强不确定边缘区域所对应的深度特征，从而实现对于该区域的精确定位。目前的方法侧重于以注意力的方式将边缘区域的标注信息隐式地加入边缘特征里，或是考虑对边缘的像素引入不确定性，但这两种方法依然未能较好地描述边缘的不确定性。

技术实现思路

1、针对现有技术中的缺陷，本发明的目的是提供一种关于ct图像左心房和左心耳组织的联合分割方法和系统。

2、根据本发明的一个方面，提供一种关于ct图像左心房和左心耳组织的联合分割方法，包括：

3、构建第一阶段数据集；

4、搭建用于左心房和左心耳联合分割的第一阶段神经网络模型n1；

5、使用所述第一阶段数据集，训练所述第一阶段神经网络模型n1；

6、使用所述第一阶段数据集，测试所述第一阶段神经网络模型n1；

7、对所述第一阶段神经网络模型n1在验证集上的粗分割结果进行采样，构建第二阶段数据集；

8、搭建用于优化所述粗分割结果的第二阶段神经网络模型n2；

9、使用所述第二阶段数据训练所述第二阶段神经网络模型n2；

10、使用所述第二阶段数据测试所述第二阶段神经网络模型n2。

11、用训练好的所述第一阶段神经网络模型n1和第二阶段神经网络模型n2分割ct图像中的左心房和左心耳。

12、优选地，搭建的所述第一阶段神经网络模型n1为带有多尺度特征提取、特征增强和特征融合的3d医学图像分割神经网络模型；

13、在所述第一阶段神经网络模型n1中的操作，包括：

14、对3d ct图像采用层级神经网络模型，提取多尺度图像特征；

15、对所述多尺度图像特征采用基于扩散理论设计的语义差分模块进行边缘特征增强，得到增强后的特征；

16、对所述增强后的特征进行多尺度融合，得到最终的深度编码特征；

17、将所述深度编码特征输入到分割网络对前景目标进行分割，得到粗分割结果；

18、所述第一阶段神经网络模型n1的训练，包括：

19、利用所述第一阶段数据集的标注结果与所述粗分割结果构建损失函数，进行训练，优化所述第一阶段神经网络模型n1的参数。

20、优选地，所述增强后的特征包括两部分，一部分是来自所述层级神经网络模型的原始特征，另一部分是来自所述语义差分模块增强后的边缘特征。

21、优选地，所述语义差分模块是基于扩散理论进行设计的，包括：

22、将所述扩散理论采用二阶偏微分方程进行描述：

23、

24、其中，表示梯度算子，d表示扩散函数，其决定了沿着特定方向的扩散速度；所述扩散函数d为其具有非线性特征，采用来自卷积网络的深层特征g作为所述扩散函数的自变量，表征基于差分算子的语义指导图，h表示基于卷积的映射函数；

25、求解所述二阶偏微分方程，得到近似数值解：

26、

27、

28、其中，p表示特征图里的特定像素点，δp表示像素p周围的一个小领域，λ与v为加权系数，表征了原始特征ft的差分特征图在p点处的数值，为深层特征的语义差分图；表示增强后的特征，表示原始特征，表示语义差分模块增强后的边缘特征；

29、在表示基于卷积的映射函数h中，提出可学习的边缘算子，使得卷积核在各个位置具有不同的数值，同时保证卷积核具有差分属性，卷积核正中心位置处的值设定为1，得到最终增强后的边缘特征

30、

31、其中和分别表示特征f和深层语义特征g所对应的可学习边缘算子，而表示卷积核。

32、优选地，所述第二阶段神经网络模型n2的训练过程，包括：

33、对所述粗分割结果进行采样，采样包括左心房和左心耳出现不连通的区域；

34、截取所述不连通区域对应的图像和粗分割掩码，同时输入到第二阶段神经网络模型n2中；

35、采用基于距离约束的连通性损失函数结合戴斯损失函数进行训练。

36、优选地，所述采用基于距离约束的连通性损失函数结合戴斯损失函数进行训练，包括：

37、计算所述连通性损失函数

38、通过分割真值掩码的像素标签信息提取到左心耳区域的逐点坐标，定位左心耳区域；

39、找到包含所述左心耳区域的近似最小外接六面体，并确定六面体上与左心房表面距离最近的四个顶点vi(i＝1,2,3,4)；

40、利用最近的四个所述顶点到左心房表面的最小距离计算连通性损失函数

41、

42、其中σ表示激活函数，p表示左心房表面的点集集合，pj表示集合p中的一个元素，vi(i＝1,2,3,4)表示左心耳外接六面体上与左心房表面距离最近的四个顶点，s表示归一化系数(本实验设置为20)，d表示欧几里得距离；

43、计算总的损失函数

44、

45、其中，为戴斯损失函数；当第二阶段网络模型n2的训练轮数超过设定次数时，λ取1；当轮数小于设定次数时，λ取0。

46、优选地，所述使用第二阶段数据测试所述第二阶段神经网络模型n2时，进行通道校正，具体为：将截取的不连通区域的图像和粗分割掩码，同时输入到第二阶段神经网络模型n2中，通过编码器-解码器结构求得解码以后的特征fd；在对特征fd逐像素按通道选取最大激活值之前，先对特征中每个通道的最大值进行统一化操作。

47、根据本发明的第二个方面，提供一种关于ct图像左心房和左心耳组织的联合分割系统，包括：

48、第一数据模块，该模块构建第一阶段数据集；

49、第一网络模型模块，该模块第一神经搭建用于左心房和左心耳联合分割的第一阶段神经网络模型n1；

50、第一训练模块，该模块使用所述第一阶段数据集，训练所述神经网络模型n1；

51、第一测试模块，该模块使用所述第一阶段数据集，测试所述神经网络模型n1；

52、第二数据模块，该模块对所述第一阶段神经网络模型n1的粗分割结果进行采样，构建第二阶段数据集；

53、第二网络模型模块，该模块搭建用于优化所述粗分割结果的第二阶段神经网络模型n2；

54、第二训练模块，该模块使用所述第二阶段数据训练所述第二阶段神经网络模型n2；

55、第二测试模块，该模块使用所述第二阶段数据测试所述第二阶段神经网络模型n2。

56、根据本发明的第三个方面，提供一种终端，包括存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序，所述处理器执行所述程序时可用于执行任一项所述的关于ct图像左心房和左心耳组织的联合分割方法，或，运行所述的关于ct图像左心房和左心耳组织的联合分割系统。

57、根据本发明的第四个方面，提供一种计算机可读存储介质，其上存储有计算机程序，该程序被处理器执行时可用于执行任一项所述的关于ct图像左心房和左心耳组织的联合分割方法，或，运行所述的关于ct图像左心房和左心耳组织的联合分割系统。

58、与现有技术相比，本发明实施例至少具有如下的一种有益效果：

59、本发明实施例提供的一种关于ct图像左心房和左心耳组织的联合分割方法和系统，首次实现基于神经网络模型对左心房和左心耳组织的相对位置关系进行建模，利用带标注的左心房及左心耳图像数据，同时实现对于左心房和左心耳组织的精确的联合分割。

60、本发明实施例提供的一种关于ct图像左心房和左心耳组织的联合分割方法和系统，可以应用到心房颤动等疾病的临床诊断和手术治疗当中。