超声图像左室心肌的分割方法、系统及应用与流程

本发明属于图像处理技术领域，尤其涉及一种超声图像左室心肌的分割方法、系统及应用。

背景技术：

目前，肥厚型心肌病(hypertrophiccardiomyopathy，hcm)是一种常见的常染色体显性遗传性心血管疾病，在人群中的发病率约1：500-1：200，病死率约1.4％-2.2％，可导致胸闷、胸痛、呼吸困难、反复晕厥、心房颤动、室性心动过速、心力衰竭甚至猝死等严重后果，是年轻人和运动员猝死的最常见原因。目前hcm主要诊断标准为左心室壁肥厚，通常指二维超声心动图测量的室间隔或左心室壁厚度≥15mm，或者由明确家族史者厚度≥13mm，通常不伴有左心室腔的扩大，需排除负荷增加如高血压、主动脉瓣狭窄和先天性主动脉瓣下隔膜等引起的左心室壁增厚。

由于超声具有无辐射、非侵入性、实时等诸多优点，在筛查患者是否患有hcm时通常作为首选的成像模态；然而，由于超声图像信噪比低，从图像中确定心内膜、心外膜边界需要医生具备丰富的临床经验，这个过程可重复性差，而且每个医生确定的边界不同，导致测量的厚度有差异。因此，开发一套有效的计算机辅助自动分割左室心肌的方法并自动的测量厚度具有重要的临床研究意义。

通过上述分析，现有技术存在的问题及缺陷为：

(1)现有的技术判断病人是否心肌肥厚，主要是凭借医生丰富的临床经验，找到心内膜、心外膜的边界来测量厚度，看测量值是否达到了肥厚性心肌病的诊断标准，但该过程重复性差，而且由于临床经验不同，测量的厚度有差异。

(2)传统的机器学习方法，首先需要手动的提取特征，但是由于不同的hcm患者左室心肌解剖结构差异大；而且像传统的分割方法如图谱分割需要较长的时间。

解决以上问题及缺陷的难度为：数据量对模型的泛化性至关重要，但相对于自然图像，医学图像往往比较匮乏，而且标记数据的过程耗时、耗力还需具备丰富的临床经验，因此需要解决数据量少的问题；在超声图像中，左室心肌只占据着整幅图像的小部分，因此需要解决正负样本比例失衡的问题；还有心内膜、心外膜边界不清晰的问题。

解决以上问题及缺陷的意义为：通过扩充数据，增加训练集样本的多样化，训练的模型泛化性更好；正负样本比例均衡模型学习的时候将对样本赋予同样的权重；网络学习的时候加入边界信息能有效的减轻过分割、欠分割的现象。

技术实现要素：

针对现有技术存在的问题，本发明提供了一种超声图像左室心肌的分割方法、系统及应用。

本发明是这样实现的，一种超声图像左室心肌的分割方法，所述超声图像左室心肌的分割方法包括：

获取超声数据，将数据分为训练集、验证集和测试集并标记；

增强训练集样本多样性，截取左室心肌大致区域，对数据做直方图均衡化、归一化操作；

使用pytorch实现分割网络，保存在验证集上性能最好的模型；

基于分割的结果，测量厚度。

进一步，所述超声图像左室心肌的分割方法具体包括：

(1)选取舒张末期的帧数据，原图像大小是600*800；

(2)将数据按照8：1：1分为训练集、验证集和测试集；

(3)在医生的监督下完成100例数据的标记；

(4)截取左室心肌的大致区域，将尺寸大小统一到448*448，并对数据做直方图均衡化、归一化操作；

(5)使用pytorch实现网络框架；

(6)提出一个混合损失函数；

(7)在训练网络的时候本发明加入左室心肌的形状信息来辅助网络学习；

(8)通过adam优化算法优化网络，得到训练好参数的网络；

(9)在测试集上进行测试，评估算法性能；

(10)基于分割结果，测量厚度。

进一步，所述(4)对超声数据进行预处理包括：

1)通过旋转增大训练集的样本；

2)在超声数据上截取左室心肌的大致区域，将所有数据的尺寸调整一致，对图像做直方图均衡化；

3)计算出训练集的均值以及标准差，训练集、验证集跟测试集分别减均值，再除以标准差，完成数据归一化。

进一步，所述(5)使用pytorch编程实现网络框架包括：

1)使用pytorch实现分割网络，整个分割网络由两个类似encoder-decoder的架构通过级联而成，在两个网络中，使用aspp模块获取高层次的文本信息。第一个网络以resnet34为编码器，在解码器部分，每个模块将对应的编码器部分的特征图进行相加弥补由于连续的步长卷积导致的高层次的信息丢失的问题；

2)第二个网络的编码器部分使用了空洞卷积来增大感受野，解码器使用了残差网络。

进一步，所述(6)提出的混合损失函数，各个函数如下：

1)使用交叉熵损失函数从像素的角度优化：

2)使用diceloss从特征图的角度优化：

3)使用ms-ssimloss从块的角度进行优化：

分割损失函数：

lseg＝lbce+lms-ssim+ldice。

进一步，所述(7)将左室心肌的形状信息添加到网络中包括：

1)在第一个网络中，再添加一个解码器模块，该模块用边界监督，以sigmod为激活函数，交叉熵为损失函数；

2)在第二个网络的输出再添加卷积核大小为3的卷积，以sigmod为激活函数，而以边界作为监督，交叉熵为损失函数。

进一步，所述(8)通过adam优化算法优化网络包括：

1)使用二维卷积神经网络训练二维数据，batchsize设为4；

2)学习率的初始值设定为1e^-4；

3)权重衰减系数设为0.0005。

本发明的另一目的在于提供一种计算机可读存储介质，存储有计算机程序，所述计算机程序被处理器执行时，使得所述处理器执行如下步骤：

获取超声数据，将数据分为训练集、验证集和测试集并标记；

增强训练集样本多样性，截取左室心肌大致区域，对数据做直方图均衡化、归一化操作；

使用pytorch实现分割网络，保存在验证集上性能最好的模型；

基于分割的结果，测量厚度。

本发明的另一目的在于提供一种运行所述超声图像左室心肌的分割方法的超声图像左室心肌的分割系统，所述超声图像左室心肌的分割系统包括：

超声数据采集模块，用于获取超声数据，将数据分为训练集、验证集和测试集并标记；

超声数据处理模块，用于增强训练集样本多样性，截取左室心肌大致区域，对数据做直方图均衡化、归一化操作；

分割网络模块，用于使用pytorch实现分割网络，保存在验证集上性能最好的模型；

厚度测量模块，用于基于分割的结果，测量厚度。

本发明的另一目的在于提供一种图像处理系统，所述图像处理系统搭载所述的超声图像左室心肌的分割系统。

结合上述的所有技术方案，本发明所具备的优点及积极效果为：本发明包括在二维超声心动图上选取舒张末期的帧数据；在医生的监督下完成数据的标记，然后将数据集分为训练集、验证集和测试集；对超声数据进行预处理，通过旋转增大训练集的样本，在原图中截取左室心肌的区域并将图像调整到同样的大小，由于超声图像信噪比低，对数据做直方图均衡化、归一化操作；基于python3.5使用pytorch搭建整个网络框架；由于左室心肌跟周围组织之间的边界不明显，我们在网络中加入了左室心肌的形状信息来辅助网络学习，并提出了一个混合损失函数，进一步较少过分割、欠分割的现象；通过不断优化损失函数，保存在验证集上性能最好的模型；基于分割的结果测量厚度。本发明可用于舒张末期二尖瓣短轴切面左室心肌的自动分割，并基于分割的结果测量厚度，进而判断病人是否得了肥厚性心肌病。本发明基于卷积神经网络的超声图像左室心肌的分割方法，能够自动的分割舒张末期的左室心肌，并在网络中加入左室心肌的形状信息辅助网络学习，提出的混合损失函数分别从3个角度进行优化，学习的时候进一步加强边界信息；基于分割的结果能自动的测量厚度，整个过程无需任何后处理。

附图说明

为了更清楚地说明本申请实施例的技术方案，下面将对本申请实施例中所需要使用的附图做简单的介绍，显而易见地，下面所描述的附图仅仅是本申请的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下还可以根据这些附图获得其他的附图。

图1是本发明实施例提供的超声图像左室心肌的分割方法流程图。

图2是本发明实施例提供的超声图像左室心肌的分割系统的结构示意图；

图2中：1、超声数据采集模块；2、超声数据处理模块；3、分割网络模块；4、厚度测量模块。

图3是本发明实施例提供的训练数据样例图像示意图。

图4是本发明实施例提供的神经网络结构示意图。

图5是本发明实施例提供的测试数据分割结果示意图。

图6是本发明实施例提供的对测试数据测厚度结果示意图。

具体实施方式

为了使本发明的目的、技术方案及优点更加清楚明白，以下结合实施例，对本发明进行进一步详细说明。应当理解，此处所描述的具体实施例仅仅用以解释本发明，并不用于限定本发明。

针对现有技术存在的问题，本发明提供了一种超声图像左室心肌的分割方法、系统及应用，下面结合附图对本发明作详细的描述。

如图1所示，本发明提供的超声图像左室心肌的分割方法包括以下步骤：

s101：获取超声数据，将数据分为训练集、验证集和测试集并标记；

s102：增强训练集样本多样性，截取左室心肌大致区域，对数据做直方图均衡化、归一化操作；

s103：使用pytorch实现分割网络，保存在验证集上性能最好的模型；

s104：基于分割的结果，测量厚度。

本发明提供的超声图像左室心肌的分割方法业内的普通技术人员还可以采用其他的步骤实施，图1的本发明提供的超声图像左室心肌的分割方法仅仅是一个具体实施例而已。

如图2所示，本发明提供的超声图像左室心肌的分割系统包括：

超声数据采集模块1，用于获取超声数据，将数据分为训练集、验证集和测试集并标记；

超声数据处理模块2，用于增强训练集样本多样性，截取左室心肌大致区域，对数据做直方图均衡化、归一化操作；

分割网络模块3，用于使用pytorch实现分割网络，保存在验证集上性能最好的模型；

厚度测量模块4，基于分割的结果，测量厚度。

下面结合附图对本发明的技术方案作进一步的描述。

本发明实施例提供的基于卷积神经网络的超声图像左室心肌的分割方法具体包括以下步骤：

(1)：选取舒张末期的帧数据，原图像大小是600*800，如图3(a)所示；

(2)：将数据按照8：1：1分为训练集、验证集和测试集；

(3)：在医生的监督下完成100例数据的标记；

(4)：截取左室心肌的大致区域，将尺寸大小统一到448*448，并对数据做直方图均衡化、归一化操作，如图3(b)所示；

(5)：使用pytorch实现网络框架；

(6)：提出了一个混合损失函数；

(7)：由于左室心肌跟周围组织之间的边界不清晰，在训练网络的时候本发明加入左室心肌的形状信息来辅助网络学习；

(8)：通过adam优化算法优化网络，得到训练好参数的网络；

(9)：在测试集上进行测试，评估算法性能；

(10)：基于分割结果，测量厚度。

在本发明的优选实施例中(4)对超声数据进行预处理，按如下步骤进行：

1)通过旋转增大训练集的样本；

2)在超声数据上截取左室心肌的大致区域，将所有数据的尺寸调整一致，对图像做直方图均衡化；

3)计算出训练集的均值以及标准差，训练集、验证集跟测试集分别减均值，再除以标准差，完成数据归一化。

在本发明的优选实施例中(5)使用pytorch编程实现网络框架，按如下步骤进行：

1)使用pytorch实现分割网络，网络框架如图4所示，整个分割网络由两个类似encoder-decoder的架构通过级联而成，在两个网络中，本发明使用aspp模块获取高层次的文本信息。第一个网络以resnet34为编码器，在解码器部分，每个模块将对应的编码器部分的特征图进行相加来弥补由于连续的步长卷积导致的高层次的信息丢失的问题；

2)第二个网络的编码器部分使用了空洞卷积来增大感受野，为了防止网络过深导致的梯度消失问题，解码器使用了残差网络。

在本发明的优选实施例中(6)提出的混合损失函数，各个函数如下：

本发明中从：像素(pixel)、块(patch)以及特征图(map)3个角度进行优化目标函数。

1)使用交叉熵损失函数从像素的角度优化：

2)使用diceloss从特征图的角度优化：

3)使用ms-ssimloss从块的角度进行优化：

因此，本发明的分割损失函数：

lseg＝lbce+lms-ssim+ldice

在本发明的优选实施例中(7)将左室心肌的形状信息添加到网络中，按如下步骤进行：

1)在第一个网络中，再添加一个解码器模块，该模块用边界监督，以sigmod为激活函数，交叉熵为损失函数；

2)在第二个网络的输出再添加卷积核大小为3的卷积，以sigmod为激活函数，而以边界作为监督，交叉熵为损失函数。

在本发明的优选实施例中(8)通过adam优化算法优化网络，按如下步骤进行：

1)本发明使用二维卷积神经网络训练二维数据，batchsize设为4；

2)学习率的初始值设定为1e^-4；

3)权重衰减系数设为0.0005。

下面结合测试对本发明的技术效果作详细的描述。

在本发明的优选实施例中(9)在测试集上进行测试，评估算法性能，按如下步骤进行：

1)本发明所使用的测试数据集具备完整的ground-truth标记；

2)本发明在测试数据上计算dice系数来评估网络的分割性能，dice系数的计算公式为：

其中，pn为像素n的分割结果，gn为对应的ground-truth值。

如图5所示为本发明网络训练数据集上训练完成后，在测试数据上测试的定性结果，图5(b)ground-truth，基准实验unet的分割结果，图5(a)ground-truth，本发明的分割结果，可以看到分割结果与ground-truth有较高的一致性，边界处过分割欠分割的现象明显减弱。图6表示基于分割结果测量的厚度，图6(a)表示基于标记图测量的厚度，基于本发明的模型测量的厚度，图6(b)表示基于标记图测量的厚度，表示基于unet分割的结果测量的厚度；表1为dice系数对比实验结果，可以看到，本发明基于卷积神经网络的超声图像左室心肌的分割方法，对左室心肌的分割结果有明显提升。

表1dice系数对比实验结果

应当注意，本发明的实施方式可以通过硬件、软件或者软件和硬件的结合来实现。硬件部分可以利用专用逻辑来实现；软件部分可以存储在存储器中，由适当的指令执行系统，例如微处理器或者专用设计硬件来执行。本领域的普通技术人员可以理解上述的设备和方法可以使用计算机可执行指令和/或包含在处理器控制代码中来实现，例如在诸如磁盘、cd或dvd-rom的载体介质、诸如只读存储器(固件)的可编程的存储器或者诸如光学或电子信号载体的数据载体上提供了这样的代码。本发明的设备及其模块可以由诸如超大规模集成电路或门阵列、诸如逻辑芯片、晶体管等的半导体、或者诸如现场可编程门阵列、可编程逻辑设备等的可编程硬件设备的硬件电路实现，也可以用由各种类型的处理器执行的软件实现，也可以由上述硬件电路和软件的结合例如固件来实现。

以上所述，仅为本发明的具体实施方式，但本发明的保护范围并不局限于此，任何熟悉本技术领域的技术人员在本发明揭露的技术范围内，凡在本发明的精神和原则之内所作的任何修改、等同替换和改进等，都应涵盖在本发明的保护范围之内。