心房间隔闭塞患者心脏医学影像分割方法及系统与流程

本发明涉及一种心房间隔闭塞患者心脏医学影像分割方法及系统。

背景技术：

在房间隔缺损(asd)医学图像分析中，由于来自左心房的隔膜缺损引起的血液流入，右心房显示出严重肿胀，并导致两个心房中的血容量不平衡。磁共振成像(magneticresonanceimaging，mri)通常用于诊断这种心脏病，然而，金属房间隔封堵器的引入在其放置的区域造成了重影效应，导致不正确的活动轮廓分割。

kucera等人已经实现了在心脏的短轴和长轴视图上可靠的活动轮廓3d模型，他提出了一种基于区域的外力来分割左心室。sarti等提出了一种基于区域的分割模型方法，实现了灰度级统计分布的先验知识，他们使用水平集方法驱动曲线演化，以便相对于图像像素的统计分布规律获得目标的最大似然分割。boukerroui等人提出了另一种基于区域的分割方法，基于自适应分割算法，其中加权函数考虑本地和全局统计。mishra等人提出了基于遗传算法(ga)求解优化问题的短轴视图分割方法中左心室的另一种主动轮廓分割模型。随后，mignotte和meunier提出了多尺度方法进行轮廓优化。mitchell等人在瞬态超声图像中执行三维主动外观模型(aam)分割。bosch等人提出了一种基于其前身aam的主动外观运动模型(aamm)，并开发用于在完整的心动周期中分割左心室，其他完善的分割方法涉及人工神经网络，模糊多尺度边缘检测器和基于卡尔曼滤波器的跟踪方法。

经典的snake模型最初是由kass、witkin和terzopolous提出的，用于将由边缘检测器产生的噪声滤波器响应合成为图像中感知边缘的连贯描绘。这样，可以建立分离具有不同灰度级特性的两个图像区域的边界。半自动分割方法用于基于mr图像分割心脏腔室，通过kass蛇算法实现，该算法涉及用于分割的基于区域的方法。其可以克服在超声成像中常见的具有差的边界清晰度的分割物体的问题，但对于边界清晰度不明显的分割物体没办法完成mri图像的分割。同时传统的方法(活动轮廓模型)不能够准确分割一些特殊的mri图像，比如做过心脏手术并安装过金属支架或金属网的患者，他们的心脏mri图像中金属物体会以阴影的形式呈现。同时传统的方法，没办法更好地解决研究中训练数据规模相对较小的情况。

技术实现要素：

有鉴于此，有必要提供一种心房间隔闭塞患者心脏医学影像分割方法及系统。

本发明提供一种心房间隔闭塞患者心脏医学影像分割方法，该方法包括如下步骤：a.采集心房间隔闭塞患者心脏mri数据集，利用光谱分析方法处理该mri数据集；b.将由光谱分析方法处理过的mri数据集进行数据增强，并将数据增强后的mri数据集进行二元分类的分割，得到被正确划分的mri数据集；c.对被正确划分的mri训练数据集，采用迁移学习方法微调卷积神经网络模型，以提取对后续医学影像分割有用的特征；d.利用提取的对医学影像分割有用的特征设计u-net架构，并利用u-net架构完成端到端的像素到像素的医学影像分割。

其中，所述的步骤b具体包括：

采用数据增强的方法对mri数据集进行数据增强，水平和垂直滑动，随机裁切，增加颜色抖动和高斯噪声；

对数据增强后的mri数据集进行分割，将分割视为二元分类，即0和1，1代表被正确地划分，0代表被错误地划分。

所述的步骤c具体包括：

利用迁移学习方法选用深度学习卷积神经网络vgg16的预训练模型作为u-net网络的编码器；

利用深度学习卷积神经网络vgg16的预训练模型对imagenet权值进行初始化；

采用微调的方法修改深度学习卷积神经网络vgg16预训练模型最后一层的输出类别，并且加快最后一层的参数学习速率；调整solver的配置参数。

所述的步骤d具体包括如下步骤：

u-net架构的左半部分是编码器部分，所述编码器捕获上下文的收缩路径，进行特征提取；

u-net架构的右半部分是解码器部分，所述解码器进行精确定位对称扩展路径；

利用u-net架构的编码器部分和解码器部分对医学影像进行分割并得到分割结果。

所述的分割结果包括：

truepositives：被正确地划分为正例的个数；

falsepositives：被错误地划分为正例的个数；

falsenegatives：被错误地划分为负例的个数；

truenegatives：被正确地划分为负例的个数。

本发明提供一种心房间隔闭塞患者心脏医学影像分割系统，该系统包括采集模块、数据集划分模块、微调模块以及影像分割模块，其中：所述采集模块用于采集心房间隔闭塞患者心脏mri数据集，利用光谱分析方法处理该mri数据集；所述数据集划分模块用于将由光谱分析方法处理过的mri数据集进行数据增强，并将数据增强后的mri数据集进行二元分类的分割，得到被正确划分的mri数据集；所述微调模块根据对被正确划分的mri训练数据集，采用迁移学习方法微调卷积神经网络模型，以提取对后续医学影像分割有用的特征；所述影像分割模块用于利用提取的对医学影像分割有用的特征设计u-net架构，并利用u-net架构完成端到端的像素到像素的医学影像分割。

其中，所述的数据集划分模块具体用于：

采用数据增强的方法对mri数据集进行数据增强，水平和垂直滑动，随机裁切，增加颜色抖动和高斯噪声；

对数据增强后的mri数据集进行分割，将分割视为二元分类，即0和1，1代表被正确地划分，0代表被错误地划分。

所述的微调模块具体用于：

利用迁移学习方法选用深度学习卷积神经网络vgg16的预训练模型作为u-net网络的编码器；

利用深度学习卷积神经网络vgg16的预训练模型对imagenet权值进行初始化；

采用微调的方法修改深度学习卷积神经网络vgg16预训练模型最后一层的输出类别，并且加快最后一层的参数学习速率；调整solver的配置参数。

所述的影像分割模块具体用于：

u-net架构的左半部分是编码器部分，所述编码器捕获上下文的收缩路径，进行特征提取；

u-net架构的右半部分是解码器部分，所述解码器进行精确定位对称扩展路径；

利用u-net架构的编码器部分和解码器部分对医学影像进行分割并得到分割结果。

所述的分割结果包括：

truepositives：被正确地划分为正例的个数；

falsepositives：被错误地划分为正例的个数；

falsenegatives：被错误地划分为负例的个数；

truenegatives：被正确地划分为负例的个数。

本发明能够提高心血管mri检查中诊断的效率，将医学图像分割视为二元分类问题，在面临训练数据规模相对较小的情况时，利用转移学习解决卷积神经网络在训练阶段训练数据不足导致过度拟合的问题；对传统的方法如活动轮廓模型，不能够准确分割特殊的mri图像，如做过心脏手术并安装过金属支架或金属网患者的心脏mri图像，本申请构建一个基于u-net框架的完整卷积网络，准确分割上述特殊的mri图像，并能够更高效的实现端到端的对心脏mri图像的目标和背景分类。

附图说明

图1为本发明心房间隔闭塞患者心脏医学影像分割方法的流程图；

图2为本发明实施例提供的利用光谱分析方法处理心房间隔闭塞患者心脏mri数据集的示意图；

图3为本发明实施例提供的迁移学习采用的深度学习卷积神经网络vgg16的示意图；

图4为本发明实施例提供的深度学习卷积神经网络vgg16预训练结果示意图；

图5为本发明实施例提供的基于u-net框架的卷积神经网络结构示意图；

图6为本发明心房间隔闭塞患者心脏医学影像分割系统的硬件架构图。

具体实施方式

下面结合附图及具体实施例对本发明作进一步详细的说明。

参阅图1所示，是本发明心房间隔闭塞患者心脏医学影像分割方法较佳实施例的作业流程图。

步骤s1，采集心房间隔闭塞患者心脏mri数据集，利用光谱分析方法处理该mri数据集(请同时参阅图2)，并将所述mri数据集分为训练集和测试集。具体而言：

本实施例在实验过程中招募了200例心房间隔闭塞患者；

利用西门子1.5t磁共振系统(mri)magnetomavanto1.5t扫描仪和numaris-4软件进行心房间隔闭塞患者术前和术后mri数据集的采集；

mri数据集采集的图像均采用回顾性门控和25个时间帧指数(从nt＝1至25)获得单个切片图像，采集参数包括：在256×256像素的矩阵处tr＝47.1ms，te＝1.6ms，fov＝298×340mm²；

将采集到的550张心房间隔闭塞患者心脏mri数据集中，80％的数据作为训练集，其余20％的数据作为测试集。

步骤s2，将由光谱分析方法处理过的mri数据集进行数据增强，并将数据增强后的mri数据集进行二元分类的分割，得到被正确划分的mri数据集及被错误划分的mri数据集。具体而言：

步骤s21，采用数据增强的方法对mri数据集进行数据增强，水平和垂直滑动，随机裁切，增加颜色抖动和高斯噪声。包括如下步骤：

步骤s211，将mri数据集的数据进行水平和垂直滑动；

将mri数据集的数据水平翻转或者垂直翻转，利用工具包任意命令进行翻转，对切片图像进行随机任意角度(0～360度)旋转。

步骤s212，对mri数据集的数据进行随机裁切；

在本实施例中，利用tensorflow中的随机裁剪函数tf.random_crop随机裁剪切片图像，将所述切片图像裁剪至其大、小、宽、高的2/3。

步骤s213，将mri数据集的数据增加颜色抖动和高斯噪声；

对切片图像进行颜色抖动，调整图像的饱和度，调整图像亮度，调整图像对比度，调整图像锐度，同时对图像进行高斯噪声处理。

步骤s22，对数据增强后的mri数据集进行分割，将分割视为二元分类，即0和1，1代表被正确地划分，0代表被错误地划分。

步骤s3，对被正确划分的mri训练数据集，采用迁移学习方法微调卷积神经网络模型，以提取对后续医学影像分割有用的特征。

具体而言：

步骤s31，利用迁移学习方法选用深度学习卷积神经网络vgg16(请同时参阅图3)的预训练模型作为u-net网络的编码器；

步骤s32，利用深度学习卷积神经网络vgg16的预训练模型对imagenet权值进行初始化；

步骤s33，训练过程中采用微调的方法，修改深度学习卷积神经网络vgg16预训练模型最后一层的输出类别，并且加快最后一层的参数学习速率；调整solver的配置参数，本实施例的深度学习卷积神经网络vgg16预训练结果如图4所示：

所述微调一种是深度学习的方法，就是通过不断的调整网络的参数，使卷积网络性能达到最好。因为微调的先决条件是具有有意义值的预训练模型的权重。当学习速率大时，权重会快速更新，并破坏原来的训练网络结构学习速率，在本实施例中，所述学习速率设置为1×10^-4。

步骤s4，利用提取的对医学影像分割有用的特征设计u-net架构(请同时参阅图5)，并利用u-net架构完成端到端的像素到像素的医学影像分割。具体而言：

步骤s41，u-net架构的左半部分是编码器部分，所述编码器捕获上下文的收缩路径，进行特征提取，具体包括：

步骤s411，所述编码器的网络采用深度学习卷积神经网络vgg16进行特征提取；

步骤s412，编码器部分移除了完全连接的层，并用512个通道的单个卷积层进行替换；

步骤s42，u-net架构的右半部分是解码器部分，所述解码器进行精确定位对称扩展路径，具体包括：

步骤s421，解码器部分使用转置卷积层进行构造，使得特征映射的大小加倍，同时将通道数减少一半；

步骤s422，将转置卷积的输出连接到解码器进行输出；

步骤s423，上采样过程重复5次，以配对5个输出特征图尺寸最大的池；自定义损失函数为：

其中，yi为一个batch中第i个数据的正确答案，yi'为神经网络得到的预测值，x为实际值，y为预测值，a和b是常量。

步骤s43，利用u-net架构的编码器部分和解码器部分对医学影像进行分割，得到的分割结果具体包括：

truepositives(tp)：被正确地划分为正例的个数，即实际为正例且被分类器划分为正例的实例数(样本数)；

falsepositives(fp)：被错误地划分为正例的个数，即实际为负例但被分类器划分为正例的实例数；

falsenegatives(fn)：被错误地划分为负例的个数，即实际为正例但被分类器划分为负例的实例数；

truenegatives(tn)：被正确地划分为负例的个数，即实际为负例且被分类器划分为负例的实例数；

通过医学图像分割中下述常用的度量指标分别评估分割的图像的相似性：

所述度量指标包括：dice指数、准确度和jaccard相似系数。其中，所述jaccard相似系数(jaccardsimilaritycoefficient)用于比较有限样本集之间的相似性与差异性，jaccard系数值越大，样本相似度越高。

参阅图6所示，是本发明心房间隔闭塞患者心脏医学影像分割系统10的硬件架构图。该系统包括：采集模块101、数据集划分模块102、微调模块103以及影像分割模块104。

所述采集模块101用于采集心房间隔闭塞患者心脏mri数据集，利用光谱分析方法处理该mri数据集(请同时参阅图2)，并将所述mri数据集分为训练集和测试集。具体而言：

本实施例在实验过程中招募了200例心房间隔闭塞患者；

利用西门子1.5t磁共振系统(mri)magnetomavanto1.5t扫描仪和numaris-4软件进行心房间隔闭塞患者术前和术后mri数据集的采集；

mri数据集采集的图像均采用回顾性门控和25个时间帧指数(从nt＝1至25)获得单个切片图像，采集参数包括：在256×256像素的矩阵处tr＝47.1ms，te＝1.6ms，fov＝298×340mm²；

将采集到的550张心房间隔闭塞患者心脏mri数据集中，80％的数据作为训练集，其余20％的数据作为测试集。

所述数据集划分模块102用于将由光谱分析方法处理过的mri数据集进行数据增强，并将数据增强后的mri数据集进行二元分类的分割，得到被正确划分的mri数据集及被错误划分的mri数据集。

具体而言：

所述数据集划分模块102采用数据增强的方法对mri数据集进行数据增强，水平和垂直滑动，随机裁切，增加颜色抖动和高斯噪声。包括：

将mri数据集的数据进行水平和垂直滑动：

将mri数据集的数据水平翻转或者垂直翻转，利用工具包任意命令进行翻转，对切片图像进行随机任意角度(0～360度)旋转；

对mri数据集的数据进行随机裁切：

在本实施例中，利用tensorflow中的随机裁剪函数tf.random_crop随机裁剪切片图像，将所述切片图像裁剪至其大、小、宽、高的2/3；

将mri数据集的数据增加颜色抖动和高斯噪声：

对切片图像进行颜色抖动，调整图像的饱和度，调整图像亮度，调整图像对比度，调整图像锐度，同时对图像进行高斯噪声处理。

所述数据集划分模块102对数据增强后的mri数据集进行分割，将分割视为二元分类，即0和1，1代表被正确地划分，0代表被错误地划分。

所述微调模块103用于对被正确划分的mri训练数据集，采用迁移学习方法微调卷积神经网络模型，以提取对后续医学影像分割有用的特征。具体而言：

所述微调模块103利用迁移学习方法选用深度学习卷积神经网络vgg16(请同时参阅图3)的预训练模型作为u-net网络的编码器；

所述微调模块103利用深度学习卷积神经网络vgg16的预训练模型对imagenet权值进行初始化；

所述微调模块103训练过程中采用微调的方法，修改深度学习卷积神经网络vgg16预训练模型最后一层的输出类别，并且加快最后一层的参数学习速率；调整solver的配置参数，本实施例的深度学习卷积神经网络vgg16预训练结果如图4所示：

所述微调一种是深度学习的方法，就是通过不断的调整网络的参数，使卷积网络性能达到最好。因为微调的先决条件是具有有意义值的预训练模型的权重。当学习速率大时，权重会快速更新，并破坏原来的训练网络结构学习速率，在本实施例中，所述学习速率设置为1×10^-4。

所述影像分割模块104用于利用提取的对医学影像分割有用的特征设计u-net架构(请同时参阅图5)，并利用u-net架构完成端到端的像素到像素的医学影像分割。具体而言：

所述影像分割模块104进行特征提取，也即是，u-net架构的左半部分是编码器部分，所述编码器捕获上下文的收缩路径，进行特征提取，具体包括：

所述编码器的网络采用深度学习卷积神经网络vgg16进行特征提取；

编码器部分移除了完全连接的层，并用512个通道的单个卷积层进行替换；

所述影像分割模块104构建u-net架构的解码器部分，u-net架构的右半部分是解码器部分，所述解码器进行精确定位对称扩展路径，具体包括：

所述影像分割模块104使用转置卷积层进行构造解码器部分，使得特征映射的大小加倍，同时将通道数减少一半；

所述影像分割模块104将转置卷积的输出连接到解码器进行输出；

所述影像分割模块104重复上采样过程5次，以配对5个输出特征图尺寸最大的池；自定义损失函数为：

其中，yi为一个batch中第i个数据的正确答案，yi'为神经网络得到的预测值，x为实际值，y为预测值，a和b是常量。

所述影像分割模块104利用u-net架构的编码器部分和解码器部分对医学影像进行分割，得到的分割结果具体包括：

truepositives(tp)：被正确地划分为正例的个数，即实际为正例且被分类器划分为正例的实例数(样本数)；

falsepositives(fp)：被错误地划分为正例的个数，即实际为负例但被分类器划分为正例的实例数；

falsenegatives(fn)：被错误地划分为负例的个数，即实际为正例但被分类器划分为负例的实例数；

truenegatives(tn):被正确地划分为负例的个数，即实际为负例且被分类器划分为负例的实例数；

通过医学图像分割中下述常用的度量指标分别评估分割的图像的相似性：

所述度量指标包括：dice指数、准确度和jaccard相似系数。其中，所述jaccard相似系数(jaccardsimilaritycoefficient)用于比较有限样本集之间的相似性与差异性，jaccard系数值越大，样本相似度越高。

虽然本发明参照当前的较佳实施方式进行了描述，但本领域的技术人员应能理解，上述较佳实施方式仅用来说明本发明，并非用来限定本发明的保护范围，任何在本发明的精神和原则范围之内，所做的任何修饰、等效替换、改进等，均应包含在本发明的权利保护范围之内。