基于深度学习和光流法的心脏冠状动脉影像分割识别方法与流程

本发明涉及互联网技术领域，尤其涉及一种基于深度学习和光流法的心脏冠状动脉影像分割识别方法。

背景技术：

冠状动脉造影图像的分割是图像分割技术在医学领域的重要应用，冠状动脉血管的精确提取可以辅助医生诊断心血管疾病并确定合适的治疗方案，同时其也是血管三维重建的重要基础，在临床医疗中发挥着重要作用。

传统应用深度学习技术对dicom视频文件进行分割的做法是一帧一帧的进行分割，而且没有利用到帧与帧之间的关联性，最终导致分割结果抖动比较大，效果并不是那么好。

技术实现要素：

为了解决上述问题，本文提出了一种基于深度学习和光流法的心脏冠状动脉影像分割识别方法，可以实现端到端的训练，以一定的准确率在心脏冠状动脉造影图像上实现血管分割识别。本发明采用光流法来表示帧与帧之间的关联性，并将其作为输入提供给神经网络进行训练，这使得神经网络可以获得更多有价值的信息，从而可以得到较好的分割结果。

为了达到上述目的，本发明提供的一种基于深度学习和光流法的心脏冠状动脉影像分割识别方法，包括：

选取分段心脏造影dicom视频中任意连续两帧图片作为训练样本，将训练样本输入神经网络中；神经网络基于所述训练样本，计算连续两帧图片之间的光流信息作为两帧之间的映射，同时将光流信息输入神经网络中；

神经网络通过深度学习的方法对前一帧图片及光流信息得到的第三特征图及当前帧图片得到的第四特征图组合得到的第五特征图输入金字塔模块中，金字塔模块基于第五特征图应用金字塔融合的方法得到不同尺度的心脏血管特征图；反卷积层通过双线性插值的方法将不同尺度的心脏血管特征图沿着一个维度合并到一起，得到心脏冠状动脉影像分割识别血管图。

进一步的，所述分段心脏造影dicom视频的获取方法包括：

接收医疗综合数据库中存储的与病变种类信息对应的整段心脏造影dicom视频；

基于病变种类信息，使用ssn(structuredsegmentnetwork,结构分割网络)协同分析整段心脏造影dicom视频中出现的关键特征信息。

基于关键特征信息并结合体位信息，对整段dicom视频进行分段，并迭代该步骤，直到最终找到满足设定的分段视频。

进一步的，所述卷积神经网络模块由多层相同单元多次堆叠而成，同时读取预训练模型参数；

所述单元从上到下依次为卷积层、批规范化层、快捷连接层、激活函数层。

进一步的，所述神经网络通过深度学习的方法对前一帧图片及光流信息得到的第三特征图的步骤包括：

将两帧图片中的前一帧图片取出输入卷积模块，运行模型计算图，取出计算过程中最后一个卷积层输出的第一特征图；

将光流信息输入卷积模块中进行主要特征提取，得到第二特征图；

打包层接收第一特征图和第二特征图，对第一特征图和第二特征图进行线性插值的操作，将第一特征图和第二特征图进行有效信息的融合，得到第三特征图。

进一步的，得到所述第四特征图的步骤包括：

神经网络将当前帧图片输入卷积模块进行特征提取，取出最后一个卷积层的输出得到第四特征图。

进一步的，得到所述第五特征图的步骤包括：

组合层将第三特征图和第四特征图分别乘以不同的权重之后相加，得到第五特征图。

进一步的，还包括参数更新的步骤，该步骤包括：

比较输出的心脏冠状动脉影像分割识别血管图和医生精标注的心脏冠状动脉影像分割识别血管图的不同得到损失值，通过梯度下降法对神经网络各个层的参数进行更新；迭代运行所有的步骤，直到通过神经网络分割和识别出的心脏冠状动脉影像分割识别血管图与医生精标注的心脏冠状动脉影像分割识别血管图之间损失值低于预设的阈值。

进一步的，还包括测试步骤，该步骤包括：

步骤一：读取拍摄到的患者的心脏造影dicom视频文件，提取关键帧，输入神经网络；并读取该体位对应的模型参数。

步骤二：神经网络进行初始化，建立多层神经网络结构，并读取训练好的对应体位的模型参数。

步骤三：神经网络接收患者的心脏造影dicom视频图像，通过深度学习的方法对输入图片进行血管的分割和检测，输出不同体位关键帧的血管分割识别图片；

步骤四：对不同体位重复步骤一到步骤三，直到将所有体位的关键帧处理完毕。

本发明提供的一种基于深度学习和光流法的心脏冠状动脉影像分割识别方法，通过选取分段心脏造影dicom视频中任意连续两帧图片作为训练样本，将训练样本输入神经网络中；神经网络基于所述训练样本，计算连续两帧图片之间的光流信息作为两帧之间的映射，同时将光流信息输入神经网络中；神经网络通过深度学习的方法对前一帧图片及光流信息得到的第三特征图及当前帧图片得到的第四特征图组合得到的第五特征图输入金字塔模块中，金字塔模块基于第五特征图应用金字塔融合的方法得到不同尺度的心脏血管特征图；反卷积层通过双线性插值的方法将不同尺度的心脏血管特征图沿着一个维度合并到一起，得到心脏冠状动脉影像分割识别血管图的技术方案，将相邻两帧之间的信息表示出来并用于冠状动脉心脏造影图像的分割和识别任务，并将光流法和深度学习技术结合用于心脏造影图像的分割和识别任务。以较高的准确率分割并识别心脏造影图像不同类型的血管。将深度学习技术和光流法进行结合，实现端到端的自动分割并识别血管过程。解决了传统对dicom视频文件进行分割的做法是一帧一帧的进行分割，而且帧与帧之间没有任何关联性，导致分割精度低的技术问题。本方法采用光流法表示帧与帧之间的关联性，将血管的变化信息加入分割方法中，从而可以得到较好的结果。

附图说明

图1为根据本发明的一种基于深度学习和光流法的心脏冠状动脉影像分割识别方法的流程图。

图2为根据本发明的一种基于深度学习和光流法的心脏冠状动脉影像分割识别方法的激活函数的图像。

具体实施方式

为了使本技术领域的人员更好地理解本发明方案，下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明一部分的实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都应当属于本发明保护的范围。

实施例一

参照图1，图1示出了一种基于深度学习和光流法的心脏冠状动脉影像分割识别方法实施例一流程图，包括步骤s110至步骤s120：

步骤s110、选取分段心脏造影dicom视频中任意连续两帧图片作为训练样本，将训练样本输入神经网络中；神经网络基于所述训练样本，计算连续两帧图片之间的光流信息作为两帧之间的映射，同时将光流信息输入神经网络中。

步骤s120、神经网络通过深度学习的方法对前一帧图片及光流信息得到的第三特征图及当前帧图片得到的第四特征图组合得到的第五特征图输入金字塔模块中，金字塔模块基于第五特征图应用金字塔融合的方法得到不同尺度的心脏血管特征图；反卷积层通过双线性插值的方法将不同尺度的心脏血管特征图沿着一个维度合并到一起，得到心脏冠状动脉影像分割识别血管图。

分段心脏造影dicom视频的获取方法包括：

接收医疗综合数据库中存储的与病变种类信息对应的整段心脏造影dicom视频；基于病变种类信息，使用ssn(structuredsegmentnetwork，结构分割网络)协同分析整段心脏造影dicom视频中出现的关键特征信息；基于关键特征信息并结合体位信息，对整段dicom视频进行分段，并迭代该步骤，直到最终找到满足设定的分段视频。即从dicom文件中截取出血管轮廓较为清晰的数字减影心脏造影图像，并将图片处理为单通道的灰度图片，输入卷积神经网络。

其中，心脏造影dicom视频数据集是由约100位冠心病患者的dicom冠状动脉数字减影血管造影(医学数字成像通讯)文件组成。每位患者都有不同体位的多个dicom文件，每个dicom文件都包含若干帧的冠状动脉造影，每一帧都有不同类型的血管，包括左主干、左回旋支、左前降支、侧支、左室间隔支、右冠等。本发明中需要分割并识别的血管就是这些血管。对于视频中的每一帧图像，医生都会对图中的血管进行精细的像素级标注。使用这些这些数据来训练网络模型，之后使用训练出的模型进行血管的分割和识别。

整个网络由基本的卷积神经网络模块、金字塔模型、还有打包层、组合层组成。从dicom文件中挑选出相邻两帧血管轮廓较为清晰的数字减影心脏造影图像，并将这两帧图片处理为单通道的灰度图片，输入卷积神经网络。

所述卷积神经网络模块由多层相同单元多次堆叠而成，同时读取预训练模型参数；所述单元从上到下依次为卷积层、批规范化层、快捷连接层、激活函数层。

所述神经网络通过深度学习的方法对前一帧图片及光流信息得到的第三特征图的步骤包括：将两帧图片中的前一帧图片取出输入卷积模块，运行模型计算图，取出计算过程中最后一个卷积层输出的第一特征图；将光流信息输入卷积模块中进行主要特征提取，得到第二特征图；打包层接收第一特征图和第二特征图，对第一特征图和第二特征图进行线性插值的操作，将第一特征图和第二特征图进行有效信息的融合，得到第三特征图。

得到所述第四特征图的步骤包括：神经网络将当前帧图片输入卷积模块进行特征提取，取出最后一个卷积层的输出得到第四特征图。

得到所述第五特征图的步骤包括：组合层将第三特征图和第四特征图分别乘以不同的权重之后相加，得到第五特征图。

还包括参数更新的步骤，该步骤包括：比较输出的心脏冠状动脉影像分割识别血管图和医生精标注的心脏冠状动脉影像分割识别血管图的不同得到损失值，通过梯度下降法对神经网络各个层的参数进行更新；迭代运行所有的步骤，直到通过神经网络分割和识别出的心脏冠状动脉影像分割识别血管图与医生精标注的心脏冠状动脉影像分割识别血管图之间损失值低于预设的阈值。

还包括测试步骤，该步骤包括：

步骤一：读取拍摄到的患者的心脏造影dicom视频文件，提取关键帧，输入神经网络；并读取该体位对应的模型参数。

步骤二：神经网络进行初始化，建立多层神经网络结构，并读取训练好的对应体位的模型参数。

步骤三：神经网络接收患者的心脏造影dicom视频图像，通过深度学习的方法对输入图片进行血管的分割和检测，输出不同体位关键帧的血管分割识别图片；

步骤四：对不同体位重复步骤一到步骤三，直到将所有体位的关键帧处理完毕。

一般情况下，训练神经网络往往需要三天到一周的时间，再加上做实验验证结果，时间成本往往是需要考量的重要因素。批规范化层正是可以加速模型训练速度，大大缩小时间成本的一种方法。批规范化将特征规划化到同一合适的分布下加快网络的收敛速度，具体操作的第一步是对输入的特征进行规范化，将输入的特征减去其均值后除以其方差，具体过程可表示为：

其中表示规范化后的特征，x表示输入的特征，e[x^(k)]表示输入特征的均值，表示输入特征的方差。

在进行提取心脏血管特征的过程中，也要降低时间成本。所以在卷积层之后，对卷积层输出的心脏冠状造影的图像做一个批规范化处理。对卷积层输出的特征进行一个减去均值除以方差的操作，同时需要将每一层的均值和方差做一个存储以便在测试过程中可以直接使用，这样可以使使经过卷积后的心脏造影图像有统一的数据分布，从而可以加速提取血管特征的任务。

第二步是对规范化的特征进行平移和缩放，目的是让网络自己学习适合网络的输出，具体过程可表示为：

其中γ^(k)为可学习的放缩参数，β^(k)为可学习的平移参数。

进一步的，所述快捷连接层接收批规范化层的输出，将卷积层的输入与批规范化层的输出按权重相加得到特征图，并将特征图输出到激活函数层。整个神经网络就是由若干个快捷连接层相连而成。

神经网络的层数越深，其所能学到的特征的维度也就越高，因此层数对神经网络的有非常大的影响。但是当神经网络的层数变得越来越深的时候，更深层次的模型很难表达低维度的特征了，所以就会出现梯度爆炸、梯度消失等问题。快捷连接单元即为解决该问题的方法。记h(x)＝f(x)+x,在极端情况下f(x)什么都没有学习到，即f(x)＝0，此时h(x)＝x。这就可以保证浅层特征向后传递，整个网络学习到的特征不会太差，将快捷连接单元用于提取心脏冠状动脉造影图像特征提取的任务中。让模型自己决定其想要提取特征维度的高低，做到尽可能保留有用的低维度的心脏血管特征。从而解决梯度爆炸和梯度消失的问题。

整个快捷连接过程可以表示为：

y＝f(x,{wi})+x

其中y表示输出的特征，x表示输入的特征，f(x,{wi})表示需要训练的残差映射函数，wi表示该层的权重。

如果仅仅是单纯的将这些线性卷积网络连接，那么最终的效果仅仅与一个单一的卷积单元一样。所以在实际使用过程中需要引入激活函数层，如图2所示，图2即为激活函数的图像，具体过程可表示为：

y＝g(x)

其中y为输出特征，x为输入特征，g为激活函数。

在测试过程中，也将卷积处理过的心脏冠状动脉血管图像进行减均值除以方差的操作，保证测试和训练过程中心脏冠状动脉血管图像特征的分布一致。

进一步的，所述金字塔模块接收第五特征图，应用金字塔融合的方法，先对第五特征图进行卷积操作，输出不同尺度的心脏血管特征图；将不同尺度的心脏血管特征图输入反卷积层。

金字塔模块融合了提取出的心脏冠状动脉图像的4种不同尺度的特征。即将四种不同大小的心脏特征融合，如包括最粗糙的心脏冠状动脉图像特征，和三种不同尺度的心脏冠状动脉图像池化特征。为了保证全局特征的权重，如果金字塔共有n个级别，则在每个级别后使用1x1的卷积将对于级别通道降为原本的1/n。再通过双线性插值获得未池化前的大小，最终沿着一个维度合并到一起。

反卷积层接收不同尺度的心脏血管特征图，通过双线性插值的方法将不同尺度的心脏血管特征图放大到同一大小，最终沿着一个维度合并到一起，到心脏冠状动脉影像分割识别血管图。

进一步的，还包括参数更新的步骤，该步骤包括：

比较输出的心脏冠状动脉影像分割识别血管图和医生精标注的心脏冠状动脉影像分割识别血管图的不同得到损失值，通过梯度下降法对神经网络各个层的参数进行更新；迭代运行所有的步骤，直到通过神经网络分割和识别出的血管图与医生精标注之间损失值低于预设的阈值。

一优选实施例，实验室硬件：intelxeoncpue5-2630v4cpu和nvidiagtx1080tigpu进行协同控制。

一、数据读取

步骤一：接收从医疗综合数据库中存储的与所述病变种类信息对应的整段心脏造影dicom视频。

步骤二：基于病种信息，使用ssn协同分析整段心脏造影dicom视频中出现的关键特征信息。

步骤三：基于关键特征信息并结合体位信息，对整段dicom视频进行分段，并迭代该步骤，直到最终找到满足设定的分段视频。

步骤四：选取视频分段中的任意连续两帧图像作为训练样本，将其输入神经网络模块中。

步骤五：计算挑选出的相邻两帧之间的光流信息，作为两帧之间的映射。同时也将这些光流输入神经网络模块中，作为之后训练的输入。

二、训练网络对血管进行分割并识别

步骤一：神经网络模块进行初始化，建立多层神经网络结构，其由相似单元多次堆叠而成，一个单元中从上到下依次为卷积层、批规范化层、快捷连接层、激活函数层。同时读取预训练模型参数。

步骤二：将两帧图像中的前一帧图像取出输入卷积模块，运行模型计算图，取出计算过程中最后一个卷积层的第一特征图，将其作为之后训练的输入。

步骤三：神经网络模块接受当前帧的图像、相邻两帧之间的光流信息、上一步骤输入的第一特征图后，开始进行模型的训练。

步骤四：首先神经网络模块需要对原始的光流进行变换，即将其输入一个卷积模块中进行主要特征提取，得到第二特征图，并将其输入打包层。

步骤五：打包层接收第一特征图和第二特征图，第一特征图代表前一帧图像的主要信息，第二特征图代表两帧图像之间光流的主要特征。打包层对两个特征图进行线性插值的操作，即将两个特征图进行有效信息的融合，得到第三特征图。将其输入到组合层。

步骤六：神经网络模块接受当前帧到图像，需要对其进行特征提取，所以将其输入一个卷积模块，取出最后一个卷积层的输出得到第四特征图。并将第四特征图输入组合层中。

步骤七：组合层接收第三特征图和第四特征图,其中第三特征图表示光流信息和前一帧图片信息的有效组合，第四特征图表示当前帧的有效信息。组合层将第三特征图与第四特征图分别乘以不同的权重之后相加，得到第五特征图。并将第五特征图输入金字塔模块。

步骤八：金字塔模块接收第五特征图，应用金字塔融合的方法，先对特征图进行卷积操作，输出四种不同尺度的心脏血管特征图。将四种不同尺度的心脏血管特征图输入反卷积层。

步骤九：反卷积层接受四种不同尺度的心脏血管特征图，通过双线性插值的方法将四种不同尺度的心脏血管特征图放大到同一大小，最终沿着一个维度合并到一起。这就得到了最后的分割识别血管图。

步骤十：比较最后输出的分割识别血管图和医生精标注图片的不同得到损失值，之后通过梯度下降法对神经网络各个层的参数进行更新。

步骤十一：迭代运行步骤二到步骤十直到通过神经网络分割和识别出的血管图与医生精标注之间损失值低于预设的阈值。

步骤十二：存储训练之后的模型参数和神经网络模型结构，以便以后测试过程中使用。

步骤十三：训练不同体位数据的模型参数并存储。

三、测试网络对血管进行分割并检测

步骤一：读取拍摄到的患者的dicom文件，提取关键相邻帧，输入神经网络模块并读取该体位对应的模型参数。

步骤二：神经网络模块进行初始化，建立多层神经网络结构，并读取之前训练好的对应体位的模型参数。

步骤三：神经网络接收数字减影血管造影图像，通过深度学习的方法对输入图片进行血管的分割和检测，输出不同体位关键帧的血管分割和识别图片。

步骤四：对不同体位重复上述一到三步骤，直到将所有体位的关键帧处理完毕。

本发明实施例一提供的一种基于深度学习和光流法的心脏冠状动脉影像分割识别方法，通过选取分段心脏造影dicom视频中任意连续两帧图片作为训练样本，将训练样本输入神经网络中；神经网络基于所述训练样本，计算连续两帧图片之间的光流信息作为两帧之间的映射，同时将光流信息输入神经网络中；神经网络通过深度学习的方法对前一帧图片及光流信息得到的第三特征图及当前帧图片得到的第四特征图组合得到的第五特征图输入金字塔模块中，金字塔模块基于第五特征图应用金字塔融合的方法得到不同尺度的心脏血管特征图；反卷积层通过双线性插值的方法将不同尺度的心脏血管特征图沿着一个维度合并到一起，得到心脏冠状动脉影像分割识别血管图的技术方案，将相邻两帧之间的信息表示出来并用于冠状动脉心脏造影图像的分割和识别任务，并将光流法和深度学习技术结合用于心脏造影图像的分割和识别任务。以较高的准确率分割并识别心脏造影图像不同类型的血管。将深度学习技术和光流法进行结合，实现端到端的自动分割并识别血管过程。解决了传统对dicom视频文件进行分割的做法是一帧一帧的进行分割，而且帧与帧之间没有任何关联性，导致分割精度低的技术问题。本方法采用光流法表示帧与帧之间的关联性，将血管的变化信息加入分割方法中，从而可以得到较好的结果，提高了分割精确度。

上述本发明实施例序号仅仅为了描述，不代表实施例的优劣。

以上所述，仅为本发明的具体实施方式，但本发明的保护范围并不局限于此，任何熟悉本技术领域的技术人员在本发明揭露的技术范围内，可轻易想到变化或替换，都应涵盖在本发明的保护范围之内。因此，本发明的保护范围应以所述权利要求的保护范围为准。