基于全心七维模型的心血管影像识别系统及方法与流程

本发明属于超声图像识别技术领域，具体涉及一种基于全心七维模型的心血管影像识别系统及方法。

背景技术：

在心血管图像获取技术领域，目前最常用的影像学技术为心血管超声和电子计算机断层扫描(computedtomography,ct)，两者在功能上相辅相成。其中，心血管超声是利用人体心血管系统对超声波的反射进行组织器官观察，其中心脏彩超是唯一能动态显示心腔内结构、心脏的博动和血流动力学的检查方式，心血管超声的常用方法包括b型超声法、m型超声法和多普勒超声法。计算机断层扫描(computedtomography,ct)是通过对物体进行不同角度的射线投影测量而获取物体横截面信息的成像技术，ct技术的核心是投影重建图像的理论，其实质是由扫描所得到的投影数据反求出成像品名上每个点的衰减系数值。

除上述两种影像学技术外，血流储备分数(fractionalflowreserve,ffr)、最大密度投影算法(maximalintensityprojection,mip)、多平面重建(multiplanarreconstructions,mpr)和容积重建技术(volumerenderingtechnique,vrt)也广泛应用于心血管影像获取中；其中，血流储备分数(fractionalflowreserve,ffr)指在冠状动脉存在狭窄病变的情况下，该血管所供心肌区域能获得的最大血流与同一区域理论上正常情况下所能获得的最大血流之比，即心肌最大充血状态下的狭窄远端冠状动脉内平均压(pd)与冠状动脉口部主动脉平均压(pa)的比值；最大密度投影算法(maximalintensityprojection,mip)：mip运用透视法获得二维图像，即通过计算沿着被扫描物每条射线上所遇到的最大密度像素而产生的。当光纤束通过一段组织的原始图像时，图像中密度最大的像素被保留，并被投影到一个二维平面上，从而形成mip重建图像；多平面重建(multiplanarreconstructions,mpr)是将扫描范围内所有的轴位图像叠加起来再对某些标线标定的重组线所像加起来再对某标线标定的线所指定的组织进行冠状、矢状位、任意角度斜位图像重组；容积重建技术(volumerenderingtechnique,vrt)是目前应用的最强大的影像学三维重建技术，其具有建模功能强大，形态和色彩逼真的特点，能够实现动静脉血管和心脏的结构三维模型的重建。

虽然上述技术的运用已经广泛且较为成熟，但这些技术用于心血管疾病诊断上仍然存在诸多问题：

(1)心血管影像需求增长率和影像师增长率脱节，影像师负荷过重；

(2)心血管影像判读主观性大，漏诊误诊率较高：心血管影像的判读要求影像医师有很高的立体思维能力，能够从二维影像资料中判断出三维空间中的结构和功能异常，并且心血管影像的参数众多，分析复杂，单个医生难以掌握所有要点。因此目前心血管影像的判读很大程度上依赖于医生的专业水平和医疗经验。该特点在心血管超声方面尤为显著，由于心血管影像采集不规范、信息量大、判读主观性强，导致心血管超声在判读时误诊和漏诊率很高；

(3)现有基于ct的心血管三维模型重建技术提供信息单一，基于超声的三维重建技术尚不成熟：心血管系统相对于其余系统而言有其特殊性，心血管系统外的影像学资料判读大都仅需考虑结构信息，但心血管系统需要同时考虑结构信息、血流动力学信息和时相信息。目前基于ct的最大密度投影技术(maximalintensityprojection,mip)和多平面重建技术(multiplanarreconstructions,mpr)等所得到的心血管系统模型或图像仅能提供结构三维信息，而血流动力学信息和时相信息却未得到展现。心血管超声能够较为准确的获得结构信息、血流动力学信息和时相信息，但针对心血管超声的立体建模技术却尚不成熟，综合所有信息的立体建模技术更是尚未见报道；

(4)心血管诊疗数据利用率低，浪费其科研价值：目前，我国医疗大数据还属于比较新颖的概念，仍有一些技术上的难题和障碍，每家医院的数据就好比一个个的信息“孤岛”，数据整合性差，利用率低，这些都是大数据应用相当核心的问题。

技术实现要素：

针对现有技术中的上述不足，本发明提供的基于全心七维模型的心血管影像识别系统及方法解决了现有的心血管影像判读受主观影响大，判读结果不够准确的问题。

为了达到上述发明目的，本发明采用的技术方案为：基于全心七维模型的心血管影像识别系统，包括依次连接的影像数据处理子系统、云数据库和全心七维模型构建子系统；

所述影像数据处理子系统用于处理输入的待识别的心血管影像，对其进行准确标注，并上传至云数据库；

所述云数据库用于存储所有准确标注的心血管影像；

所述全心七维模型构建子系统用于根据云数据库中的所需心血管影像，构建对应的全心七维模型，根据构建出的全心七维模型实现对心血管影像的识别。

进一步地，所述影像数据处理子系统为进行集成学习的卷积神经网络和支持向量机；

所述卷积神经网络包括依次连接的第一卷积层、第二卷积层、第一池化层、第三卷积层、第四卷积层、第二池化层、第五卷积层、第六卷积层、第三池化层和全连接层；

所述第一卷积层和第二卷积层之间、第二卷积层和第一池化层之间、第三卷积层和第四卷积层之间、第四卷积层和第二池化层之间、第五卷积层和第六卷积层之间、第六卷积层和第三池化层之间均设置有relu激活函数。

进一步地，所述云数据库为nosql形式的dynamo数据库。

进一步地，所述全心七维模型构建子系统为进行相互增强学习的cnn神经网络、gan神经网络和七维模型合成单元；

所述cnn卷积神经网络的输出端分别与gan神经网络和七维模型合成单元连接，所述gan神经网络的输出端与七维模型合成单元连接。

基于全心七维模型的心血管影像识别方法，包括以下步骤：

s1、构建影像数据处理子系统并对其进行训练；

s2、将待识别的心血管影像输入到训练好的影像数据处理子系统中，得到正确标注的心血管影像，并输入到云数据库中；

s3、将云数据库中正确标注的心血管影像输入到训练好的全心七维模型构建子系统中，构建出对应的全心七维模型，用于心血管影像识别。

进一步地，所述步骤s1中，对影像数据处理子系统进行训练的方法具体为：

将人工正确标注的心血管影像输入到卷积神经网络和支持向量机中进行集成学习，并对集成学习后输出的数据进行复核，进而调整卷积神经网络和支持向量机的参数，直到数据处理子系统对心血管影像的标注正确率达到99％时，得到训练好的影像数据处理子系统。

进一步地，所述步骤s3中，对全心七维模型构建子系统进行训练的方法具体为：

a1、将云数据库中存储的当前正确标注的心血管影像及未标注的心血管影像输入到cnn神经网络，并将cnn神经网络输出的影像输入到gan神经网络中；同时将云数据库中存储的正确标注的心血管影像输入到gan神经网络中；

a2、通过gan神经网络对输入的影像进行处理，输出对应的影像；

a3、根据cnn神经网络输出的影像和gan神经网络输出的影像，计算优化损失函数值；

a4、判断优化损失函数值loss是小于设置阈值；

若是，则进入步骤a5；

若否，则进入步骤a6；

a5、将当前cnn神经网络和gan神经网络的参数值作为全心七维模型构建子系统的参数值，得到训练好的全心七维模型构建子系统；

a6、根据优化损失函数值，调整cnn神经网络和gan神经网络的参数值，并返回步骤a1。

进一步地，所述步骤a3中优化损失函数值的计算公式为：

式中，

为损失权值；

li为损失权值；

为第t个测试集中的j例的权值；

xi为第i个测试例子；

为第t个测试集的i生成权值；

yi为第i个预测结果；

δ为每次迭代的误差。

进一步地，所述步骤s3具体为：

s31、将经过标注的待识别心血管影像输入到训练好的cnn神经网络中，得到处理后的影像和该心血管影像对应的血液动力学参数，并将处理后的影像输入到训练好的gan神经网络中；

s32、通过gan神经网络对输入的处理后的影像进行处理，得到若干个对应的三维影像；

s33、根据真实心脏3d模型的三维结构特征，将若干个三维影像进行合成，得到对应的影像三维结构特征；

s34、通过七维模型合成单元对cnn神经网络输出的血液动力学参数和由gan神经网络得到的影像三维特征结构进行合成，构建出对应的全心七维模型。

进一步地，所述步骤s31中的血液动力学参数包括血流量、流速、压力和流态。

本发明的有益效果为：

(1)准确识别心血管超声图像，保证识别质量：通过本发明提供的识别系统实现了标准声窗的自动准确识别，保证了声窗采集的准确性，使得不同医院及同一医院采集的心血管超声图像有较好的可比性；

(2)高兼容性建模系统，适用于各种影像学检查方式：通过本发明方法建立的全心七维模型同时基于ct、mr和心血管超声的图像进行建模，打破了传统的一种检查手段对应一套建模系统的局限模式，具有很强的兼容性和普适性；

(3)提升工作效率，为影像医师减负：本发明方法以ai算法为基础，实现了心血管超声的自动实现和立体建模，提升了心血管超声医生的图像采集效率和准确性，同时也减少了影像医师在读图和建模上所耗费的时间，极大的减少了影像医师的负担。

附图说明

图1为本发明提供的基于全心七维模型的心血管影像识别系统结构图。

图2为本发明提供的基于全心七维模型的心血管影像识别方法流程图。

图3为本发明提供全心七维模型构建子系统的训练方法流程图。

具体实施方式

下面对本发明的具体实施方式进行描述，以便于本技术领域的技术人员理解本发明，但应该清楚，本发明不限于具体实施方式的范围，对本技术领域的普通技术人员来讲，只要各种变化在所附的权利要求限定和确定的本发明的精神和范围内，这些变化是显而易见的，一切利用本发明构思的发明创造均在保护之列。

实施例1：

如图1所示，基于全心七维模型的心血管影像识别系统，包括依次连接的影像数据处理子系统、云数据库和全心七维模型构建子系统；

影像数据处理子系统用于处理输入的待识别的心血管影像，对其进行准确标注，并上传至云数据库；

云数据库用于存储所有准确标注的心血管影像；

全心七维模型构建子系统用于根据云数据库中的所需心血管影像，构建对应的全心七维模型，根据构建出的全心七维模型实现对心血管影像的识别。

本发明实施例中的影像数据处理子系统为进行集成学习的卷积神经网络和支持向量机；卷积神经网络包括依次连接的第一卷积层、第二卷积层、第一池化层、第三卷积层、第四卷积层、第二池化层、第五卷积层、第六卷积层、第三池化层和全连接层；第一卷积层和第二卷积层之间、第二卷积层和第一池化层之间、第三卷积层和第四卷积层之间、第四卷积层和第二池化层之间、第五卷积层和第六卷积层之间、第六卷积层和第三池化层之间均设置有relu激活函数。其中的几个卷积层均由若干个卷积单元组成，每个卷积单元的参数都是通过反向传播算法优化得到的，卷积运算的目的是提取输入的不同特征，第一卷积层可能只能提取一些低级的特征如边缘、线条和角等级层，后面更多的网络层能从低级特征中迭代提取更复杂的特征；通常在卷积层之后会得到很大的特征，因此在各卷积层后面设置池化层，将特征切成几个区域，取其最大值或平均值，得到新的、维度较小的特征；全连接层把所有局部特征结合起来变成全局特征，用来计算每一类的得分。

本发明实施例中的云数据库为nosql形式的dynamo数据库，对于存放数据库的数据而言，先将其进行动态数据脱敏技术的处理，从而使数据中有关用户的敏感信息部分加入噪音，从而起到保护医院和病人隐私的作用，增强了系统的安全性。dynamo数据库是分布式数据库，设计成用来解决数据库管理、性能、可扩展和可靠性等核心问题，开发人员可以创建一个数据库表，该表可以存储和检索任何数量的数据，dynamodb改进了memcached的一致性hash算法，采用了虚拟节点的机制改进了一致性hash算法，有q个虚拟节点，s个物理节点，那么为每一个物理节点分配q/s个虚拟节点，其中q>>s，虚拟节点的好处是能够分布不均匀的问题，最大限度减少服务器增减时的缓存重新分布,memcached虚拟节点不固定，虚拟节点位置随机性，如果有新节点加入，则需要扫描所有节点上的所有数据对象，判断是否需要迁移，这种全局扫描会造成很大开销。dynamodb固定虚拟节点，只改变虚拟节点和节点的对应关系。

本发明实施例中的全心七维模型构建子系统为进行相互增强学习的cnn神经网络、gan神经网络和七维模型合成单元；cnn卷积神经网络的输出端分别与gan神经网络和七维模型合成单元连接，gan神经网络的输出端与七维模型合成单元连接。其中，cnn卷积神经网络主要为三层，分别为卷积层、卷积层和池化层，且分别具有7个、10个和4个神经元，且cnn神经网络中第一层输入的指标是图形的3个不同灰度特征和一个表情特征，最后一层输出的是gan所需的四个图形特征指标。gan神经网络主要来源于博弈论中零和博弈的思想，应用到深度学习神经网络上来说，就是不断通过生成网络g(generator)和判别网络d(discriminator)不断博弈，进而使g学习到数据的分布，如果用到图片生成上，则训练完成后，g可以从一段随机数中生成逼真的图像。g，d的主要功能是：g是一个生成式的网络，它接收一个随机的噪声z(随机数)，通过这个噪声生成图像；d是一个判别网络，判别一张图片是不是“真实的”。它的输入参数是x，x代表一张图片，输出d(x)代表x为真实图片的概率，如果为1，就代表生成了精确的图片。七维模型合成单元将gan神经网络生成的心血管影像的3维部分与cnn神经网络生成的心血管影像中的具体细节部分进行合成，得到复用性高的全心七维模型构建子系统。

实施例2：

如图2所示，与上述实施例1对应的，本发明还提供了一种基于全心七维模型的心血管影像识别方法，包括以下步骤：

s1、构建影像数据处理子系统并对其进行训练；

s2、将待识别的心血管影像输入到训练好的影像数据处理子系统中，得到正确标注的心血管影像，并输入到云数据库中；

s3、将云数据库中正确标注的心血管影像输入到训练好的全心七维模型构建子系统中，构建出对应的全心七维模型，用于心血管影像识别。

本发明实施例步骤s1中，对影像数据处理子系统进行训练的方法具体为：将人工正确标注的心血管影像输入到卷积神经网络和支持向量机中进行集成学习，并对集成学习后输出的数据进行复核，进而调整卷积神经网络和支持向量机的参数，直到数据处理子系统对心血管影像的标注正确率达到99％时，得到训练好的影像数据处理子系统。一般而言，对于一份心血管影像数据至少需要进行双重审核，对于一些有争议的数据则会做出三次甚至更多次的复核校验，保证最终的心血管影像标注质量，采用人工标注和智能标注同步的方法，数据采用智能标注为主，人工标注为辅的方法，具体的工作步骤分为三步：首先人工标注数据，产生少量准确的数据样本，然后输入到特定的神经网络模型中对其训练，并对神经网络预测的数据结果进行人工复核，从而进行神经网络的算法迭代优化，最后当神经网络标注达到99％时，即达到智能标注的效果。智能标注模型得出后,我们将其应用在大批图片的标注应用上,从而将原始影像资料变成高性能与可用的优质影像数据集.再经过脱敏处理和云端上传等步骤,将数据保存在nosql形式的dynamo数据库中。

如图3所示，本发明实施例的步骤s3中，对全心七维模型构建子系统进行训练的方法具体为：

a1、将云数据库中存储的当前正确标注的心血管影像及未标注的心血管影像输入到cnn神经网络，并将cnn神经网络输出的影像输入到gan神经网络中；同时将云数据库中存储的正确标注的心血管影像输入到gan神经网络中；

a2、通过gan神经网络对输入的影像进行处理，输出对应的影像；

a3、根据cnn神经网络输出的影像和gan神经网络输出的影像，计算优化损失函数值；

a4、判断优化损失函数值loss是小于设置阈值；

若是，则进入步骤a5；

若否，则进入步骤a6；

a5、将当前cnn神经网络和gan神经网络的参数值作为全心七维模型构建子系统的参数值，得到训练好的全心七维模型构建子系统；

a6、根据优化损失函数值，调整cnn神经网络和gan神经网络的参数值，并返回步骤a1。

其中，步骤a3中优化损失函数值的计算公式为：

式中，

为损失权值；

li为损失权值；

为第t个测试集中的j例的权值；

xi为第i个测试例子；

为第t个测试集的i生成权值；

yi为第i个预测结果；

δ为每次迭代的误差。

本发明实施例中步骤s3具体为：

s31、将经过标注的待识别心血管影像输入到训练好的cnn神经网络中，得到处理后的影像和该心血管影像对应的血液动力学参数，并将处理后的影像输入到训练好的gan神经网络中；

其中，血液动力学参数包括血流量、流速、压力和流态。

s32、通过gan神经网络对输入的处理后的影像进行处理，得到若干个对应的三维影像；

s33、根据真实心脏3d模型的三维结构特征，将若干个三维影像进行合成，得到对应的影像三维结构特征；

s34、通过七维模型合成单元对cnn神经网络输出的血液动力学参数和由gan神经网络得到的影像三维特征结构进行合成，构建出对应的全心七维模型。

需要说明的是，通过本发明方法对心血管影像进行建模时，所依据的心血管影像并不单单只有心血管超声影像，还包括基于ct、mr等图像构建对应的全心七维模型，因此本发明方法有较高的兼容性，能够适用于各种影像学检查方式。

本发明的有益效果为：

(1)准确识别心血管超声图像，保证识别质量：通过本发明提供的识别系统实现了标准声窗的自动准确识别，保证了声窗采集的准确性，使得不同医院及同一医院采集的心血管超声图像有较好的可比性；

(2)高兼容性建模系统，适用于各种影像学检查方式：通过本发明方法建立的全心七维模型同时基于ct、mr和心血管超声的图像进行建模，打破了传统的一种检查手段对应一套建模系统的局限模式，具有很强的兼容性和普适性；

(3)提升工作效率，为影像医师减负：本发明方法以ai算法为基础，实现了心血管超声的自动实现和立体建模，提升了心血管超声医生的图像采集效率和准确性，同时也减少了影像医师在读图和建模上所耗费的时间，极大的减少了影像医师的负担。