人工智能超声心动图数据采集系统及其数据采集方法与流程

本发明涉及一种图像数据采集系统，尤其涉及一种利用人工智能技术进行超声心动图数据采集的系统。

背景技术：

当前，人工智能正在全球范围内迎来新一轮的创新发展期，其根本原因是深度学习算法、大规模并行计算以及大数据技术。医疗大数据中有90％来自于医学影像，并且我国医学影像数据正以30％的年增长率逐年扩容，为了满足愈加复杂的医学影像分析和处理要求，人工智能方法成为近年来医学影像处理技术发展的一个研究热点。

作为医学影像的重要构成部分，超声心动图是利用超声特殊物理特性检查心血管系统结构和功能的一种无创性检查，其主要目的是为了评价心脏等相关结构的大小、形态以及功能是否正常。超声心动图检查是心血管病筛查、诊断的必备检查之一，在临床实际工作中应用越来越广泛，而且还能够为很多疾病的治疗提供相应的有效信息，现已扩展到手术室、心导管室，用于进行手术中及介入治疗中的检测和监测。

由于超声心动图的不可或缺和广泛应用，近年来超声心动图的检查需求不断增长。然而，全国超声医师有10万多名，拥有十年经验的尚不足3万人；由于超声技术人才培养需要一定周期，人才输出速度在短时间内无法补足超声医师的缺口问题，更难以支撑超声心动图日益增长的服务需求。而且由于中国具有特色化的医院分布情况，医疗资源分配不平衡，80％的医疗资源集中在20％的城市大医院，基层医院的优质超声医师匮乏，无法准确实施超声心动图检查，大量患者要做超声心动图不得不涌向城市大医院，导致城市大医院的负担过载，超声医师工作过于饱和。

超声心动图大多是依靠医生采集的不同切面的动态图像进行测量与诊断，这对超声医师个人的技术水平与诊断能力要求比较高。受患者病情、医师经验、现场环境等因素影响，相同医生针对同一位患者或不同医生针对同一位患者的超声心动图测量一致性和重复性难以实现，从而发生漏诊、误诊，耽误患者的治疗。因此，急需一种可以减少人为误差造成超声心动结果采集数据偏差的方法，既有助于超声心动图检查行业标准的建立，又可以缓解基层超声医师资源短缺的问题。

鉴于以上基础，在此提出一种基于人工智能技术的超声心动图数据采集系统，可以辅助医生进行超声心动图精准切面定位和数据测量，不仅显著减少人为原因造成的超声心动结果采集数据偏差，还可以减轻超声医师工作负担，使其更便利、更高效的工作。

技术实现要素：

本发明的目的在于：将传统超声心动图与人工智能相融合，开发统一标准化的超声数据测量采集系统，填补行业空白。借助人工智能超声数据测量采集系统，可辅助医生识别超声心动检查中的常用切面，实现对切面中关键点/区的定位和测量，不仅能够自动生成超声基本数据报告，还可以实现对异常超声诊断结果的智能提示。

本发明能解决的问题包括：通过人工智能技术促进超声检查的统一标准化，不仅提升超声心动图检查的准确性，可以解决不同医院超声心动诊断结果不互认的问题，促进了超声心动图检查工作的智能化发展，优化医疗资源配置，降低医疗成本；还可以最大化释放超声医师资源，并且使基层医生拥有了专家级的超声心动检查能力，有助于实现患者分流就诊，有效缓解国内超声医疗资源分布不均的现状。

本发明提供一种人工智能超声心动图数据采集系统，包括：数据采集模块、数据上传模块、数据识别模块、超声影像工作站、数据测量模块以及数据生成模块；其中，数据采集模块用于对超声心动检查数据进行采集；数据上传模块用于将检查数据进行上传，并且上传到数据识别模块；数据识别模块利用卷积神经网络对数据进行快速识别；数据测量模块用于测量所需数据；数据生成模块根据数据测量模块测量的数据自动生成超声基本数据报告，并将报告发送到超声影像工作站。本发明还提供一种利用人工智能超声心动图数据采集系统进行数据采集的方法，所述方法包括如下步骤：

步骤一，利用数据采集模块对患者超声心动检查的数据进行采集，接着将患者进行超声心动检查的数据通过数据上传模块上传到数据识别模块；

步骤二，由数据识别模块利用卷积神经网络前向传播算法进行快速识别，判断心脏超声心动切面数据是否符合标准，如果数据符合标准，则将数据导出到超声影像工作站；如果数据不符合标准，则重复步骤一；

步骤三，确定数据符合标准并将数据导出到超声影像工作站后，数据测量模块开始自动测量所需数据，然后由数据生成模块根据数据测量模块测量的数据自动生成超声基本数据报告，并将报告发送到超声影像工作站，医生可以对自动生成的基本数据报告进行编辑使用。

本发明的人工智能超声心动图数据采集系统具有如下突出的技术效果：

1.首次将人工智能技术应用于超声心动测量评估工作，实现了超声心动图基本数据采集流程的统一标准化，填补行业空白。

2.采用完全自主原创的人工智能系统(zann)进行开发，属于中国首款拥有完全自主知识产权的人工智能超声心动图数据采集系统。

3.本发明的人工智能超声数据测量采集系统，可完成超声心动检查中常用切面的自动识别；实现对切面中关键点/区的智能定位和自动测量；自动生成超声基本数据报告；和实现对异常超声诊断结果的智能提示。

4.本发明的系统操作简单易掌握，几乎不改变医院现有超声科室的工作流程普及门槛低，可广泛用于各种超声设备及各级医疗机构。

附图说明

图1是应用本发明优选实施例的人工智能超声心动图数据采集系统进行数据采集的步骤示意图；

图2是本发明优选实施例的人工智能超声心动图数据采集系统的工作流程图。

图3是cnn的标准网络模型示意图。

图4是rcnn的测试流程示意图。

具体实施方式

本发明的人工智能超声心动图数据采集系统将人工智能技术应用到超声心动图的数据采集中，能够实现超声心动图数据采集流程的统一标准化，减少大量的人工误差产生。

本发明的人工智能超声心动图数据采集系统主要用到了以下几种核心技术：

1、图像预处理技术

图像预处理，是将每一个文字图像分检出来交给识别模块识别，这一过程称为图像预处理。在图像分析中，对输入图像进行特征抽取、分割和匹配前所进行的处理。

图像预处理的主要目的是消除图像中无关的信息，恢复有用的真实信息，增强有关信息的可检测性和最大限度地简化数据，从而改进特征抽取、图像分割、匹配和识别的可靠性。图像预处理的常规步骤如下：

1)图像滤波。信号或图像的能量大部分集中在幅度谱的低频和中频段，而在较高频段，有用的信息经常被噪声淹没，因此需要在尽量保留图像细节特征的条件下对目标图像的噪声进行抑制，其处理效果的好坏将直接影响到后续图像分析和识别的有效性和可靠性。目前支持的图像滤波方式有：均值滤波、高斯滤波、中值滤波和双边滤波；

2)图像金字塔与尺寸缩放。图像金字塔是图像中多尺度表达的一种，是一种以多分辨率来解释图像的有效且概念简单的结构。在对图像进行特征提取和识别之前，通常需要对图像进行尺寸变换以便于得到不同尺度的图像特征，在卷积神经网络(convolutionalneuralnetwork，简称：cnn)兴起之后，图像不同尺度特征的提取融入了网络结构的设计中，因此本步预处理主要是对图像进行尺寸缩放，得到统一分辨率的图像数据，以便于后续的cnn网络训练；

3)图像翻转。在图像分类识别的任务中，图像的翻转不应该影响识别的结果，因此训练cnn网络时，需要随机的翻转训练图像，这样训练得到的模型具有平移不变性。目前支持的图像翻转预处理有上下翻转、左右翻转、90°翻转；

4)图像色彩调整和归一化。与图像翻转类似，调整图像的亮度、对比度、饱和度和色相等参数都不应该影响图像识别的最终效果，因此在训练模型时，可以随机的调整图像的这些属性，从而使训练得到的模型尽可能少受无关因素的影响。最后进行图像的归一化操作是指将图像标准化为像素亮度均值为0，方差为1的图像，这样训练出的模型具有光照不变性。

根据不同识别任务的需求，可以任意选择上述图像预处理的一种或多种组合，改进后续图像特征提取和识别的稳定性和可靠性。

在超声影像数据采集中，很难像普通训练任务一样，具有十万甚至百万以上数量级的数据，这时候图像预处理技术可以对图像进行加噪、反转、增强等操作，将数据量翻倍还能提高图像质量。然后把准备好的数据送入卷积神经网络(cnn)中进行训练，以便网络学到更丰富的知识且增加模型的容错性。

2、卷积神经网络(convolutionalneuralnetwork，简称：cnn)

卷积神经网络(cnn)是在多层神经网络的基础上发展起来的针对图像分类和识别而特别设计的一种深度学习方法。它是一种深度的监督学习下的机器学习模型，具有极强的适应性，善于挖掘数据局部特征，提取全局训练特征和分类，其权值共享结构网络使之更类似于生物神经网络，在模式识别各个领域都取得了很好的成果。

cnn具有一些传统技术所没有的优点：良好的容错能力、并行处理能力和自学习能力，可处理环境信息复杂，背景知识不清楚，推理规则不明确情况下的问题，允许样品有较大的缺损、畸变，运行速度快，自适应性能好，具有较高的分辨率。同时，其泛化能力要显著优于其它方法，卷积神经网络已被应用于模式分类，物体检测和物体识别等方面。利用卷积神经网络建立模式分类器，将卷积神经网络作为通用的模式分类器，直接用于灰度图像。

本发明中利用cnn建立超声心动图中10个常见切面的图像库，并对目标图像进行人工标注，为切面识别ai模型训练提供所需数据。根据已确定的识别目标建立基于cnn的图像分类器，启动模型训练工作，并引入评价体系和生成评价参数。当评价参数达到期望值，超声心动图切面识别模型训练完成。具体步骤如下：

1)建立超声心动图常见10个切面的图像切面库；

2)对图像切面库中的图像进行人工标注，即每一个图片对应一个图像标签，标签共十类；

3)将图片及其对应的标签，输入cnn网络进行训练，通过数十万次的迭代，优化cnn网络的参数，cnn的标准网络模型如图3所示：构建cnn的基本层共有三种：卷积层、池化层和全连接层，卷积层的作用主要是提取图像不同的局部特征，池化层完成特征融合和降维，最后由全连接层作类型推断和输出，其中卷积层和全连接层的参数需要不断训练来优化；

4)对生成的模型进行测试，当模型的预测准确率高于期望值时，模型训练完成，否则继续训练直至达到要求，最终得到适应不同图像切面的cnn网络模型。

将经过预处理的数据，按照一定格式打包好数据(data)和标签(label)，送入cnn网络进行有监督学习，通过反向传播算法(backpropagation)不断优化模型权重，达到指定的损失(loss)之后保存当前权重超参数，即网络模型。再将需要检测的图像输入到该网络模型，利用保存好的权重值进行cnn网络的前向传播运算(forwardpropagation)，输出该图像的检测结果。

3、医学图像分割技术

医学图像分割是医学图像处理与分析领域的复杂而关键的步骤，其目的是将医学图像中具有某些特殊含义的部分分割出来，并提取相关特征，为临床诊疗和病理学研究提供可靠的依据，辅助医生做出更为准确的诊断。

但是医学图像中信息复杂，灰度分布不均匀，噪声较大，而且器官组织易发生形变，这些因素加大了特征选取和图像分割的难度，几乎不可能使用一个通用的方法对所有医学图像实现分割。以往的医学图像分割技术多采用阈值法等传统分割方法，本发明创新采用了一系列基于深度学习的图像分割方法，大大提高了图像分割速度，且分割准确率超过传统分割方法，不需要人工提取图像特征或对图像进行过多预处理，由此解决了医学图像难以分割的难点问题。

传统的图像检测方法主要为区域建议+手工特征设计+分类器，本系统采用的方法为选择性搜索方法+cnn特征+softmax分类+外切矩形回归，即rcnn。

和传统方法相比，rcnn的图像特征提取步骤交由cnn网络完成，不再需要人工设计，检测的性能多分类平均准确率(meanaverageprecision)比传统方法高了40多个百分比。rcnn网络训练的具体步骤如下(参见图4)：

1)选择性搜索方法。图像中物体可能存在的区域应该是有某些相似性或者连续性区域的。因此，选择搜索基于上面这一想法采用子区域合并的方法进行提取boundingboxes(外切矩形)候选边界框。首先，对输入图像进行分割算法产生许多小的子区域。其次，根据这些子区域之间相似性(相似性标准主要有颜色、纹理、大小等等)进行区域合并，不断的进行区域迭代合并。每次迭代过程中对这些合并的子区域做boundingboxes(外切矩形)，这些子区域外切矩形就是通常所说的候选框；

2)cnn图像特征提取。此步骤技术之前已经详细描述，此处需要说明的是传统的cnn网络主要用于目标分类，而目标分类的要求是具有空间不变性，因此cnn卷积网络的层数越深，目标的空间信息丢失的越多，但是目标检测/分割要得到目标的准确位置信息，因此rcnn网络引入了位置敏感池化(position-sensitiveroipooling)；

3)softmax分类+外切矩形回归。softmax分类层与传统的cnn类似，是一个全连接层，输出节点数为网络能够识别的目标分类数，对输入候选框给出各个分类的取值概率，同时生成分类损失值。和分类任务不同的是，此处多了一个外切矩形回归，是用来对第一步选择性搜索方法给出的候选框位置进行校正，同时生成位置损失值，将两个损失值相加得到最终的检测任务损失值；

4)对网络进行迭代训练，并对生成的模型进行测试，当模型的map(多分类平均准确率)满足要求时停止训练。

图像分割技术的目标在于标记图像中的每一个像素，并将每一个像素与其表示的类别对应起来。因为会预测图像中的每一个像素，所以一般将这样的任务称为密集预测。不规则的区域面积用普通的边界盒(bounding-box)来算是不准确的，图像分割技术会将超声影像中的不规则区域面积分割出来，以求得精准的面积。

图1是利用本发明优选实施例的人工智能超声心动图数据采集系统进行数据采集工作的步骤示意图。

本发明的人工智能超声心动图数据采集系统包括如下几个模块：数据采集模块1、数据上传模块2、数据识别模块3、超声影像工作站4、数据测量模块5以及数据生成模块6。其中，数据采集模块1用于对超声心动检查数据进行采集；数据上传模块2用于将检查数据进行上传，并且上传到数据识别模块3；数据识别模块3利用卷积神经网络(cnn)对数据进行快速识别；数据测量模块5用于测量所需数据；数据生成模块6根据数据测量模块5测量的数据自动生成超声基本数据报告，并将报告发送到超声影像工作站4。数据采集模块(1)包括超声探头；超声影像工作站(4)包括终端处理器和显示器。

从图1中可以看出，优选的利用本发明的数据采集系统进行数据采集的步骤包括：

步骤一，利用数据采集模块1对患者超声心动检查的数据进行采集，接着将患者进行超声心动检查的数据通过数据上传模块2上传到数据识别模块3；

步骤二，由数据识别模块3利用卷积神经网络(cnn)前向传播算法(forwardpropagation)进行快速识别。其中数据识别模块3的开发通过数据反复迭代的训练，再达到理想的损失(loss)值时，保存其权重参数，导出数据识别模块3。判断心脏超声心动切面数据是否符合标准，如果数据符合标准，则将数据导出到超声影像工作站4；如果数据不符合标准，则重复步骤一；

判断心脏超声心动切面是否符合标准：如果心脏超声心动切面数据符合标准，数据识别模块3会发出“切面标准”的提示音，并将切面标准的提示反馈到超声影像工作站4；如果心脏超声心动切面数据不符合标准，数据识别模块3会发出警报，并且纠正操作人员对超声心动仪的探头方向进行调整，直到超声心动仪的探头打出理想的标准切面，然后，数据识别模块3将切面标准的提示反馈到超声影像工作站4。

步骤三，确定数据符合标准并将数据导出到超声影像工作站4后，数据测量模块5开始自动测量所需数据，然后由数据生成模块6根据数据测量模块5测量的数据自动生成超声基本数据报告，并将报告发送到超声影像工作站4，医生可以对自动生成的基本数据报告进行编辑使用。

通过上述的步骤，本发明的人工智能超声心动图数据采集系统可以实现下述的几种功能：

1、对心脏常用检查切面的智能识别

数据识别模块3可以按照超声心动图常用检查顺序分别对常用切面进行自动识别，能准确的识别胸骨旁左室长轴、胸骨旁大动脉短轴、胸骨旁左室短轴切面，心尖四腔心切面，心尖五腔心切面，心尖两腔心切面，剑突下四腔心切面，胸骨上窝主动脉弓切面等。

2、智能引导心脏切面的定位

当心脏超声心动切面数据不符合标准时，数据识别模块3可智能引导操作人员对探头方向进行调整，直到探头打出理想的标准切面。

3、在目标切面中自动完成数据采集

数据测量模块5基于切面自动完成对超声心动图常用指标的测量采集，如：升主动脉内径，左室舒末内经、左室收末内径，射血分数，室间隔厚度，室间隔运动幅度，左房大小，右房大小，肺动脉干径，右室前后径、e波最大流速，a波最大流速等。

4、完成对心脏结构性、瓣膜性数据的采集

数据测量模块5观察心室心房的连续性情况，有无局部运动异常，观察瓣膜数目形态，开闭情况，测量跨版压差，最大流速，瓣口面积。观察有无瓣膜返流等。

图2示出了人工智能超声心动图数据采集系统的工作流程图，从图中可以看出，本发明优选实施例的人工智能超声心动图数据采集系统接收到测量图像后进行的操作如下：

1)首先，利用数据采集模块1对患者超声心动检查的数据进行采集，并且通过数据上传模块2将原始测量的超声心动图上传至数据识别模块3；

2)接着，数据识别模块3利用图像预处理技术对原始输入的超声心动图进行降噪和影像特征区域强化处理；并且利用区域检测的神经网络模型进行图像区域的分割；将分割的图像送入已保存好的卷积神经网络模型，经过神经网络模型的前向传播算法，对输出的结果做出智能判断，判断打出的心脏超声心动切面是否符合标准；

3)当打出的心脏超声心动切面符合标准后，由数据测量模块5对分割后的图像进行图片识别和数据测量，包括目标切面定位、区域识别定位和切割区域的定点测量，然后由数据生成模块6自动生成超声基本数据报告。该数据测量模块5利用卷积神经网络(cnn)训练出小区域精确测量的网络模型。

通过上述的操作，可提升超声心动图检查的准确性，有效减少人为操作造成的误差，同时可显著提升医生的工作效率，使其超声检查工作更高效、更便利，实现了超声心动图基本数据采集流程的统一标准化，有助于解决不同医院超声心动诊断结果不互认的问题，降低医疗成本。

进一步地，本发明的人工智能超声心动图数据采集系统操作简单易掌握，几乎不改变医院现有超声科室的工作流程，临床实用性强，推广价值高，可赋予基层医生“专家级”的超声心动检查能力，在一定程度上可改善基层医疗服务能力不足的现状，可广泛适用于各种超声设备及各级医疗机构。