时间心脏图像的卷积深度学习分析的制作方法

本公开总体涉及心脏图像的诊断。本公开具体地涉及对心脏图像进行分类，以示出正常的心脏功能或异常的心脏功能。

背景技术：

许多医学成像模态(例如，超声us、磁共振成像mri、ct、正电子发射断层摄影pet等)提供描述各种人体器官功能的时间数据。空间功能成像的主要应用之一是心脏疾病的诊断和监测。由于心脏处于持续的周期性运动中，因此通过对心脏变形进行分析，时间成像被广泛用于表征心脏功能。

如本公开领域中已知的超声心动图(回波)是用于捕获搏动的心脏的时间数据的最流行的技术之一。与其他成像方式相比，回波具有许多优势，包括低成本和便携性。回波实时成像并且不使用任何电离辐射。

有两(2)种不同的采集模式，使用最广泛的二维(2d)模式和一种不太流行的三维模式(3d)模式。

对于2d回波，将超声换能器定位在靠近胸骨的位置，并以每秒50到100帧的速率采集与心脏相交的2d平面中的图像。这些电影(平面超声心动图图像的时间序列)可以为超声医师实况显示，并且可以保存并发送以供以后进行解释/诊断(例如pacs)。2d回波需要采集穿过心脏的数个不同平面以覆盖心肌的全部体积。

对于3d回波，使用了更复杂的换能器，并采集了搏动的心脏的体积超声心动图的时间序列。

如本公开领域中已知的心电图(ecg)增加了检测可能导致突然心脏骤停的异常心血管状况(例如，心肌病)的能力。ecg的结果是波形，其指示心脏在心动周期中的电活动，并且ecg与回波同时执行以增强心脏诊断。

与本公开相关的回波的主要应用是心血管疾病(cvd)的检测和表征。该疾病可能是一个或多个冠状动脉闭塞的结果，这导致心脏的一个或多个段的收缩力降低。在回波的临床应用中，根据时间回波图像来检测并量化心脏壁运动的异常。在当前的实践中，通过对时间图像进行主观视觉检查以及检测心肌壁运动和每个心肌段的增厚异常来完成这种量化。对回波的解读可以在图像实时可视化的检查过程中进行，也可以在阅读控制台(例如pacs)中进行检查后进行。本质上，还有许多其他类型的心脏病是由于心脏功能异常而引起的，无论性质上是电气的还是机械的。这些疾病的常见主导因素以心脏结构或/和功能(电气/机械)的形式出现。

如回波图像所见证的那样，在心脏变形的建模方面已经进行了大量的研究工作。这些努力大部分基于图像分析。例如，可以利用心内膜壁的检测然后进行量化。同样，分割、散斑跟踪、非刚性配准方法可用于自动跟踪心脏运动并确定运动异常。但是，所有这些方法都存在超声图像中严重噪声的问题，这妨碍了这些算法的可靠实现。

解决此问题的不同方法是使用涉及超声的多普勒采集的不同数据采集模型，在该模型中可以量化组织的运动。但是，对于这种方法，只能在波束方向上对运动进行量化，结果取决于信噪比。

前述回波流程的主要问题之一是基于心脏壁运动的cvd诊断是完全主观的。超声心动图检查者观察时间视图，并基于这些视图来确定哪些段展示出指示由于cvd导致心脏纤维收缩力降低运动异常。

今天使用的视觉评估高度依赖于超声心动图医师的经验和培训。由此可见，观察者之间和观察者内部的变异性是显著的。对回波的解读的另一个困难是，它需要训练有素的专业人员来解读回波图像。如果无法及时提供或无法使用它们，则回波的所有实用性都会针对即时诊断大大降低。

此外，如前所述，回波检查通常伴随着对ecg波形的采集。但是，回波和ecg被分别解释，从而降低了这些测试的协同性。

技术实现要素：

为了改进经由采集回波心脏图像来对心血管疾病(cvd)的检测和表征，本公开的发明提供了用于标准化回波心脏图像所见证的异常心脏状况(例如，心脏壁运动异常)的分类/量化的系统、设备、控制器和方法，回波超声图像可以与心电图组合，从而标准化使用回波对cvd的诊断。

通常，本公开的发明基于对超声心动图的时间变化的建模而将深卷积神经网络应用于超声心动图。

本公开的发明的一个实施例是一种卷积神经心脏诊断系统，其包括用于生成超声心动图数据的超声设备和用于控制从超声心动图数据导出的超声心动图的生成的超声心动图控制器。超声心动图包括超声心动周期的时间序列。

卷积神经心脏诊断系统还包括用于控制超声心动图诊断的心脏诊断控制器。为此，心脏诊断控制器包括用于生成超声心动图诊断体积的周期体积发生器，所述超声心动图诊断体积包括超声心动图周期的时间序列的周期性叠加，并且还包括用于基于对超声心动图诊断体积的卷积神经分析将超声心动图分类(量化)为正常超声心动图或异常超声心动图中的一种的诊断卷积神经网络。

本公开的发明的第二实施例是卷积神经诊断回波系统，其还包括：用于生成心电图数据的导联系统；以及用于控制从心电图数据导出的心电图的生成的心电图控制器。心电图包括心电图波的时间序列。

周期体积生成器还生成包括心电图波的时间序列的周期性堆叠的心电图诊断体积，并且基于对超声心动图诊断体积和心电图诊断体积两者的卷积神经分析，诊断卷积神经网络将超声心动图分类(量化)为正常超声心动图或异常超声心动图中的一种。

本公开的发明的三个实施例是一种卷积神经心脏诊断方法，其包括超声设备生成超声心动图数据，并且超声心动图控制器控制从超声心动图数据导出的超声心动图的生成。超声心动图包括超声心动周期的时间序列。

所述卷积神经心脏诊断方法还包括心脏诊断控制器通过生成包括周期性地叠加的超声心动周期的时间序列的超声心动图诊断体积并且还通过基于对超声心动图诊断量的卷积神经分析将超声心动图分类为(正常)超声心动图或异常超声心动图中的一种来控制对超声心动图的诊断。

本公开的发明的第四实施例是卷积神经诊断回波方法，其包括：导联系统生成心电图数据；以及心电图控制器控制从心电图数据导出的心电图的生成。心电图包括心电图波的时间序列。

所述卷积神经心脏诊断方法还包括：心脏诊断控制器通过生成包括周期性叠加心电波的时间序列的心电图诊断体积，并且通过基于对超声心动图诊断量和心电图诊断量的卷积神经分析，将超声心电图进一步分类(量化)为正常超声心电图或异常超声心动图中的一种来控制对超声心动图的诊断。

出于描述和要求保护本公开的发明的目的：

(1)本领域中的术语，包括但不限于“心电描记图”，“超声心动图”，“心电图”，“卷积神经网络”，“分类”，“量化(与分类同义)”和“医学成像模态”应该如在本公开的领域中理解的以及在本公开中描述的示例性地解释；

(2)术语“正常”作为本公开中任何类型的心电图的描述性标记广泛地涵盖，如本公开领域的普通技术人员将理解的和作为本公开示例性描述的，表现出表示不存在任何类型的不健康/致命的心血管疾病的众所周知的心脏特征的心电图。正常心电图的示例包括，但不限于，表现出与任何结构或功能异常有关的正常心脏壁运动的超声心动图和表现出正常电活动的心电图；

(3)术语“异常”作为本公开中任何类型的心电图的描述广泛地涵盖，如本公开领域的普通技术人员将理解的和作为本公开示例性描述的，表现出表示不存在任何类型的不健康/致命的心血管疾病的众所周知的心脏特征的心电图。异常心电图的示例包括，但不限于，表现出与任何结构或功能异常有关的异常心脏壁运动的超声心动图和表现出异常电活动的心电图；

(4)术语“心电周期”广义地涵盖，如将被本公开的领域的普通技术人员将理解并且如在本公开中示例性的描述的，在单次心跳的2d心电图像的时间序列，或单次心跳上的3d超声心动图图像的时间序列；

(5)术语“心电波”广义地涵盖，如将被本公开的领域的普通技术人员将理解并且如在本公开中示例性的描述的，在单次心跳中的心电图波形；

(6)术语“卷积神经分析”广义地涵盖，如将被本公开的领域的普通技术人员将理解并且如在本公开中示例性的描述的，基于(一个或多个)图像体积内的特征的连接对所述一个或多个图像体积内的分类。卷积神经分析的示例包括，但不限于，空间时间卷积神经分析，多流卷积神经分析和记忆递归卷积神经分析；

(7)术语“卷积神经心脏诊断系统”广义地涵盖，如本公开领域中已知并且在下文中构思的所有心脏诊断系统，其并入了本发明的发明原理用于基于超声心动图的时间变化的建模将超声心动图深度卷积神经网络实施到超声心动图。已知的心脏诊断系统的示例包括，但不限于，现场超声超轻扫描仪–手持式设备(例如philipslumify和gevscan，便携式超声系统(例如philipscx50poc，philipssparq，gelogiq系列和gevivid心血管系列)，心脏病学解决方案扫描仪(例如philipsepic7，epic5)和介入性心脏病学(例如philipscx50xmatrix)；

(8)术语“卷积神经心脏诊断方法”广义地涵盖，如本公开领域中已知并且在下文中构思的所有卷积社经心脏诊断方法，其并入了本发明的发明原理的基于超声心动图的时间变化的建模将超声心动图深度卷积神经网络实施到超声心动图。已知的表面扫描方法的非限制性实例是philipsheartmodel；

(9)术语“控制器”广义地涵盖用于控制如本文随后示例性描述的本公开的各种发明原理的应用的专用主板或专用集成电路的所有结构配置。控制器的结构配置可以包括但不限于，(一个或多个)处理器、(一个或多个)计算机可用/计算机可读存储介质、操作系统、(一个或多个)应用模块，(一个或多个)外围设备控制器、(一个或多个)接口、(一个或多个)总线、(一个或多个)槽和(一个或多个)端口。如本文中针对术语“控制器”使用的标签“卷积神经心脏训练”、“卷积神经心脏诊断”、“回波”和“ecg”出于识别目的将特定控制器与本文中描述和要求保护的其他控制器区分开来，而不指定或暗示对术语“控制器”的任何其他限制。

(10)术语“应用模块”广泛地涵盖控制器的部件，其包括用于执行特定应用的电子电路和/或可执行程序(例如，存储在(一个或多个)非瞬态计算机可读介质上的可执行软件和/或固件)；本文中针对术语“周期体积生成器”和“卷积神经网络”的标签出于识别的目的而将特定模块与本文所述和要求保护的其他模块区分开来，而不指定或暗示对术语“应用模块”的任何附加限制；并且

(11)术语“信号”、“数据”和“命令”广义地涵盖如本公开的领域中所理解的以及本文中示例性描述的用于传递信息和/或指令以支持应用如本文中随后描述的本公开的各种发明原理的所有形式的可检测物理量或脉冲(例如，电压、电流或磁场强度)。本公开的部件之间的信号/数据/命令通信可以涉及任何通信方法，如本公开的领域中已知的并且在下文中构思的，包括但不限于，任何类型的有线或无线介质/数据链路上的信号/数据/命令发送/接收，以及上传到计算机可用/计算机可读存储介质的信号/数据/命令的读取。

结合随附附图阅读，根据对本发明的各种实施例的详细描述，本公开的发明的前述实施例和其他实施例以及本发明的各种特征和优点将变得更加明显。详细描述和附图仅是本公开内容的例示而非限制，本公开内容的范围由所附权利要求及其等价方案限定。

附图说明

图1a图示了如本公开领域中已知的在二维超声心动描记术中采集的六(6)个视图。

图1b图示了如本公开领域中已知的在二维超声心动图中采集的四腔观。

图1c图示了如本公开领域中已知的在二维超声心动图中采集的两腔观。

图1d图示了如本公开领域中已知的在二维超声心动描记术中采集的长轴视图。

图1e图示了如本公开领域中已知的在二维超声心动描记术中采集的基底视图。

图1f图示了如本公开领域中已知的在二维超声心动图中采集的中视图。

图1g图示了如本公开领域中已知的在二维超声心动描记术中采集的顶点视图。

图2a图示了根据本公开的发明原理的卷积神经心脏训练控制器的示例性实施例。

图2b示了根据本公开的发明原理的手术系统的示例性实施例。

图3a图示了本公开领域中已知的示例性二维(2d)超声心动周期和心电波。

图3b图示了如本公开领域中已知的示例性三维(3d)超声心动图周期。

图4a图示了根据本公开的发明原理的二维超声心动周期的示例性周期性堆叠。

图4b图示了根据本公开的发明原理的超声心动图训练体积的第一示例性集合。

图4c图示了根据本公开的发明原理的示例性心电波的周期性堆叠。

图4d图示了根据本公开的发明原理的一组示例性超声心动图训练体积和心电图训练体积。

图4e图示了根据本公开的发明原理的3d超声心动图周期的示例性周期性堆叠。

图4f图示了根据本公开的发明原理的第二示例性超声心动图训练体积。

图5a图示了根据本公开的发明原理的对超声心动图训练体积的示例性的基于空间时间的卷积神经分析。

图5b图示了根据本公开的发明原理的对一对超声心动图训练体积的示例性的基于空间时间的卷积神经分析。

图5c图示了根据本公开的发明原理的对超声心动图训练体积和心电图训练体积的示例性的基于空间时间的卷积神经分析。

图5d图示了根据本公开的发明原理的超声心动图训练体积的示例性的基于多流的卷积神经分析。

图5e图示了根据本公开的发明原理的对一对超声心动图训练体积的示例性的基于多流的卷积神经分析。

图5f图示了根据本公开的发明原理的对超声心动图训练体积和心电图训练体积的示例性的基于多流的卷积神经分析。

图5g图示了根据本公开的发明原理的对超声心动图训练体积的基于示例性记忆递归的卷积神经分析。

图5h图示了根据本公开的发明原理的对一对超声心动图训练体积的示例性的基于记忆递归的卷积神经分析。

图5i图示了根据本公开的发明原理的对超声心动图训练体积和心电图训练体积的示例性的基于记忆递归的卷积神经分析。

图6a图示了根据本公开的发明原理的卷积神经心脏训练工作站的第一示例性实施例。

图6b图示了根据本公开的发明原理的卷积神经心脏训练工作站的第二示例性实施例。

图7图示了根据本公开的发明原理的卷积神经心脏诊断系统的示例性实施例。

图8a图示了根据本公开的发明原理的卷积神经心脏诊断控制器的第一示例性实施例。

图8b图示了根据本公开的发明原理的卷积神经心脏诊断控制器的第二示例性实施例。

图9a图示了根据本公开的发明原理的卷积神经心脏诊断工作站的示例性实施例。

图9b图示了根据本公开的发明原理的网络对的卷积神经心脏诊断工作站的示例性实施例。

具体实施方式

本公开的发明原理适用于任何类型的心脏诊断流程，包括但不限于，超声心动图、心脏ct、心脏mri、血管造影、心脏正电子发射断层摄影(pet)和心脏单光子计算机发射断层摄影(spect)。为了促进对本公开的发明原理的理解，将在超声心动图应用的背景下描述本公开的发明。根据该描述，本领域普通技术人员将理解如何将本公开的总体发明原理应用于任何类型的心脏诊断流程。

特别是对于超声心动，图1示出了六(6)个超声心动图标准视图，其包括超声心动图四腔观10、超声心动图两腔观20、超声心动图长轴视图30、超声心动图基底视图40、超声心动图中视图50和超声心动图顶点视图60。

如图1b中所示，四腔室超声心动图视图10示出了心尖帽段11、心尖室间隔段12、心尖侧段13、中下间隔段14、前外侧中段15、基底下间隔段16和基底前外侧段17。

如图1c中所示，两腔超声心动图视图20图示了心尖帽段21、心尖下段22、心尖前段23、中下段24、中前段25、基底下段26和基底前段27。

如图1d中所示，长轴超声心动图视图30示出了心尖帽段31、顶外侧段32、顶中隔段33、下外侧中段34、中前间隔段35、基底下外侧36和基底前间隔段37。

如图1e中所示，超声心动图基底视图40示出了前段41、前外侧段42、下外侧段43、下段44、下间隔段45和前间隔段46。

如图1f中所示，超声心动图中部视图50示出了前段51、前外侧段52、下外侧段53、下壁段54、下间隔段55和前间隔段56。

如图1g中所示，超声心动图心尖视图60示出了前壁段61、侧壁段62、下壁段63和间隔段64。

本公开的发明在应用于超声心动图时提供了涉及在一个或多个动脉中闭塞的心血管疾病(cvd)的检测和分类(量化)，这导致了图1b-1g中所示的一个或多个段的收缩性。更具体地，通过对图1a中所示的一个或多个超声心动图视图的卷积神经分析，检测到心脏壁运动中的任何异常并在逐段的基础上进行分类(量化)。

为了促进对本公开内容的发明的卷积神经心脏训练方面的理解，以下对图2a-6b的描述教导了本公开的卷积神经心脏训练的一般发明原理。根据该描述，本领域普通技术人员将理解如何将本公开的一般发明原理应用于实现本公开的卷积神经心脏训练的众多和各种实施例。

参考图2a，卷积神经心脏训练控制器100采用训练周期体积生成器110和训练卷积神经网络120来训练cvd的检测和分类(量化)，特别是在段的基础上。为了训练目的，卷积神经心脏训练控制器100可以还采用如图所示的数据库管理器130和训练数据库140，或者替代地与数据库管理器130通信以访问训练数据库140。

训练数据库140存储展示正常心脏壁运动(和/或任何其他正常心脏功能)的超声心动图142的集合141和展示异常心脏壁运动(和/或任何其他异常心脏功能)的超声心动图144的集合143。训练数据库140还可以存储与正常超声心动图集141相对应的一组心电图(未示出)，以及与异常超声心动图集142相对应的一组心电图(未示出)。

在实践中，超声心动图143和144可以包括2d平面回波切片的时间序列和/或3d体积图像的时间序列。

如图2b中所示，存储在训练数据库140上的超声心动图的范围可以在理想的正常超声心动图145和致命的异常超声心动图146之间延伸的回波标度140上，其中，中线超声心动图147表示在正常超声心动图和异常超声心动图之间的过渡状态。

在实践中，每个正常超声心动图142以心脏壁运动的正常性的水平被定位于理想超声心动图145与中线超声心动图147之间的回波标度140上，每个异常超声心动图144以心脏壁运动异常性的程度被定位于中线超声心动图147与致命异常超声心动图146之间的回波标度140上。

同样在实践中，正常超声心动图142的集合141与异常超声心动图144的集合143可以包括单个分段超声心动图视图(图1a)，或者替代地包括针对两个或更多个分段超声心动图视图的子集(图1a)。

返回参考图2a，训练周期体积生成器110是应用模块，其在结构上被配置为根据本公开的发明原理生成一个或多个正常超声心动图训练体积111和一个或多个异常超声心动图训练体积112。

具体地，在实践中，每个正常超声心动图142和每个异常超声心动图144可包括超声心动周期的时间序列。

例如，图3a示出了超声心动周期150ec，所述超声心动周期包括在第一超声心动切片151esf与最后超声心动切片151esl之间延伸的单个心跳上的二维平面超声心脏图像切片的时间序列。每个超声心动图142和每个异常超声心动图144包括超声心动周期150ec的时间序列。训练周期体积生成器110实施本公开领域中已知的(一种或多种)数字成像处理技术，以用于超声心动周期150ec的时间序列的周期性堆叠，由此任意给定超声心动周期150ec的上一个超声心动切片151esl为任何相继的心动周期150ec的第一回波心动切片151esf的邻居。

例如，图4a图示了本公开的正常超声心动图训练体积111a，其从正常超声心动图142的x(x≥2)数目的超声心动周期150ec的时间序列的周期性堆叠中得出，由此任意给定的上一个超声e心动切片151esl超声心动图周期150ec是任何相继的超声心动图周期150ec的第一超声心动图超声心动图切片151esf的邻居。

在实践中，训练周期体积发生器110为正常超声心动图142的一个或多个超声心动图分段视图生成正常超声心动图训练体积111a，由此正常超声心动图训练体积111a可以包括每尺度140的心脏壁运动的单个程度或多个程度的正常性(图2b)。例如，图4b示出了对应于图1a的六(6)个超声心动图分段视图的六(6)个正常超声心动图训练体积111a。

类似地，图4a图示了本公开的异常超声心动图训练体积112a，其从异常超声心动图144的x(x≥2)数目的超声心动周期150ec的时间序列的周期性堆叠中导出，由此任意给定的上一个超声e心动切片151esl超声心动图周期150ec是任何相继的超声心动图周期150ec的第一超声心动图超声心动图切片151esf的邻居。

在实践中，训练周期体积发生器110为异常超声心动图144的一个或多个超声心动图分段视图生成异常超声心动图训练体积112a，由此异常超声心动图训练体积112a可以包括每尺度140的心脏壁运动的单个程度或多个程度的正常性(图2b)。例如，图4b示出了对应于图1a的六(6)个超声心动图分段视图的六(6)个异常超声心动图训练体积112a。

返回参考图2a，训练周期体积生成器110可以还在结构上被配置为根据本公开的发明原理生成一个或多个心电图训练体积113。

具体地，如前所述，训练数据库140可以存储与每个正常超声心动图142和每个异常超声心动图144相对应的心电图，由此每个心电图包括ecg波的时间序列。

例如，图3图示了单个心跳上的ecg波160cc。训练周期体积生成器110实施本公开领域中已知的数字成像处理技术，用于周期性地堆叠ecg波160的时间序列。例如，图4a示出了从x数量(x≥2)的ecg波160cc的时间序列的周期性堆叠得到的本公开的心电图训练体积113a。

返回参考图2a，在实践中，训练周期体积生成器110可为每个生成的正常超声心动图训练体积111和每个生成的异常体积112生成心电图训练体积113a。例如，图4d示出了针对图1a中的六(6)个超声心动图分段视图的六(6)个异常超声心动图训练体积112a，每个异常超声心动图训练体积112a具有对应的心电图训练体积113a。

返回参考图2，在实践中，存储在训练数据库140中的每个正常超声心动图142和每个异常超声心动图144可以可替代地包括三维(3d)体积超声心动图图像的超声心动周期的时间序列。

例如，图3a图示了回波心脏周期152ec，其包括在第一体积回波心脏图像153vef与最后体积回波心脏图像151vel之间延伸的单个心跳上的3d体积回波心脏图像153的单个心跳的时间序列。每个超声心动图142和每个异常超声心动图144包括超声心动周期152ec的时间序列。训练周期体积生成器110实施本公开领域中已知的(一种或多种)数字成像处理技术，以用于超声心动周期152ec的时间序列的周期性堆叠，由此任意给定超声心动周期152ec的上一个体积超声心脏图像153esf为任何相继的心动周期152ec的第一体积回波心动图像151esf的邻居。

例如，图4e示出了在一个或多个心跳上延伸的x(x≥2)个超声心动周期152ec。训练周期体积生成器110实施本公开领域中已知的(一种或多种)数字成像处理技术，用于超声心动周期152ec152的时间序列的周期性堆叠，以根据正常的3d超声心动图142形成正常的超声心动图训练体积111b，或根据异常3d超声心动图144来形成异常超声心动图训练体积112b。

在实践中，训练周期体积发生器110为正常3d超声心动图142的一个或多个超声心动图分段视图生成正常超声心动图训练体积111b，由此正常超声心动图训练体积111b可以包括每尺度140的心脏壁运动的单个程度或多个程度的正常性(图2b)。例如，图4f图示了针对图1a的六(6)个超声心动图分段视图的六(6)个正常超声心动图训练体积111b。

类似地，在实践中，训练周期体积发生器110为异常3d超声心动图144的一个或多个超声心动图分段视图生成异常超声心动图训练体积112b，由此异常超声心动图训练体积112b可以包括每尺度140的心脏壁运动的单个程度或多个程度的异常性(图2b)。例如，图4f图示了针对图1a的六(6)个超声心动图分段视图的六(6)个正常超声心动图训练体积112a。

同样在实践中，心电图训练体积113a(图4c)可以与体积111b/112b共同生成，如先前在本公开中针对体积111a/112b(图4a)所描述。

返回参考图2a，训练卷积神经网络(cnn)120是如下的应用模块，其在在结构上被配置用于处理正常超声心动图训练体积111以生成指示正常心脏壁运动的正常超声心动图分类器121以及用于处理异常超声心动图训练体积112以输出表示心脏壁运动异常的异常超声心动图分类器122。如果利用了对应的心电图，则训练cnn120处理体积111和113以输出正常的超声心动图分类121，并且训练cnn120处理体积112和113以输出异常的超声心动图分类。

在实践中，训练cnn120可以执行本公开领域中已知的任何类型的cnn，所述cnn便于对体积111、112和113内的运动的分类(如果适用的话)的、用于描绘体积111、112和113的运动特征之间的连通性模式(如果适用的话)。

在一个实施例中，训练cnn120执行基本的空间时间cnn，其涉及经由局部滤波器的各层之间的连通性以及经由卷积的参数共享。在训练过程中，学习了cnn以识别回波图像(和ecg)中指示心脏异常的模式。在训练过程中，通过使用存在异常的训练案例(图像和ecg信号)来定义cnn被训练以识别的异常类型。根据是否有ecg数据，可以在有或没有ecg信号的情况下开始训练。

例如，图5a图示了用于处理正常超声心动图训练体积111或异常超声心动图训练体积112的分段视图的训练cnn170a，包括滤波器172和174的3d卷积和子采样级171a，用于组合体积111或体积112的空间和时间信息以建立运动特征175a的完全连接的级173a以进行分类。在实践中，关于层和内核的数量和类型，训练cnn170a的特定设置将取决于(1)体积111或体积112(正在处理的那个)的大小，(2)期望的检测cnn170a的准确性，以及(3)cnn170a被设计为分类/量化的异常类型。

通过另一个示例，图5b示出了用于处理正常超声心动图训练体积111或异常超声心动图训练体积112的额外分段视图的训练cnn170b，其涉及滤波器176和177的3d卷积和子采样级171b，用于组合额外的体积111或体积112的空间和时间信息，以建立运动特征175a和运动特征175b的完全连接的级173b以输出运动特征175c用于分类。在实践中，关层和内核的数量和类型，训练cnn170b的特定设置将取决于(1)体积111或体积112(正在处理的那个)的大小，(2)期望的检测cnn170b的准确性，以及(3)cnn170b被设计为分类/量化的异常类型。

通过另一示例，图5c图示了用于进一步处理心电图训练体积113的训练cnn170c，其涉及滤波器178和179的3d卷积和二次采样级171c，用于组合体积113的空间和时间信息以建立运动特征175a和波特征175d的完全连接的级173c，以输出运动特征175e用于分类。在实践中，关于层和内核的数量和类型，训练cnn170c的特定设置将取决于(1)体积111/113或体积112/113(正在处理的那个)的大小，(2)期望的检测cnn170c的准确性，以及(3)cnn170c被设计为分类/量化的异常类型。

返回参考图2a，在第二实施例中，训练cnn120运行多流cnn，包括针对正常超声心动图训练体积111或异常超声心动图训练体积112的每个超声心动图切片运行空间时间cnn(即，空间流cnn)，或者针对正常超声心动图训练体积111或异常超声心动图训练体积112的运动流运行空间时间cnn(即，时间流cnn)。通过得分的后期融合(例如，平均线性svm，另一个神经网络)对多个(双)流进行组合。也可以通过使用不同流之间的共享卷积内核来对来自多个(双)流的信息进行组合。

例如，图5d示出了训练cnn180a，其用于针对正常超声心动图训练体积111或异常超声心动图训练体积112的分段视图的每个回波超声心动图切片181a运行空间流cnn182a，并且用于针对体积111或体积112的运动流183a运行时间流cnn184a。多流182a和184a通过后期得分融合186而被组合。在实践中，关于空间流cnn182a和时间流cnn184a的复杂性的训练cnn180a的特定设置将取决于(1)体积111或体积112(正在处理的那个)的大小，(2)cnn180a的期望检测准确度，以及(3)cnn180b设计为分类/量化的异常类型。

通过另一个示例，图5e示出了训练cnn180b，用于针对正常超声心动图训练体积111或异常超声心动图训练体积112的额外分段视图的每个回波超声心动图切片181b运行空间流cnn182b，并且用于针对额外体积111或额外体积112的运动流183b运行时间流cnn184b。多流182a和184a以及多流182b和184b通过后期得分融合186进行组合。在实践中，关于空间流cnn182a和182b以及时间流cnn184a和184b的复杂性，训练cnn180b的特定设置将取决于(1)体积111或体积112(正在处理的那个)的大小，(2)cnn180b的所需检测准确度，以及(3)cnn180b设计为分类/量化的异常类型。

通过另一个示例，图5f示出了训练cnn180c，其用于针对心电图训练体积113的每个心电波187运行空间流cnn182c，并且用于针对体积113的波流188运行时间流cnn184b。多流182a和184a以及多流182c和184c通过后期得分融合189进行组合。在实践中，关于空间流cnn182a和182c以及时间流cnn184a和184c的复杂性，训练cnn180b的特定设置将取决于(1)体积111/113或体积112/113(正在处理的那个)的大小，(2)cnn180c的所需检测准确度，以及(3)cnn180c设计为分类/量化的异常类型。

返回参考图2a，在第三实施例中，训练cnn120f运行记忆循环cnn，其涉及针对正常超声心动图训练体积111或异常超声心动图训练体积112的每个超声心动图切片或切片的3d体积运行空间时间cnn，对空间时间cnn的输出进行平均轮询，并且运行平均轮询的递归神经网络(rnn)以获得得分输出。

例如，图5g示出了记忆循环cnn190a，其涉及针对正常超声心动图训练体积111或异常超声心动图训练体积112的分段视图的每个超声心动图切片运行空间时间cnn191a的平均轮询192a，之后运行长期短期记忆(lstm)rnn193a和lstmrnn194a以获得得分输出195a。在实践中，关空间时间cnn191a，lstmrnn193a和lstmrnn194a的复杂性，训练cnn190a的特定设置将取决于(1)体积或体积112的大小(正在处理的那个)，(2)cnn190a的所需检测准确度，以及(3)cnn190a被设计为分类/量化的异常类型。

通过另一个示例，图5h示出了记忆循环cnn190b，其涉及运行针对正常超声心动图训练体积111或异常超声心动图训练体积112的额外分段视图的每个超声心动图切片的空间时间cnn191b的平均轮询192b，之后运行长期短期记忆(lstm)rnn193b和lstmrnn194b以获得得分输出195b。在实践中，关于空间时间cnn191a和191b以及lstmrnn193a、193b、194a和194b的复杂性，训练cnn190b的特定设置将取决于(1)体积111或体积112的大小(正在处理的那个)，(2)cnn190b的所需检测准确度，以及(3)cnn190b被设计为分类/量化的异常类型。

通过另一个示例，图5i示出了记忆循环cnn190c，其涉及针对心电图训练体积113的每个心电波运行空间时间cnn196的平均轮询197，之后运行长短期记忆(lstm)rnn198和lstmrnn199以获得得分输出195c。在实践中，关空间时间cnn191a和196以及lstmrnn193a，193b，198和199的复杂性，训练cnn190c的特定设置将取决于(1)体积111/113或体积112/113的大小(正在处理的那个)，(2)cnn190c的所需检测准确度，以及(3)cnn190c被设计为分类/量化的异常类型。

返回参考图2a，由训练卷积神经网络120生成的正常超声心动图分类器121和异常超声心动图分类器122被诊断卷积神经网络利用以实时检测和表征心脏壁运动的任何异常，如将在本公开中进一步描述。

在实践中，控制器100可以被安装在工作站中，工作站可以通过网络而被访问，或者分布在网络上。

例如，图6a示出了工作站200，其采用监视器201、输入设备202和安装有控制器100的计算机203。

通过另一个示例，图6b图示了工作站200，其采用监视器201、输入设备202和计算机203，计算机203具有安装在其中的卷积神经心脏训练设备101。设备101采用训练周期性体积生成器110(图2a)和训练cnn120(图2a)，其中，由数据库管理器130管理的数据库140(图2a)能够由周期体积生成器110经由本公开领域中已知的任何类型的网络210访问。

同样在实践中，控制器100和设备101可以包括经由一个或多个系统总线互连的处理器、存储器、用户接口、网络接口和存储器。

处理器可以是能够执行存储在存储器或存储器中的指令或以其他方式处理数据的，如本公开的技术领域中已知的或在下文中构思的任何硬件设备。在非限制性范例中，处理器可以包括微处理器、现场可编程门阵列(fpga)、专用集成电路(asic)或其他类似设备。

存储器可以包括如本公开的领域中已知的或在下文中构思的各种存储器，包括但不限于l1、l2或l3高速缓存或系统存储器。在非限制性范例中，存储器可以包括静态随机存取存储器(sram)、动态ram(dram)、闪存、只读存储器(rom)或其他类似的存储器设备。

用户接口可以包括一个或多个设备，如在本公开的领域中已知的或在下文中构思的，用于使得能够与诸如管理员的用户进行通信。在非限制性范例中，用户接口可以包括命令行接口或图形用户接口，其可以经由网络接口呈现给远程终端。

网络接口可以包括一个或多个设备，如在本公开的领域中已知的或在下文中构思的，用于使得能够与其他硬件设备进行通信。在非限制性范例中，网络接口可以包括被配置为根据以太网协议进行通信的网络接口卡(nic)。另外，网络接口可以根据tcp/ip协议实现用于通信的tcp/ip栈。用于网络接口的各种替代或附加硬件或配置将是显而易见的。

如本公开的技术领域中或以下构思的，所述存储设备可以包括一个或多个机器可读存储介质，包括但不限于只读存储器(rom)、随机存取存储器(ram)、磁性存储器、磁盘存储介质、光学存储介质、闪存设备或类似的存储介质。在各种非限制性实施例中，存储设备可以存储用于由处理器执行的指令或者处理器可以操作的数据。例如，存储器可以存储用于控制硬件的各种基本操作的基本操作系统。存储器还可以以可执行软件/固件的形式存储一个或多个应用模块。特别地，存储器存储用于训练周期体积生成器110和训练cnn120的可执行软件/固件。

为了促进对本公开内容的发明的卷积神经心脏诊断方面的理解，以下对图7-9b的描述教导了本公开的卷积神经心脏诊断方面的一般发明原理。根据该描述，本领域普通技术人员将理解如何将本公开的一般发明原理应用于实现本公开的卷积神经心脏诊断的众多和各种实施例。

参考图7，本公开的卷积神经心脏诊断系统300采用超声心动图控制器310，ecg波控制器320，超声心动图诊断控制器330和一个或多个输出设备340(例如，显示器、打印机、扬声器和/或(一个或多个)led指示灯)。在实践中，控制器310、320和330可以完全或部分集成，或如图所示地分离。

超声心动图控制器310链接到和/或并入到相对于患者90的心脏91定位的超声换能器350a或超声探头350b的任何必要的硬件/软件接口，以接收超声心动图数据从而如本公开的领域中己知地生成超声心动图。超声心动图包括超声心动图周期351的时间序列，而超声心动图周期351包括所示的2d回波切片或3d回波图像的时间序列。超声心动图控制器130经由有线和/或无线通道将超声心动图351的超声心动图周期352的时间序列依次传送到超声心动图诊断控制器330，如图所示，并且输出到(一个或多个)输出设备340以进行显示。

ecg控制器320被链接到线缆连接器360和/或将任何必要的硬件/软件接口合并到线缆连接器360，以从连接到患者90的导联系统(例如，如图所示的标准12导联系统，mason-likar导联系统，或类似easi导联系统的简化导联系统)接收电极信号，从而生成本公开领域中已知的心电图波形361。如图所示，心电图波形361包括ecg波362的时间序列。超声心动图控制器130经由(一个或多个)有线和/或无线通道将心电图波形361的每个ecg波362顺序地通信到超声心动图诊断控制器330，如图所示，并且输出到(一个或多个)输出设备340以进行显示。

超声心动图诊断控制器330实施本公开的发明原理，用于检测和分类(量化)心脏91的心壁运动的任何异常，并且用于生成指示心脏91的正常或异常心壁运动的超声心动图分类报告336。在实践中，报告336可以由输出设备340与文本和/或图形信息一起显示或打印。

在一个实施例中，如图8a中所示，超声心动图诊断控制器330采用诊断周期体积生成器331a和诊断卷积神经网络(cnn)333a。

周期体积生成器331a是如下的应用模块，其在结构上被配置为根据先前针对训练周期体积生成器110(图2a)描述的本发明的发明原理，处理回波心脏周期352以生成超声心动图训练体积332。在实践中，超声心动图训练体积332由x个回波心动周期352组成，其中，x可以是不受限制的，也可以具有对回波心动周期352的最大限制，涉及回波心动周期352的先进先出实现方式。

超声心动图训练体积332的正常性或异常性是未知的。

因此，诊断cnn333a是如下的应用模块，其在结构上配置用于处理超声心动图训练体积332，以生成超声心动图分类报告336a，超声心动图分类报告336a告知/说明心脏91的心脏壁运动的正常或异常。更具体地，诊断cnn333a运行cnn，其中，将cnn的输出与训练正常超声心动图分类器334a和异常训练超声心动图分类器335a进行比较，以对心脏91的心脏壁运动的正常性或异常性进行检测和分类(量化)。

在实践中，诊断cnn333a可以运行便于对运动超声心动图训练体积332进行分类的、用于描绘超声心动图训练体积332的运动特征之间的连接模式的、本公开领域中已知的任何类型的cnn。例如，诊断cnn333a可以如本公开中先前所描述地运行空间时间cnn、多流cnn和/或记忆循环cnn，以用于训练cnn120(图5a-5i)。

同样在实践中，诊断cnn333a可以实施本领域已知的任何技术，以基于正常的超声心动图334a和异常的超声心动图335a使用cnn输出来训练诊断模型。例如，诊断cnn333a可以使用神经网络，从cnn的输出为正常超声心动图分类器334a和异常训练超声心动图分类器335a开发/训练的svm网络。

在第二实施例中，如图8b中所示，超声心动图诊断控制器330采用诊断周期体积生成器331b和诊断卷积神经网络(cnn)333b。

周期体积生成器331b是如下的应用模块，其在结构上被配置为根据先前描述的用于训练周期体积生成器110(图2a)的本发明的发明原理，额外地处理ecg波362以生成心电图训练体积337。在实践中，心电图训练体积337由x个ecg波362组成，其中x可以是无限制的，也可以具有对ecg波362的最大限制，其涉及ecg波362的先进先出实现。

超声心动图训练体积332的正常性或异常性是未知的。

因此，诊断cnn333b是如下的应用模块，其在结构上配置为处理超声心动图训练体积332和心电图训练体积337，以生成超声心动图分类报告336b，超声心动图分类报告336b告知/说明心脏91的心脏壁运动的正常或异常。更具体地，诊断cnn333b运行cnn，其中，将cnn的输出与训练正常超声心动图分类器334b和异常训练超声心动图分类器335b进行比较，以对心脏91的心脏壁运动的正常性或异常性进行检测和分类(量化)。

在实践中，诊断cnn333a可以运行便于对运动超声心动图训练体积332进行分类的、用于描绘超声心动图训练体积332的运动特征以及心电图训练体积337的波特征之间的连接模式的、本公开领域中已知的任何类型的cnn。例如，诊断cnn333b可以如本公开中先前所描述地运行空间时间cnn、多流cnn和/或记忆循环cnn，以用于训练cnn120(图5a-5i)。

同样在实践中，诊断cnn333a可以实施本领域已知的任何技术，以基于正常的超声心动图334a和异常的超声心动图335a使用cnn输出来训练诊断模型。例如，诊断cnn333a可以使用神经网络，从cnn的输出为正常超声心动图分类器334a和异常训练超声心动图分类器335a开发/训练的svm网络。

返回参考图7，在实践中，超声心动图控制器310\ecg控制器320和超声心动图诊断控制器330可以被安装在工作站中，工作站可以通过网络而被访问，或者可以被分布在网络上。

例如，图9a示出了工作站220，其采用监视器221、输入设备222和安装有控制器301套件的计算机223。控制器套件301包括控制器310、320和330。

通过另一个示例，图9b示出了工作站230，其采用了监视器231、输入设备232和安装了超声心动图控制器310和320的计算机233，并且还示出了工作站240，其采用了监视器241、输入设备242和具有安装在其中的超声心动图诊断控制器330的计算机243。控制器310、320和330在本公开领域中已知的任何类型的网络240上通信。

同样在实践中，控制器310、320和330可以包括经由一个或多个系统总线互连的处理器、存储器、用户接口、网络接口和存储器。

处理器可以是能够执行存储在存储器或存储器中的指令或以其他方式处理数据的，如本公开的技术领域中已知的或在下文中构思的任何硬件设备。在非限制性范例中，处理器可以包括微处理器、现场可编程门阵列(fpga)、专用集成电路(asic)或其他类似设备。

存储器可以包括如本公开的领域中已知的或在下文中构思的各种存储器，包括但不限于l1、l2或l3高速缓存或系统存储器。在非限制性范例中，存储器可以包括静态随机存取存储器(sram)、动态ram(dram)、闪存、只读存储器(rom)或其他类似的存储器设备。

用户接口可以包括一个或多个设备，如在本公开的领域中已知的或在下文中构思的，用于使得能够与诸如管理员的用户进行通信。在非限制性范例中，用户接口可以包括命令行接口或图形用户接口，其可以经由网络接口呈现给远程终端。

网络接口可以包括一个或多个设备，如在本公开的领域中已知的或在下文中构思的，用于使得能够与其他硬件设备进行通信。在非限制性范例中，网络接口可以包括被配置为根据以太网协议进行通信的网络接口卡(nic)。另外，网络接口可以根据tcp/ip协议实现用于通信的tcp/ip栈。用于网络接口的各种替代或附加硬件或配置将是显而易见的。

如本公开的技术领域中或以下构思的，所述存储设备可以包括一个或多个机器可读存储介质，包括但不限于只读存储器(rom)、随机存取存储器(ram)、磁性存储器、磁盘存储介质、光学存储介质、闪存设备或类似的存储介质。在各种非限制性实施例中，存储设备可以存储用于由处理器执行的指令或者处理器可以操作的数据。例如，存储器可以存储用于控制硬件的各种基本操作的基本操作系统。存储器还可以以可执行软件/固件的形式存储一个或多个应用模块。特别地，对于超声心动图诊断控制器330，存储器存储用于训练周期体积生成器331和训练cnn333的可执行软件/固件。

如本公开中先前所述，本公开的发明原理适用于任何类型的心脏诊断程序，包括但不限于超声心动图、ct心脏扫描和心脏mri超声心动图、心脏ct、心脏mri、血管造影、心脏正电子发射断层摄影(pet)和心脏单光子计算机断层扫描(spect)。因此，虽然在超声心动图应用的背景下描述了本公开的发明，图9a示出了医学成像模态400，其表示用于对适用于特定心脏诊断程序的心电图的正常或异常进行检测和分类(量化)的任何类型的心脏诊断程序的应用。

具体地，医学成像模态400的示例包括但不限于超声成像模态、x射线计算机断层摄影成像模态、磁共振成像模态、荧光透视成像模态、正电子发射断层摄影成像模态和单个光子发射计算机断层扫描成像模态。医学成像模态400的任何实施例采用适用的成像设备401和控制器402来生成心电图，如本公开的领域中已知的。因此，本公开的训练和诊断方面是基于心脏成像的特定类型。在实践中，特定类型的心脏成像可以生成如本文中示例性示出的2d平面和3d体积图像，和/或生成本公开领域中已知的高维成像。

参考图1-9，本领域普通技术人员将理解本公开的许多益处，包括但不限于(1)减少解释回波图像时观察者本人和观察者间的可变性，(2)允许对心血管疾病的机器人实时诊断，(3)提高读取者的置信度和降低回波图像的读取时间，并且(4)通过将回波图像中包含的信息与心电图波相组合可以提高心血管疾病诊断的准确性。

此外，鉴于本文提供的教导，本领域普通技术人员将理解，本公开/说明书中描述和/或在本公开的附图中描绘的特征、元件、部件等可以以电子部件/电路、硬件、可执行软件和可执行固件、特别是作为如本公开中描述的控制器的应用模块的，各种组合来实现，并提供可以组合在单个元件或多个元件中的功能。例如，可以通过使用专用硬件以及能够执行与适当软件相关联的软件的硬件来提供本公开的附图中示出/图示/描绘的各种特征、元件、部件等的功能。当由处理器提供时，所述功能能够由单个专用处理器、由单个共享处理器，或由多个个体处理器(它们中的一些能够是共享的和/或多路复用的)来提供。此外，对术语"处理器"的明确使用不应当被解释为排他性地指代能够运行软件的硬件，而是能够暗含地不加限制地包括数字信号处理器("dsp")硬件、存储器(例如用于存储软件的只读存储器("rom")、随机存取存储器("ram")、非易失性存储装置等)以及能够(和/或可配置为)执行和/或控制过程的任何虚拟装置和/或机器(包括硬件、软件、固件、电路、它们的组合等)。

此外，本文中提到原理、方面和本发明实施例的所有陈述以及其具体范例都旨在涵盖其结构上和功能上的等价方案。另外，旨在使这样的等同要件既包括当前已知的等同要件，又包括未来开发的等同要件(例如，所开发出的能够执行相同或基本上相似的功能的元件，而不管其结构如何)。因此，例如，本领域普通技术人员鉴于本文中提供的教导将认识到，本文中呈现的任何方框图能够表示实现本发明的原理的说明性系统部件和/或电路的概念图。类似地，本领域普通技术人员鉴于本文中提供的教导应当认识到，任意流程图示、流程图等能够表示能够基本上被表示在计算机可读存储介质中并且由计算机、处理器或具有处理能力的其他设备如此运行的各种过程，而无论是否明确示出这样的计算机或处理器。

此外，本发明的示范性实施例可以采取能够从计算机可用和/或计算机可读存储介质访问的计算机程序产品或应用模块的形式，所述存储介质提供程序代码和/或指令，以供例如计算机或任何指令执行系统使用或结合其使用。根据本公开，计算机可用或计算机可读存储介质可以是可以例如包括、存储、传送、传播或传输程序的任何设备，所述程序供指令执行系统、装置或设备使用或结合其使用。这样的示范性介质可以例如是电子的、磁的、光学的、电磁的、红外的或半导体系统(或装置或设备)或传播介质。计算机可读介质的示例包括例如半导体或固态存储器、磁带、可移动计算机软盘、随机存取存储器(ram)、只读存储器(rom)、闪存(驱动器)、硬磁盘以及光盘。光盘的当前范例包括压缩盘-只读存储器(cd-rom)、压缩盘-读/写存储器(cd-r/w)以及dvd。此外，应当理解，此后可以开发的任何新的计算机可读介质也应被视为根据本公开和公开内容的示例性实施例可以使用或参考的计算机可读介质。

已经描述了用于对时间诊断回波图像进行卷积深度学习分析的新颖和发明性系统，控制器和方法的优选和示例性实施例，(这些实施例仅是示例性的，而不是限制性的)，应当指出，本领域的普通技术人员鉴于本文中提供的教导(包括本公开的附图)可以进行修改和变型。因此，应当理解，在本公开的实施例的范围内，可以对本公开的优选和示例性实施例进行改变。

此外，预期的是，实施所述设备等的对应的和/或相关的系统也可以在根据本公开的设备中使用/实施，也被预期和认为在本公开的范围内。此外，还预期和认为对应的和/或相关的用于制造和/或使用根据本公开的设备和/或系统的方法在本公开的范围内。