用于超声分析的系统、方法和计算机可访问介质与流程

相关申请的交叉引用

本申请涉及于2017年1月19日提交的美国专利no.62/448061，并要求其优先权，其全部公开内容通过引用并入本文。

本公开总体涉及超声装置的使用，并且更具体而言，涉及一种用于超声分析的示例性系统、方法和计算机可访问介质的示例性实施例。

背景技术：

超声心动图或心脏超声检查是用于评估心脏状况、以及用于识别和诊断特定心脏疾病的常用临床工具。目前，由技术人员或医师(“用户”)执行对输入超声影片剪辑进行显著量的分析和处理。这样的手动分析具有若干缺点，例如：(i)其增加了出错的机会；(ii)其需要熟练的用户；(iii)由用户的分析速度和技能限制了其吞吐量；以及(iv)由于时间复杂性，只有来自剪辑的几个帧被完全分析，而其他帧中的信息未被使用。

心脏超声可以是评估心脏解剖结构、功能和结构异常的优选模态。目前，常规心脏超声检查持续约30分钟至约40分钟，并且可以包括：(i)通过超声和多普勒流程采集数据；(ii)分析心室功能和多次测量心脏结构的不同部分；以及(iii)将报告直接并入电子病历中。

因此，提供用于超声分析的示例性系统、方法和计算机可访问介质并且其能够克服上文中描述的缺陷中的至少一些可以是有益的。

技术实现要素：

可以提供一种用于检测(一个或多个)患者的(一个或多个)解剖结构中的(一个或多个)异常的示例性系统、方法、和计算机可访问介质，其可以包括，例如，接收与所述(一个或多个)患者的所述(一个或多个)解剖结构有关的成像信息，使用(一个或多个)神经网络基于所述成像信息来对所述(一个或多个)解剖结构的(一个或多个)特征进行分类，以及基于使用分类流程生成的数据来检测所述(一个或多个)异常。所述成像信息可以包括所述(一个或多个)解剖结构的至少三幅图像。

在本公开的一些示例性实施例中，所述成像信息可以包括超声成像信息。所述超声成像信息可以使用例如超声装置来生成。所述(一个或多个)解剖结构可以是心脏。在本公开的特定示例性实施例中，所述(一个或多个)解剖结构的(一个或多个)状态可以包括：(i)所述(一个或多个)患者的心脏的收缩状态；(ii)(所述一个或多个)患者的心脏的舒张状态；(iii)所述(一个或多个)患者的心脏的膨胀状态；或者(iv)所述(一个或多个)患者的心脏的紧缩状态。

在本公开的一些示例性实施例中，可使用视图检测流程来对所述(一个或多个)特征进行分类，所述视图检测流程可以包括检测所述成像信息中特定成像帧的视图。所述(一个或多个)解剖结构可被分割，例如，在检测所述(一个或多个)异常前使用部分分割流程和定位流程。所述部分分割流程可用于从背景中分割(一个或多个)患者的心脏的左心室。所述定位流程可以包括瓣膜定位流程，其包括在所述成像信息中每帧标记一个像素以放置(一个或多个)多普勒测量点。

在本公开的特定示例性实施例中，所述成像信息可以包括多幅图像，并且(一个或多个)神经网络可以包括多个神经网络，所述多个神经网络中的每个可以与所述图像中的一幅相关联。每个神经网络可用于对其相关联的一幅图像中的特征进行分类。由神经网络中的每个产生的输出可以是连接的(例如在深度上)。可以对成像信息进行上采样。

当结合所附权利要求阅读本公开的示例性实施例的以下详细描述时，本公开的示例性实施例的这些和其他目标、特征和优势将变得显而易见。

附图说明

通过结合附图示出本公开的示例性实施例的以下详细描述，本公开的进一步的目标、特征和优势将变得显而易见，其中：

图1是根据本公开的示例性实施例的示例性超声分析系统的示例图；

图2a是根据本公开的示例性实施例的用于分割的标签的采集的示例图像；

图2b是根据本公开的示例性实施例的用于瓣膜定位的标签的示例图像；

图3a是根据本公开的示例性实施例的用于部分分割的数据的示例图像；

图3b是根据本公开的示例性实施例的用于瓣膜定位的数据的示例图像；

图4a是根据本公开的示例性实施例的示例性系统所使用的网络架构的示例图；

图4b是根据本公开的示例性实施例的核心神经网络(coreneuralnetwork)的示例图；

图5是根据本公开的示例性实施例的心脏的不同超声视图及其对应的标签的示例性图像的集合；

图6a和图6b是根据本公开的示例性实施例的示例性系统、方法和计算机可访问介质的示例图；

图7a和图7b是根据本公开的示例性实施例的用于两输入三元组图像的示例性系统、方法、和计算机可访问介质生成的每视图概率的示例图像；

图7c和图7d分别是根据本公开的示例性实施例的分别对应于图6a和图6b的示例直方图；

图8是根据本公开的示例性实施例的心动周期阶段的检测的示例图；

图9a-图9f是根据本公开的示例性实施例的心动周期的每帧阶段的示例图像；

图10是根据本公开的示例性实施例的由示例性系统、方法、和计算机可访问介质在四个选定视图上产生的左心室的分割的图像集合；

图11a和图11c分别是根据本公开的示例性实施例的使用示例性系统执行的瓣膜定位的示例图像；

图11b和图11d分别是根据本公开的示例性实施例的图11a和图11c的瓣膜定位图像的示例性放大图像；

图12是根据本公开的示例性实施例的、比较由该示例性系统、方法、和计算机可访问介质产生的左心室分割vs.真实情况和用户产生的左心室分割vs.真实情况的对并集和相对面积的交叉的示例绘图。

图13是根据本公开的示例性实施例的示例性系统、方法、和计算机可访问介质瓣膜定位预测与真实情况之间的距离的示例性直方图。

图14a是根据本公开的示例性实施例的、用于利用核心神经网络的图像网络型(imagenet-type)网络初始化的舒张/收缩分类测试的学习图的示例图；

图14b是根据本公开的示例性实施例的、在视图检测训练之后利用核心神经网络初始化的舒张/收缩分类测试的学习图的示例图；

图14c是根据本公开的示例性实施例的在部分分割流程上训练后利用核心神经系统初始化的舒张/收缩分类测试的学习图的示例图；

图15是示出根据本公开的示例性实施例的使用示例性流程执行的成人超声心动图检查的示例性流程图；

图16是根据本公开的示例性实施例的用于在心脏超声中使用的示例性系统、方法和计算机可访问介质的示例性配置的示例图；

图17是示出根据本公开的示例性实施例的示例性系统、方法和计算机可访问介质的神经网络核心的示例图；

图18是示出根据本公开的示例性实施例的可以使用示例性系统、方法和计算机可访问介质的潜在市场的示例图；

图19a是根据本公开的示例性实施例的基于用户界面左驱动模式生成的示例性图像；

图19b是根据本公开的示例性实施例的基于用户界面右停止模式生成的示例性图像；

图20a-20g是根据本公开的示例性实施例的全心动周期的3d重建的示例性图像；

图21a是根据本公开的示例性实施例的收缩lv和舒张lv的横截面的示例性图像的集合；

图21b是根据本公开的示例性实施例的收缩和舒张的3d表面的重建的示例性图像的集合；

图22是根据本公开的示例性实施例的使用示例性系统、方法和计算机可访问介质生成的示例性直方图；

图23a是根据本公开的示例性实施例的基于对心动周期的示例性专家分析生成的ef误差的示例性直方图；

图23b是根据本公开的示例性实施例的使用示例性系统、方法和计算机可访问介质生成的误差的示例性直方图；

图24是根据本公开的示例性实施例的用于检测患者的解剖结构中的异常的示例性方法的示例性流程图；并且

图25是根据本公开的特定示例性实施例的示例性系统的示例性框图的图示。

贯穿附图，除非另有说明，否则相同的附图标记和字符用于表示所示实施例的相同特征、元件、部件、或部分。此外，虽然现在将参考附图详细描述本公开，但是，是结合说明性实施例这样做的并且其不受附图和所附权利要求中所示的特定实施例的限制。

具体实施方式

参考以下描述和相关附图，可进一步理解本公开的示例性实施例。示例性实施例是参考心血管成像(例如，使用超声)描述的。然而，本领域技术人员将理解，本公开的示例性实施例可以被实现用于对其他组织或器官(例如，除心脏外)进行成像，并且可以在其他成像模态(例如，除超声之外，包括但不限于mri、ct、oct、ofdr等)中使用。

根据本公开的示例性实施例，所述示例性系统、方法和计算机可访问介质可以包括神经网络核心，所述神经网络核心可帮助健康护理提供者进行诊断并且做出更准确的临床决策，质量更好并且更加安全。例如，示例性神经网络内核可接受来自多个成像模态(包括超声、磁共振成像、质子发射扫描器、计算机断层摄影和和核扫描器)的图像。所述示例性神经网络核心可用于检测多个器官，并且不限于具体的器官系统。根据本公开的示例性实施例，所述系统、方法和计算机可访问介质可被并入到、或连接到在线和/或离线医学诊断设备，从而便于操作者变得更加准确和有效率。

如图1中的图中所示，根据本公开的示例性实施例，所述示例性系统、方法和计算机可访问介质可以包括核心神经网络(“nn”)115。核心nn115可将超声帧105的序列作为输入，并针对所述序列中的中间帧110产生高层语义特征。这些示例性语义特征可用于解决一系列识别和分析流程(例如，元素120)。对于每个示例性流程，专门的基于nn的分量可以在核心nn115之上构建，并且可以针对该流程专门地定制。示例性流程可被分解为例如五个示例性组：(i)视图检测125；(ii)收缩/舒张检测130；(iii)部分分割135；(iv)瓣膜定位140；和(v)异常检测145。可根据他们的难度级(例如，由易到难)对这些流程进行分类。

可执行第一示例性流程(例如，视图检测125)以从几个潜在的视图中检测给定帧的视图。当前处理的视图可以是用在标准成人超声心动图检查中使用的视图：(i)心尖二腔视图；(ii)心尖三腔视图；(iii)心尖四腔视图；(iv)心尖五腔视图；(v)胸骨旁长轴视图；和(vi)胸骨旁短轴视图。可以执行第二示例性流程(例如，收缩/舒张130)以识别心动周期中的收缩/舒张。例如，可使用左心室的四种暂时状态中的一种来标记每个帧：(i)舒张；(ii)收缩；(iii)膨胀(inflating)；以及(iv)紧缩(deflating)。可执行第三流程(例如，部分分割135)以分割超声图像中的区域，例如心脏的四个腔室、心脏瓣膜和心壁、以及心包。可以执行第四流程(例如，瓣膜定位140)以识别瓣膜的位置来用于对通过这些瓣膜流入/流出进行多普勒分析。可执行第五流程(例如，异常检测145)以检测和定位心脏异常，例如心包积液。

示例性观察可以是从超声图像的序列提取高层语义特征的核心nn，对于所有流程可以是相同的，并且根据本公开的示例性实施例，所述示例性系统、方法和计算机可访问介质可以通过优化(例如，同时)所有流程和该核心nn来训练。该示例性方法可提供以下益处。第一，建立可训练和可用于不同补充流程的超声特征系统，可以提供证实和改善各个流程性能的通用特征。直觉可以类似于人类学习；例如，为了更好地检测超声图像的视图，检测和分割心脏的不同可见部分可以是有益的，反之亦然。第二，具有由核心nn捕捉的通用特征系统，可以用相当少量的数据来添加超声分析流程。这可以是因为示例性系统的主要部分，核心nn已经可以被训练以产生通用特征，而且可以留下流程特定部分以进行训练。这可以便于将示例性系统、方法、和计算机可访问介质适以相对低的计算复杂度和时间来适配到新的或不同的流程。第三，由于对于更困难的流程来说，实现和/或产生数据通常是更困难的，因此通过在更容易的流程上训练该系统、方法和计算机可访问介质为更复杂的流程提供了好的起点。

超声心动图通常可用于提取关于心脏状况和功能的高层定量信息。示例性的典型示例是射血分数(“ef”)。可以从包括和组合视图检测、收缩/舒张检测、和部分分割的各种示例性测量来计算ef。该示例性系统、方法和计算机可访问介质可以利用自动流水线来确定ef，包括使用ut数据(例如，公ut数据)来产生lv或其他部分的3d表面重建。

示例性数据生成

根据本公开的示例性实施例的示例性系统、方法和计算机可访问介质可以包括数据的创建。使用包括3000个超声剪辑(例如，每个剪辑约40帧)的示例性数据库。每个超声帧xi是nxn灰度图像。该数据库被分成三个不相交的集合：(i)训练；(ii)验证；和(iii)测试数据。

示例性系统的示例输入可以包括相继超声帧(例如，l＝3)的序列(例如三元组)。另外，xi＝(xi-d,xi,xi+d)(例如，图1中元素105)，其中，d是以可设置为d＝1的参数。由示例性系统、方法和计算机可访问介质执行的预测可关于中间帧110(例如，xi)完成。图像的输入序列可为该系统提供时间上下文以及空间上下文。

根据本公开的示例性实施例，示例性系统、方法和计算机可访问介质可支持两种类型的流程：(i)分类和(ii)分割。对于每个示例性流程，针对示例性数据库中的超声帧xj的子集生成真实情况标签yj；yj可以是单个标签(例如，用于分类流程)或者可以包括针对xj中每个像素的标签(例如，对于分割流程)。因此，可以是单个标签，或者可以是每像素标签(例如，对应于xj的每个像素)。

前两个示例性流程可以是分类流程。对于视图检测的第一示例性流程，其中，可以对应于短轴、长轴、5腔、4腔、3腔、和2腔视图。对于舒张/收缩检测的流程，可以对应于左心室的舒张、收缩、膨胀、紧缩。由于di和sy可以是即时配置，因此仅利用两个标签并且这些标签被分配到峰值之间(例如，严格地在舒张和收缩以及收缩和舒张两两之间)的所有帧。

接下来的三个示例性流程可以是分割流程。实现的示例性部分分割流程可以使用标签其中，lv表示左心室，并且ba表示背景。给定帧xi的输入序列，示例性目标可以是针对中间帧xi中的每个像素确定它是否为左心室的一部分。手动标记xi中的每个像素可能是乏味且不切实际的。因此，可使用示例性软件工具，其可以便于针对如所产生的帧xj的集合来生成标签yj。图2a的图像中示出了来自标签会话的示例性屏幕截图。用户使用可便于他/她对稀疏的控制点205集做标记的交互工具，并且可以计算对这些点进行插值的平滑的曲线210(例如，三次样条)。用户可添加、移除、或编辑这些控制点205。用户可对相继的帧做标记，并且可使用先前帧的曲线作为初始化。给定在帧xj上绘制的闭合曲线，由该曲线形成边界的区域内的所有像素可用相同的标签来做标记。例如，如图3a中的图像所示，对应于图2a中图像中的帧xj的标签yj被示出，其中白色区域305对应于lv标签，黑色区域310对应于ba标签。

示例性瓣膜定位流程可使用每帧标记单个像素来放置多普勒测量点。实施了三个瓣膜；二尖瓣(“mi”)，三尖瓣(“tr”)，主动脉(“ao”)，和背景(“ba”)。为了生成数据，生成了类似于用于部分分割的软件工具的示例性软件工具，其可促进用户在每幅图像中选择像素以指示相关瓣膜的位置。(参见例如图2b，元素215)。为了创建有意义的训练数据，通过要求用户将同一组8个剪辑(例如4个4c的剪辑，和4个5c的剪辑)做标记10次来获得统计。该数据用于计算瓣膜采样的统计结果，并且通过使用具有根据以上统计结果取得的方差的以用户指的定像素为中心散布的椭圆来创建训练数据。对于每个瓣膜，这是分开且独立地执行的。例如，图3b中所示的图像示出了针对图2b中所示的帧创建的标签yj，其中白色像素305表示标签ao，黑色像素310表示标签ba。

在示例性异常检测中，可以处理心包积液和检测心包腔中的液体积聚。在该示例性分割流程中，标签可以区分心包液和背景，构建类似于先前两个分割流程的软件，其中用户可对液体区域进行注释。

示例性网络架构

根据本公开的示例性实施例，图4a示出了示例性系统、方法和计算机可访问介质的示例性图/架构。例如，如图4a所示，每个灰色块405可表示由一系列卷积和relu(例如，激活)层组成的卷积块。针对每个卷积块405，指示了通道(例如深度)的数量。具有不同分辨率(例如，块的宽度和高度)的相继卷积块405可以通过池化层来连接。块410可以表示示例性核心nn的输出。图4b中示出了示例性核心nn块415；图4b中示出了核心nn415的架构。到示例性系统的输入可以是超声帧的序列xi＝(xi-1，,xi,xi+1)；该系统可通过核心nn为每个帧xi-1,xi,xi+1独立地馈送信息以实现高层超声特征并且能够将输出连接。根据本公开的示例性实施例，示例性系统、方法和计算机可访问介质可以使用连接的特征来执行上面描述的流程。

示例性的流程被分为两组：(i)分类流程；和(ii)分割流程。示例性分类流程可以请求从可能的标签的集合为输入序列xi分配标签示例性分类流程可以包括视图检测和收缩/舒张检测。示例性分割流程可要求给定的输入序列xi以生成针对中间帧xi的每像素标签，中间帧xi可以是其中xi可以是n×n图像，并且类似前面的示例性分割流程可以包括部分分割、瓣膜定位、和异常检测。异常检测也可以具有如分类流程那样的实例。每个流程可以使其自己的网络具有基于其自身类型(例如分类和分割)的适当的架构。

两组示例性流程可使用由示例性核心nn产生的相同的连接特征。示例性分类流程可使用示例性分类框架(例如，图4a中所示的元素420)(参见，例如参考文献3)，其可利用完全连接的层以将输出减少到(例如，可以是l中类别的数量)中的预测向量，从可以做出预测zi。

在示例性分割期间(参见例如图4a中所示的元素425)，可使用示例性上采样流程，其可以与现有的语义分割架构(参见例如参考文献2)不同，其可学习反卷积算子并注入先前的层；低分辨率可上采样到全分辨率，并且输出可与输入序列xi连接，输入序列xi可以通过卷积块产生最终分割。上采样分割信息可提供待分割部分的平滑粗略近似，并且最终的卷积块可使用局部特征来细化其边界。

心脏的特定部分/段的示例性分割(例如左心室)可以包括多尺度任务。例如，基于所述图像的局部特征，可提供该图像中部分位置的粗略估计，并且可逐渐细化或修改示例性预测。根据本公开的示例性实施例，该示例性系统、方法和计算机可访问介质可以包括用于从医学图像中分割解剖部分的两个示例性架构(例如参见图6a和图6b中所示的图)。

例如，图6a中所示的图示出了串行形式的第一示例性网络。该示例性网络可使用相继的上采样块(图6a中示出的元素605)来产生自下而上的分割。每个块可以包括双线性或反卷积上采样，以及各种卷积-relu层。每个块605可接收先前的低分辨率分割作为输入，向其添加原始图像数据的下采样版本(例如线610)，并且可以产生更高分辨率的分割。示例性层中的一层可以产生原始图像的分辨率的结果。图6b示出了并行形式的示例性网络的图。可利用核心nn的截断副本，并将其附加到每个上采样块(例如，类似于串行设计)。核心nn的每个截断副本可用于将原始图像减少到具有相应接受场的不同分辨率。例如，最低分辨率可以用于识别lv的位置但可能不精确地确定边界，而最高分辨率(例如，具有最小接受场的分辨率)可尝试基于该图像中的局部信息来影响分割的边界。然后可聚合结果以实现最终分割。也可以针对每个分辨率训练截断的核心nn。

根据本公开的示例性实施例，示例性系统、方法和计算机可访问介质还可考虑将总变差正则化直接添加到网络损耗函数，以便鼓励具有较短边界曲线的分割。总变差能量可在分割网络的输出上直接定义为其中，f(x)可以是当施加到输入序列xi时，针对特定标签(例如，lv)和背景标签ba的网络响应的差异，可以对所有像素p求和，并且λ可以是正则化的量。

图4a中示出的示例性核心nn415可以包括图像网络架构(参见例如参考文献3)，其可以将输入图像减少到以非常粗略的分辨率定义的一组特征向量。在示例性系统中，相同的核心nn可用于将输入超声帧xi-1,xi,xi+1中的每个变换为其特征向量。定义示例性核心nn的权重可以耦合在系统中的三个实现方式之间(例如，参见示例性核心nn的多个块415)。

根据本公开的示例性实施例，示例性系统、方法、和计算机可访问介质可用于改进涉及l1代价函数和生成式对抗网络的分割。例如，用于分割的l1正则化可以用作损失函数，并且可以提供比标准的交叉熵损失更准确的边界检测。替代地或另外地，可以使用例如gan来训练示例性损失函数。作为示例，给定一些分割网络，可以训练鉴别器网络以区分由真实的分割和由所述分割网络创建的分割。可以使用该鉴别器与一些其他损失相结合或单独地进一步训练该分割网络。到鉴别器网络的输入可以包括针对真实示例的(xi，zi)，并且可以包括(xi，f(xi))，其中，f(xi)可以是分割网络的输出。

示例性训练

为了训练示例性系统，可以采用交错的方法。例如，可以使用第一示例性流程(例如，视图检测)，其可以在固定核心nn的同时训练其nn(参见例如图4a中所示的元素420)。核心nn和视图流程nn都可以被训练。可以在固定核心nn的同时训练第二nn流程(例如，舒张/收缩)，然后训练核心nn和舒张/收缩-nn。这可以重复/继续，直到实现收敛。由于初步流程可以更容易生成数据，因此对这些应用流程的核心nn进行训练已经为更具挑战性的流程提供了良好的起点。替代地或另外地，根据本公开的示例性实施例的示例性系统、方法和计算机可访问介质可用于同时训练所有示例性任务。

示例性评估

根据本公开的示例性实施例的示例性系统、方法和计算机可访问介质是根据在训练阶段中未被使用或验证的测试数据来进行评估的；该测试数据包括用于分类流程的322个剪辑(例如，10000帧)，用于部分分割流程的42个剪辑(例如，530个帧)和用于瓣膜定位过程的108个剪辑(例如，2250个帧)。

示例性性能

示例性视图检测

给定帧xi的视图可以用于示例性分类。例如，图5示出了来自示例性数据集中的每个视图的示例性图像。在该实验中，将系统产生的标签与用户产生的真实情况标签进行比较。系统生成关于标签的集合的概率，并且选择接收到最高概率的视图作为系统输出。图7a和图7b示出了由示例性系统、方法和计算机可访问介质为两幅图像产生的概率；请注意正确视图标签的高置信度。相应的示例性直方图分别在图7c和图7d中示出。示例性系统、方法和计算机可访问介质的输出也与真实情况标签视图在整个测试数据(例如，10k帧)上相比较，并且在98.5％的帧中产生正确的视图识别。

示例性舒张/收缩检测

示例性舒张/收缩检测流程可利用识别给定输入帧xi的心动周期阶段；其中，标签可以是根据本公开的示例性实施例的示例性系统、方法和计算机可访问介质可以例如仅关于非即时状态in、de生成概率。图8示出了根据本公开的示例性实施例的心动周期的检测的示例性图表。例如，线805示出了概率de减去in的差，产生针对测试数据的视频剪辑的从-1到1的值。曲线810以最佳地近似线805的恒定的紧缩和膨胀时间进行拟合。曲线810的过零点可以是检测到的峰值收缩(“sy”)和峰值舒张(“di”)；中间阶段可以是紧缩(“de”)和膨胀(“in”)阶段。另外，如图8的图所示，点815和点820分别表示所选择的三元组和信号指针，而线825代表所接收的信号。

图9a-图9f示出了来自心动周期的图像帧的集合，并且在每个帧的左上方，系统绘制所识别的心动阶段，其被可视化为两个圆圈之间的虚线圆圈905，所述两个圆圈指示峰值收缩(例如，小圆圈910)和峰值舒张(例如，大圆圈915)；虚线圆圈的半径直接取自图8中的拟合710。

示例性部分分割

示例性部分分割流程可利用根据部分标签标记输入图像xi中的每个像素。例如，可以仅实现左心室(“lv”)分割。图10示出了由示例性系统产生的lv的分割的图像的集合，lv的分割由元素1005图示。真实情况(“gt”)用户分割由元素1010示出，并且两者的交叠由元素1015示出。请注意，由示例性系统和用户gt产生的分割在视觉上可以非常接近。为了对该示例性流程进行定量分析，计算了两个误差量度：(i)交叉并集(“iou”)，其测量示例性系统的分割和gt分割的交叉面积除以两个面积的并集(例如，它可以产生公共分割面积(例如，图10中所示的元素915)与公共面积加上不同面积(例如，图10中所示的元素905和910)的比率)的比率；该比率可以在0到1的范围内，其中，越接近1越好，并且其中，1表示示例性分割和gt在像素级别可以是相同的，以及(ii)相对面积差(“rad”)，其对由示例性系统产生的分割的面积与gt的面积差除以gt分割区域的面积进行量度。

为了为结果产生基线，要求示例性用户在等待几周的时间之后重复对测试集的lv注释，并测量这些新的分割对原始gt分割。图12示出了针对这两个误差量度的四个直方图，其中，针对每个误差量度，示出了与gt相比的针对示例性方法的直方图的一个集合(例如，直方图的集合1210)，和与gt相比的针对用户的直方图的一个集合(例如，直方图的集合1205)。结果表明，示例性系统产生的分割与gt的一致性略低于用户，但是具有可比性；当考虑到同一用户标记了两个lv分割时，这些结果可能是显著的；当由不同的用户重复该实验时，可预期用户vs.gt实验中较大的差异。

示例性瓣膜定位

该示例性流程可以利用在多普勒分析期间将点放置在特定位置以进行流量计算。图11a-图11d示出了由示例性系统、方法和计算机可访问介质针对两个视图(例如，图11a和图11c)产生的瓣膜定位(例如，元素1105)和放大视图(例如，分别为图11b和图11d)的示例性图像。图10a-图10d中所示的元素1110示出了以用户针对gt标记的瓣膜定位为中心的圆盘，其中可以计算半径以表示用户定位中的不确定性。可基于用户每帧重复标记瓣膜定位10次的数据来计算该不确定性，并且可以根据平均预测来计算最大偏差；该值可以称为不确定半径，并且可以用r标记。图13示出了示例性系统的预测的瓣膜定位与由用户进行的真实情况定位之间的距离的示例性直方图1305。标记1310和1315分别指示不确定半径r和不确定半径的两倍2r。

示例性的通用性

测试示例性核心nn以确定在不同水平的训练和使用“热启动”初始化之后它如何适应新流程。图14a-图14c是针对示例性舒张/收缩测试的示例性学习图。例如，这些学习图描绘了在训练舒张/收缩过程期间在其核心nn可以以三种不同方式初始化时的训练(例如，元素1405)和验证(例如，元素1410)误差：(i)从在自然图像上训练的图像网络型nn获取的核心nn(参见例如图14a)；(ii)在对视图检测流程上训练之后的核心nn(参见例如图14b)；以及(iii)在部分分割流程上训练之后的核心nn(参见例如图14c)。初始化具有使用已经学习了一些超声分析流程(例如，视图检测)的核心nn的系统，在较短的训练时间内产生了更准确的结果(例如，比较图14a和14b)。在学习分割并重复ds训练之后，结果甚至进一步改善(例如，比较图14b至13c)。该示例性实验支持：(i)不同的流程证实并促进更高的准确度和更好的性能，以及(ii)利用来自不同超声流程的核心nn初始化过程可以促进学习，并且可以实现更高的性能。

根据本公开的示例性实施例的示例性系统、方法和计算机可访问介质可用作任何临床商业成像设备(例如，超声)的附件。该示例性系统、方法和计算机可访问介质可在心脏病学科室和急诊科(“ed”)用于超声心动图(例如，心脏超声)。

示例性心脏功能和测量结果

多名技术人员在执行例程和完成超声心动图检查时被观察。针对三个任务中的每个任务记录检查总时间和时间分布(参见例如图15的图表)。大约50％的总时间用于图像采集，约30％至约35％用于分析，包括追踪在线测量和计算，并且约10％至约15％用于生成报告(参见例如图15中所示的图表)。

根据本公开的示例性实施例的示例性系统、方法和计算机可访问介质可用于准确地识别左心室(例如，在4腔中)，并自动应用并提供完整的可直接并入最终研究报告的心脏功能分析。目前，技术人员必须识别两个或三个点，或者在不同视图中追踪左心室(例如，在所获取的六个视图中)，并且然后激活示例性机器上可用的计算包。根据本公开的示例性实施例的示例性系统、方法和计算机可访问介质可以自动检测不同的观察窗口和分割，并且可以识别心脏的各个部分，例如左心室。

根据本公开的示例性实施例的示例性系统、方法和计算机可访问介质可以使用分割，峰值收缩和/或峰值舒张帧，现在其可以被自动确定。过去，这是由技术人员通过逐帧仔细扫描并识别峰值收缩和峰值舒张帧手动执行的。根据本公开的示例性实施例的示例性系统、方法和计算机可访问介质可以利用神经核心来在心动周期期间确定这两个事件，并且然后可执行左心室功能的评估。因此，可以完全消除手工劳动，并且可以自动测量所有其他测量结果，包括收缩和舒张时左心室的尺寸、右心室评估、la大小、主动脉瓣环、主动脉窦、升主动脉、肺瓣膜、二尖瓣环、和三尖瓣环的测量。

熟练的超声心动图检查者进行心脏检查的一个重要部分可能是进行周密的多普勒检查。在过去，技术人员识别可定位多普勒的样本体积以获得最佳信噪比的理想位置和角度。这也是一项手动费力的任务，需要专业知识才能评估所有心脏瓣膜。这样的任务很费时间。根据本公开的示例性实施例的示例性系统、方法和计算机可访问介质可用于识别多普勒样本可位于的确切区域。在实现适当的图像之后，可识别多普勒样本位置，并且根据本公开的示例性实施例的示例性系统、方法和计算机可访问介质可以自动激活多普勒模态，从而实现适当的跨心脏瓣膜的多普勒跟踪。当实现并显示多普勒追踪时，可以应用计算包，并且可以自动计算二尖瓣和三尖瓣流入，以及主动脉和肺流出道多普勒追踪。

大约10％-15％的检查总时间可用于将所有测量结果并入最终报告，然后才能发送给专家，例如，能够完成报告并将其发送到紧急医疗记录的心脏病专家。这可以是显著的手动过程，该手动过程可以通过使用示例性系统、方法和计算机可访问介质自动测量评估心脏功能以及瓣膜异常所需的所有不同变量来避免(参见例如图15中所示的图表)。

据估计，与手动检查(例如，当前正在执行的检查类型)相比，示例性系统、方法和计算机可访问介质可以节省高达40％的时间。另外，根据本公开的示例性实施例的示例性系统、方法和计算机可访问介质与当前执行的手动检查相比可以提高效率和质量。

根据本公开的示例性实施例的示例性系统、方法和计算机可访问介质可以在技术人员/医师/护士获取适当图像之后自动显示正常、轻度、中度、或重度左心室功能不全的心脏功能。如果需要，还可以显示左心室射血分数的确切数。

示例性心包积液

心包积液是代表危险的心脏异常之一，如果不及时诊断，可导致死亡。根据本公开的示例性实施例的示例性系统、方法和计算机可访问介质可用于通过超声检查来自动检测心包积液的存在。例如，根据本公开的示例性实施例的示例性系统、方法和计算机可访问介质可以(例如，立即检测)任何心包积液，并且通过心包积液的存在或不存在来警告操作者。如果需要，可以显示累积的心包积液的严重程度。

示例性分割性异常

心脏分割性异常可用作诊断心肌缺血的筛查工具。这是一项非常主观的任务，即使在专家心脏病专家的手中也可依赖于操作者。根据本公开的示例性实施例的示例性系统、方法和计算机可访问介质可以自动地通知用户可能存在分割性异常，例如，左心室壁和隔膜的任何部分的运动功能减退、运动障碍或反常运动。当前，心脏被分成17个分割，并且根据本公开的示例性实施例的示例性系统、方法和计算机可访问介质可以检测跨所有分割的非常细微的壁运动异常。

示例性rv对lv比率

示例性系统、方法和计算机可访问介质可以使用示例性神经核心来识别和分开左心室和右心室。示例性神经核心可以评估这些心室的相对和绝对面积和容积，并且可以快速(例如，在几分之一秒内)计算它们之间的比率。这对于提高被称为肺栓塞的临界病症的怀疑级别(suspicionlevel)是有益的。在这种情况下，右心室可能存在严重的应变，结果，该心室趋于扩大，右心室和左心室区域之间的比例可显著改变。这可用作示例性筛查工具，以基于rv对lv比率通知临床医生可能存在可能肺栓塞(参见例如图16中所示的图)。

例如，如图16的示例性图所示，心脏超声平台1605可以在线模式1610或离线模式1640中使用。在在线模式1610中，心脏超声平台可以用在心脏设置1615或ed心脏设置1620中。可以在心脏设置1625中执行各种功能1625，其可以基于多普勒分析1635(例如，(i)lvef；(ii)lv体积；(iii)rv/lv比率；(iv)ao，mv，pv，tv；(v)心包积液；(vi)分割性异常；(vii)主动脉测量结果；和(viii)ivc大小)。可以在ed心脏设置1620中执行其他功能1630(例如，(i)lv功能；(ii)分割性异常；(iii)lv体积；(iv)心包积液；(v)rv/lv比率；以及(vi)ivc大小)。在离线模式1640下，在心脏设置1645中，可以执行各种离线功能1650(例如，(i)lvef；(ii)lv体积；(iii)rv/lv比率；(iv)ao，mv，pv，tv；(v)心包积液；(vi)分割性异常；(vii)主动脉测量；以及(viii)ivc尺寸)。

示例性射血分数

根据本公开的示例性实施例的示例性系统、方法和计算机可访问介质可用于根据原始ut输入计算或以其他方式确定ef。例如，可以向用户提供两种可能性之一的指示：(i)驱动；和(ii)停止。在驱动中(参见例如图19a)，可以指示用户导航ut换能器以产生期望的视图(例如，4c，2c，sa等)。根据本公开的示例性实施例，当示出停止标志时(参见例如图19b)，可以请求用户保持静止，同时该示例性系统、方法和计算机可访问介质收集信息。在遍历示例性视图之后，示例性系统、方法和计算机可访问介质可以自动地产生ef预测以及lv的3d重建。

ef的示例性确定可以包括以下示例性流程：

(i)每个输入三元xi可以通过示例性网络以产生视图检测和lv分割。

(ii)可针对每个视图计算时间与面积曲线。

(iii)可以持久性图使用来找到这些曲线的稳定最大和最小点。

(iv)从每个视图中，可以提取所有最大和最小横截面。

(v)通过考虑最小横截面和最大横截面的所有组合，可以重建lv的收缩和舒张的3d体积。

(vi)对于每个横截面集合(例如，所有相同类型：最小或最大)，横截面可以在3d空间中对齐。(参见例如图21a，其在图像2105中示出了最小横截面的集合并在图像2110中示出了最大横截面的集合)。

(vii)通过将横截面的边界约束在网格表面上，同时最小化表面的威尔莫能量(willmoreenergy)，jmh2da，其中，h可以是平均曲率，da可以是表面的面积元素，可将具有顶点v，边缘e，和面f的3d网格m＝(v，e，f)拟合到该横截面。威尔莫能量可用于最小化失真，并且可以是圆球的最佳选择。可以通过梯度下降以及线搜索策略来执行示例性优化。图21b示出了使用图21a中的横截面生成的重建。

(viii)从每对收缩和舒张重建中，可测量候选ef。ef的最终鲁棒估计可被生成为ef直方图的中值。图22示出了示例性直方图(ef直方图2202和ef预测2210)和提取的值。

根据本公开的示例性实施例的示例性系统、方法和计算机可访问介质可利用上述示例性流程来产生整个心动周期的3d重建(参见，例如图20a-20g)。

为了验证上述自动ef流程，对114个匿名病例进行了测试，并与4位专家心脏病专家和2位专家技术人员进行了比较以评估/计算ef。每个病例的真实情况被定义为这些评估的中位数。根据本公开的示例性实施例的示例性系统、方法和计算机可访问介质关于真实情况的平均偏差和标准偏差与专家进行比较。如在下面的表1中可以看到的，示例性系统、方法和计算机可访问介质产生与顶级专家相当的结果，并且与大多数专家相比是有利的。图23a和图23b示出了专家的错误的示例性直方图(例如，参见图23a)以及示例性系统、方法和计算机可访问介质的错误(例如，参见图23b)。

表1：基于示例性系统、方法和计算机可访问介质对各种专家关于真实情况ef的比较，对114个对象的ef估计误差的平均值和标准偏差的比较。

示例性使用急诊科

在急诊科使用超声波是常见的。医院或医疗中心的急诊科可能是健康护理系统中最繁忙、令人紧张和可怕的地方之一。为了改善患者的结果，对快速可靠的诊断的需求至关重要。超声目前在以下示例性领域中具有重要作用：肺，心脏，腹部扫描和ob-gyn。此外，已经将包括骨折在内的整形外科异常的急性扫描引入并且并入急诊科的超声检查中。手持设备的发展促进临床医生无需在急诊室中寻找设备即可进行扫描，从而促进了关键决策的过程，同时还获得了高质量超声成像的流程指导。

立即的床边超声检查在评估特定紧急诉求时的吸引力使其成为急诊医师的理想工具。分诊、诊断、和快速处置患者的压力越来越大，这促使超声波成为急诊科的主要筛查工具。目前在ed中使用的主要区域是腹部、骨盆、心脏和创伤。

例如，目前需要至少12个月的特定训练，以便于训练急诊科医生成为超声专家。有一种针对急诊科医生的官方超声会员，需要整整12个月的训练。并非全国的每个急诊科都配备了专业的超声检查员。因此，示例性系统、方法和计算机可访问介质可以帮助急诊室中的医生快速识别不同身体系统中的异常。

急诊科的示例性心脏超声检查

紧急心脏超声可用于评估心包积液和心包填塞、心动活动、梗塞、收缩性的全面评估、中心静脉容积状态的检测、以及疑似肺栓塞。超声还被并入危重患者和有风险的患者的复苏中。在对未区分的低血压患者的评估中，还可以扩展紧急心脏超声以用于心力衰竭和呼吸困难。根据本公开的示例性实施例的示例性系统、方法和计算机可访问介质可以执行以下示例性功能：

示例性异常分割移动。根据本公开的示例性实施例的示例性系统、方法和计算机可访问介质还可以警告操作者是否存异常运动，所述异常运动包括运动不能、运动功能减退、运动障碍、和心室壁和隔膜的任何部分的反常移动，指示潜在的心室缺血或梗塞。在低血容量的情况下可以显示左心室体积(参见例如图16中所示的图表)。

根据本公开的示例性实施例的示例性系统、方法和计算机可访问介质可以在急诊科中用于以下示例性检查：

1)在创伤或快速(检查)中使用超声检查进行重点评估。

2)怀孕。

3)腹主动脉瘤。

4)肝胆系统。

5)泌尿道。

6)深静脉血栓形成。

7)软组织肌肉骨骼。

8)胸腔气道。

9)眼。

10)肠。

超声在急诊科中的示例性使用具有使用深度学习来进行更快和更急性的诊断的潜力。

急诊医师使用超声波可以提供及时且经济有效的手段，以准确诊断疾病和受伤期间的紧急情况，从而提供更高质量、更低成本的护理。ed超声使用通常可以减少对更昂贵的研究(例如ct或mri)的需求，并且可以减少不必要的入院以进行更综合的诊断检查。另外，患者从一个实验室移动到另一个实验室需要人力和复杂的队列调度和监视。因此，根据本公开的示例性实施例的示例性系统、方法和计算机可访问介质可以提供在急诊科使用超声的新方式(参见例如图17中所示的图表)。

例如，如图17的示例性图所示，例如可使用根据本公开的示例性实施例的示例性系统、方法和/或计算机可访问介质来执行神经网络核心医学成像1705。这可以是器官特异的1715，基于各种器官、器官类型、或医学特性1715(例如，(i)心脏，(ii)腹部，(iii)胸部，(iv)obgyn，(v)肿瘤学，(vi)泌尿外科，以及(vii)骨科)。神经网络核心医学成像1705可用于各种设置1720(例如，(i)患者护理，(ii)教育，(iii)训练，(iv)质量保证(“qa”)，以及(v)结果)。可以使用各种成像模态1725(例如，(i)超声，(ii)磁共振成像(“mri”)，(iii)计算机断层扫描(“ct”)，(iv)正电子发射断层扫描ct(“petct”)，以及(v)核)。

对检查的示例性评估可以导致改善护理点。使用所建立的分析工具可促进更快更可靠的诊断。不需要特殊训练的主要要求。根据本公开的示例性实施例的示例性系统、方法和计算机可访问介质可以用于其他领域，包括军事领域、远程医疗应用、紧急护理设施、和家庭健康护理(参见例如图18中所示的图表)。使用示例性系统、方法和计算机可访问介质的示例性市场1805可以包括医院1810(例如，在(i)心脏病科1815，(ii)ed1820，(iii)放射科1825，以及(iv)密集型护理1830)、紧急护理1835、家庭护理1840、以及军队1845。

图24图示了根据本公开的示例性实施例的用于检测患者的解剖结构中的异常的示例性方法2400的示例性流程图。例如，在步骤2405，可以生成或接收与患者的解剖结构有关的成像信息。在步骤2410，可以任选地对成像信息进行上采样。在步骤2415，可以在异常检测之前或独立于异常检测使用部分分割流程和定位流程来分割解剖结构。在步骤2420，可使用神经网络基于成像信息对解剖结构的特征进行分类。在步骤2425，可连接由神经网络中的每个产生的输出。在步骤2430，可基于使用分类和分割流程生成的数据来检测异常。

图25示出了根据本公开的系统的一个示例性实施例的框图。例如，根据本文描述的本公开的示例性流程可以由处理和/或计算装置2505执行。这样的处理/计算装置2505可以是，例如，计算机/处理器2510的全部或一部分，或包括但不限于计算机/处理器2510，计算机/处理器2510可以包括例如一个或多个微处理器，并使用存储在计算机可访问介质(例如，ram，rom，硬盘驱动器或其他存储设备)上的指令。

如图25所示，例如计算机可访问介质2515(例如，如上所述，诸如硬盘，软盘，记忆棒，cd-rom，ram，rom等，或其组合的存储设备)可被提供(例如，与处理装置2505通信)。计算机可访问介质2515可在其上包含可执行指令2520。另外地或替代地，例如，存储装置2525可与计算机可访问介质2515分开提供，计算机可访问介质2515可以向处理装置2505提供指令，以便配置处理装置来执行某些示例性流程、过程、和方法，如上文中所描述的那样。

此外，可提供具有或包括输入/输出装置2535的示例性处理装置2505，输入/输出装置2535可以包括例如有线网络，无线网络，因特网，内联网，数据收集探针，传感器等。如图25所示，示例性处理装置2505可以与示例性显示装置2530进行通信，根据本公开的某些示例性实施例，示例性显示装置2530可以是被配置用于向处理装置输入信息的触摸屏，例如，所述触摸屏除了从该处理装置输出信息还向该处理装置输入信息。此外，示例性显示器2530和/或存储装置2525可用于以用户可访问格式和/或用户可读格式来显示和/或存储数据。

上文仅阐述了本公开的原理。鉴于本文的教导，对所述实施例的各种修改和更改对于本领域技术人员而言将是显而易见的。因此，应当理解，本领域技术人员将能够设计出许多系统、装置、和流程，这些系统、装置和流程虽然未在本文中明确示出或描述，但体现了本公开的原理并且因此在本发明的精神和范围内。如本领域普通技术人员应当理解的，各种不同的示例性实施例可以彼此一起使用，并且可以与彼此互换使用。另外，本公开中(包括其说明书、附图和权利要求)使用的某些术语，可以在某些情况下同义使用，包括但不限于例如数据和信息。应当理解，虽然这些词和/或可以彼此同义的其他词可以在本文中同义使用，但是可能存在这样的词不是同义地使用的情况。此外，在现有技术知识在上文中未通过引用明确地并入本文的程度上，其以其整体明确地并入本文。引用的所有出版物均通过引用整体并入本文。

示例性参考文献

以下参考文献通过引用整体并入本文：

[1]iangoodfellow,jeanpouget-abadie,mehdimirza,bingxu,davidwarde-farley,sherjilozair,aaroncourville,andyoshuabengio,generativeadversarialnets,advancesinneuralinformationprocessingsystems,2014,pp.2672-2680.

[2]phillipisola,jun-yanzhu,tinghuizhou,andalexeiaefros,image-to-imagetranslationwithconditionaladversarialnetworks,arxivpreprintarxiv:1611.07004(2016).

[3]alexkrizhevsky,ilyasutskever,andgeoffreyehinton,imagenetclassificationwithdeepconvolutionalneuralnetworks,advancesinneuralinformationprocessingsystems,2012,pp.1097–1105.