用于在基于医学成像的程序中导航到目标解剖对象的系统和方法与流程

本申请要求享有2016年12月2日提交的序列号为62/429,150的美国临时申请的权益，其全部内容通过引用并入本文。

本发明涉及医学成像领域中的解剖对象的检测和识别，并且更特别地涉及用于基于对来自目标解剖体周围的场景拍摄的多个图像内包含的解剖对象的检测和识别来提供导航指示以在基于医学成像的程序(例如超声导引的区域麻醉)中到达目标解剖对象的系统和方法。

背景技术

存在基于传统方法的各种成像系统，用于帮助医学专业人员识别目标解剖对象的总体区域，诸如超声波、计算机断层扫描(ct)、磁共振(mr)和荧光成像系统。然而，使用这样的系统的解剖对象检测并不总是鲁棒的，特别是对于其中解剖对象在解剖学、形状和/或外观以及医学图像中的噪声和伪像中表现出大的变化的一些具有挑战性的检测问题。结果，当使用这样的成像系统时，医学专业人员通常难以快速且准确地定位目标解剖对象的总体区域。例如，神经阻滞或外周神经阻滞(pnb)是一种用于手术麻醉以及用于术后和非手术性镇痛的局部麻醉，希望精确定位目标解剖对象(例如目标神经)。在pnb期间，医学专业人员在目标神经或神经束附近注射麻醉剂以阻断来自身体特定区域的疼痛感。然而，当使用当前可用的成像系统时，医学专业人员快速且准确地定位目标神经的总体区域可能是具有挑战性的。例如，对于某些神经阻滞程序，医生通常难以通过超声成像系统快速且准确地定位目标神经束。

因此，本公开涉及用于从拍摄自目标解剖对象(例如，目标神经)周围的解剖区域的场景的多个实时图像中自动检测、识别和标测解剖对象的系统和方法，以便向用户(例如，医疗专业人员)提供指示，从而使得用户能够使用可以经由现有成像系统实施的深度学习网络快速且准确地到达感兴趣的目标解剖对象。

技术实现要素：

本发明的目的和优点将部分在下面的描述中阐述，或者可以从描述中显而易见，或者可以通过实施本发明而了解。

在一个方面中，本发明涉及一种用于经由医学成像系统在医疗程序期间为用户提供导航指示以定位目标解剖对象的方法。所述方法包括：选择目标解剖对象周围的解剖区域；生成来自目标解剖对象周围的解剖区域的场景的多个实时二维图像并将多个实时二维图像提供给控制器；开发和训练深度学习网络以自动检测和识别来自目标解剖对象周围解剖区域的场景；经由所述深度学习网络基于在所述解剖区域中的每个所识别的场景的相对空间位置和相对时间位置，自动地标测来自所述目标解剖对象周围的解剖区域的所述多个实时二维图像中的每一个；以及基于每个所识别的场景的相对空间位置和相对时间位置来向用户提供指示，以在医疗程序期间定位目标解剖对象。

在一个特定实施例中，医疗程序可以是神经阻滞，其中目标解剖对象是目标神经。此外，神经阻滞可以包括肌间沟神经阻滞、锁骨上神经阻滞、锁骨下神经阻滞、腋窝神经阻滞、股神经阻滞、坐骨神经阻滞、收肌管神经阻滞、腿弯部神经阻滞、隐神经阻滞、髂筋膜神经阻滞、胸腰椎旁神经阻滞、腹横肌平面(tap)神经阻滞、肋间神经阻滞、或胸椎旁神经阻滞。

在另一实施例中，深度学习网络可以包括一个或多个卷积神经网络或者一个或多个递归神经网络中的至少一个。

在另一实施例中，方法还可以包括开发和训练深度学习网络以经由参考标准数据自动检测和识别来自目标解剖对象周围的解剖区域的场景。此外，开发和训练深度学习网络以自动检测和识别来自目标解剖对象周围的解剖区域的场景可以包括：从多个患者中的每个患者扫描和采集来自目标解剖对象周围的解剖区域的场景的多个图像的数据集，基于用户输入来注释图像的数据集以创建参考标准数据；将图像的数据集和参考标准数据划分为训练数据集和验证数据集；以及利用训练数据集来训练深度学习网络。

在另一实施例中，利用所述训练数据集来训练所述深度学习网络可以还包括优化成本函数以最小化所述深度学习网络的输出与所述参考标准数据之间的误差。此外，优化所述成本函数以最小化所述误差还可以包括利用随机梯度下降(sgd)算法，其迭代地处理所述参考标准数据的部分，并且基于深度学习网络的输出与参考标准数据之间的误差来调整所述深度学习网络的一个或多个参数。

在另一实施例中，在优化所述成本函数之后，方法可以包括实时地利用所述深度学习网络来自动地提供对所述验证数据的预测并且将所述预测与所述参考标准数据进行比较。

在另一实施例中，基于用户输入来注释所述图像的所述数据集以创建所述参考标准数据还可以包括人工识别和注释在数据集的每个图像中的所述目标解剖对象、另外的解剖对象、标志、组织或其组合。

在另一实施例中，方法可以包括初始训练所述深度学习网络以离线地自动检测和识别来自所述目标解剖对象周围的解剖区域的场景。

在另一实施例中，方法可以包括连续训练所述深度学习网络以在线地自动检测和识别来自所述目标解剖对象周围的解剖区域的场景。

在另一实施例中，当探头扫描所述感兴趣的解剖区域时，可以经由所述成像系统的用户显示器以注解的形式向所述用户提供所述指示，其中所述成像系统同时生成所述多个实时二维图像。

在另一实施例中，当探头扫描所述感兴趣的解剖区域时，可以以音频的形式向所述用户提供指示，其中所述成像系统同时生成所述多个实时二维图像。

在另一实施例中，所述医学成像系统可以包括超声成像系统、计算机断层扫描(ct)成像系统、磁共振(mr)成像系统或荧光成像系统。

在另一方面，本发明涉及一种用于医疗程序中的医学成像系统。所述医学成像系统包括被配置为执行一个或多个操作的至少一个控制器和被配置为向用户显示多个实时二维图像的用户显示器。所述一个或多个操作包括：接收来自目标解剖对象周围的解剖区域的场景的多个实时二维图像；开发和训练深度学习网络以自动检测和识别来自目标解剖对象周围的解剖区域的场景；经由所述深度学习网络基于在所述解剖区域中的每个所识别的场景的相对空间位置和相对时间位置，自动地标测来自所述目标解剖对象周围的解剖区域的所述多个实时二维图像中的每一个；以及基于每个所识别的场景的相对空间位置和相对时间位置向用户提供指示以在医疗程序期间定位目标解剖对象。

在一个特定实施例中，医疗程序可以是神经阻滞，其中目标解剖对象是目标神经。

在另一实施例中，深度学习网络可以包括一个或多个卷积神经网络或者一个或多个递归神经网络中的至少一个。

在另一实施例中，开发和训练深度学习网络以自动检测和识别来自目标解剖对象周围的解剖区域的场景可以经由参考标准数据来完成。例如，开发和训练深度学习网络以自动检测和识别来自目标解剖对象周围的解剖区域的场景可以包括：从多个患者中的每个患者扫描和采集来自目标解剖对象周围的解剖区域的场景的多个图像的数据集；基于用户输入来注释图像的数据集以创建参考标准数据；将图像的数据集和参考标准数据划分为训练数据集和验证数据集；以及利用训练数据集来训练深度学习网络。

此外，基于用户输入来注释所述图像的所述数据集以创建所述参考标准数据可以包括人工识别和注释在数据集的每个图像中的所述目标解剖对象、另外的解剖对象、标志、组织或其组合。

在另一实施例中，控制器可以被配置为初始训练所述深度学习网络以离线地自动检测和识别来自所述目标解剖对象周围的解剖区域的场景。

在另一实施例中，控制器可以被配置为连续训练所述深度学习网络以在线地自动检测和识别来自所述目标解剖对象周围的解剖区域的场景。

在另一实施例中，当探头扫描所述感兴趣的解剖区域时，控制器可以经由用户显示器以注解的形式向所述用户提供所述指示，其中所述成像系统同时生成所述多个实时二维图像。

在另一实施例中，当探头扫描所述感兴趣的解剖区域时，控制器可以以音频形式向所述用户提供指示，其中所述成像系统同时生成所述多个实时二维图像。

在另一实施例中，所述医学成像系统可以包括超声成像系统、计算机断层扫描(ct)成像系统、磁共振(mr)成像系统或荧光成像系统。

参考以下描述和所附权利要求，本发明的这些和其它特征、方面和优点将变得更好理解。并入本说明书并构成本说明书的一部分的附图示出了本发明的实施例，并且与说明书一起用于解释本发明的原理。

在另一实施例中，医学成像系统可以被配置为要由其他医学成像系统安装和托管的软件包，其中医学成像系统能够接收来自主医学成像系统的图像并提供要由主医学成像系统部署的输出。

在另一实施例中，所述深度学习网络可以采用量化权重、二进制权重和其他压缩方法来减少存储器使用并加快执行时间，诸如当有限的计算能力可用时。

在另一实施例中，所述医学成像系统可以采用各种变换、均衡和归一化技术以能够与具有不同设置、规格和图像质量的不同医学成像系统一起工作。

附图说明

在参考附图的说明书中阐述了针对本领域普通技术人员的包括其最佳模式的本发明的完整且可实现的公开内容，其中：

图1示出了各种神经阻滞的位置，其中本公开的方法和系统可以用于结合超声引导将医学专业人员导航到精确的位置；

图2更详细地示出了图1的肌间沟神经阻滞的位置；

图3示出了根据本公开的成像系统的一个实施例的透视图；

图4示出了根据本公开的成像系统的控制器的一个实施例的框图；

图5示出了根据本公开的超声成像系统的一个实施例的示意图，具体示出了与针导引件结合使用的超声探针，以便于朝向患者的目标神经的针的导航；

图6示出使用本公开的系统和方法从感兴趣的目标解剖对象周围的解剖区域采集的多个实时二维图像，其中包含在图像中的场景中的感兴趣的解剖对象、另外的解剖对象和标志可以被识别和标记；

图7示出了包含多个二维切片图像的数据集，其中数据集用于训练深度学习网络，其中深度学习网络用于检测、识别、标记和标测图6的实时超声图像中包含的感兴趣的解剖对象、另外的解剖对象和标志；

图8示出了用于自动检测和标测来自感兴趣的目标解剖对象周围的解剖区域的场景以便在医疗过程期间向用户提供指示来定位感兴趣的目标解剖对象的方法的示意图；

图9示出了用于使用递归卷积神经网络自动检测和标测来自感兴趣的目标解剖对象周围的解剖区域的场景以便在医疗程序期间向用户提供指示来定位感兴趣的目标解剖对象的方法的示意图；

图10示出了用于自动检测和标测来自感兴趣的目标解剖对象周围的解剖区域的场景，以便在医疗过程期间向用户提供指示以定位感兴趣的目标解剖学对象的方法的一个实施例的流程图；

图11示出了由根据本公开的成像系统生成的肌间沟神经阻滞周围的解剖区域的场景的实时超声图像的示意图，其中感兴趣的解剖对象和周围组织已经被检测到并且用轮廓和编号标识；

图12示出了由根据本公开的成像系统生成的肌间沟神经阻滞周围的解剖区域的场景的实时超声图像的另一个实施例的示意图，其中感兴趣的解剖对象和周围组织已经被检测到并用轮廓标识；

图13示出了由根据本公开的成像系统生成的肌间沟神经阻滞周围的解剖区域的场景的实时超声图像的又一个实施例的示意图，其中感兴趣的解剖对象和周围组织已经被检测到并通过阴影、轮廓和标签进行标识；以及

图14示出了由根据本公开的成像系统生成的肌间沟神经阻滞周围的解剖区域的场景的实时超声图像的一个或多个实施例的示意图，其中感兴趣的解剖对象和周围组织已经被检测到并通过阴影、轮廓和标签进行标识。

具体实施方式

现在将详细参考本发明的一个或多个实施例、本发明的示例，其示例在附图中示出。每个示例和实施例通过对本发明的解释而提供，并不意味着对本发明的限制。例如，作为一个实施例的一部分示出或描述的特征可以与另一个实施例一起使用，以产生又一个实施例。意图是本发明包括落入本发明的范围和精神内的这些和其他修改和变化。

通常，本公开涉及一种用于向用户(例如，医学专业人员)提供导航指示以经由医学成像系统在医疗程序期间定位目标解剖对象的系统和方法。该方法包括选择对象周围的解剖区域；从解剖区域生成场景的多个实时二维图像，并将多个图像提供给控制器；开发和训练深度学习网络以自动检测和识别来自解剖区域的场景；基于所述解剖区域中的每个所识别的场景的相对空间位置和相对时间位置，经由所述深度学习网络自动地标测来自所述解剖区域的所述多个图像中的每个图像；以及在医疗程序期间基于每个所识别的场景的相对空间和时间位置为用户提供指示来定位对象或者利用外科手术器械(例如，针导引组件、导管、针、手术刀、刀、探头等)到达对象。

在一个特定实施例中，本公开涉及一种用于使用由诸如超声成像系统的成像系统生成的来自目标神经周围的解剖区域的场景的多个实时二维图像来向用户(例如，医学专业人员)提供导航指示以定位或到达感兴趣的目标神经以将神经阻滞输送至患者的成像系统和方法。参考图1，目标神经可以与神经阻滞至患者80的输送相关联。本公开设想的神经阻滞的示例包括肌间沟神经阻滞52、锁骨上神经阻滞54、锁骨下神经阻滞56、腋窝神经阻滞58、股神经阻滞60、坐骨神经阻滞62、收肌管神经阻滞64、腿弯部神经阻滞66、隐神经阻滞68、髂筋膜神经阻滞70、胸腰椎旁神经阻滞72、腹横肌平面(tap)神经阻滞74、肋间神经阻滞76、胸椎旁神经阻滞78等。

例如，肌间神经阻滞52周围的解剖区域的详细视图在图2中示出用于参考。具体而言，解剖区域包括环状软骨29、颈内静脉31、颈外静脉33、臂丛34、胸锁乳突肌36、前斜角肌37、中斜角肌38、后斜角肌41。通过使用本公开的系统和方法，如下面更详细讨论的，可以检测、识别/标记和标测上面讨论的各种解剖对象或结构，以使得可以向医学专业人员提供指示来快速和准确地将针45在针插入部位47处插入目标神经49以输送麻醉剂，从而产生肌间沟神经阻滞52。

现在转到图3和图4，示出了被配置为接收和组织由成像系统10实时生成的多个单独图像14的成像系统10的一个实施例。如本文所使用的，成像系统10可对应于可从本技术中受益的超声成像系统(如所示出的)、计算机断层扫描(ct)扫描仪、磁共振成像(mri)扫描仪或任何其他合适的成像系统。更具体地，如所示出的，成像系统10可以包括控制器17，控制器17被配置为接收和组织由成像系统10生成的多个图像14。控制器17通常包括一个或多个处理器16和相关联的存储器装置18，其被配置为执行各种计算机实现的功能(例如，执行如本文所公开的方法等并存储相关数据)，以及用户显示器20。例如，处理器16可以被配置为从所示出的多个实时二维超声图像46检测、识别和标测包含在由成像系统10所生成的每个图像14内的多个场景12。另外，成像系统10可以包括用户接口22，诸如计算机和/或键盘，其被配置为帮助用户生成和/或操纵包含在每个单独图像14内的多个场景12。

另外，如图4所示，控制器17还可以包括通信模块24，以促成控制器17与成像系统10的各个组件(例如，图3和图4中的任何组件)之间的通信。此外，通信模块24可以包括传感器接口26(例如，一个或多个模数转换器)，以允许从一个或多个成像系统探头28(例如，超声探头)发送的信号被转换成可由控制器17和/或(一个或多个)处理器16理解和处理的信号。应当理解的是，探头28可以使用任何合适的手段通信地耦合到通信模块24。例如，如图4所示，探头28可以通过有线连接耦合至传感器接口26。然而，在其他实施例中，探头28可以通过无线连接耦合到传感器接口26，诸如通过使用本领域已知的任何合适的无线通信协议。如此，控制器17可以被配置为从探头28接收一个或多个信号。

如本文所使用的，术语“控制器”不仅指本领域中被称为包括在计算机中的集成电路，还指微控制器、微型计算机、可编程逻辑控制器(plc)、专用集成电路、现场可编程门阵列(fpga)以及其他可编程电路。控制器17还被配置成计算高级控制算法并且与各种以太网或基于串行的协议(modbus、opc、can等)通信。此外，在某些实施例中，控制器17可以通过因特网与服务器进行通信以用于云计算，以减少本地装置的计算时间和负担。另外，存储器装置18通常可以包括存储器元件，其包括但不限于计算机可读介质(例如，随机存取存储器(ram))、计算机可读非易失性介质(例如，闪存)、软盘、光盘只读存储器(cd-rom)、磁光盘(mod)、数字多功能盘(dvd)和/或其他合适的存储器元件。这样的存储器装置18通常可以被配置为存储适当的计算机可读指令，该指令在由控制器17实现时配置处理器16以执行如本文所述的各种功能。

现在转到图5，当成像系统10是超声成像系统时，成像系统10的探头28(例如，超声探头)可以包括换能器壳体27和安装在其中的换能器发射器23。如通常理解的那样，换能器发射器23被配置为发射和/或接收超声波束。如此，换能器发射器16可以被配置在内腔(未标号)内，以使得换能器发射器16被配置为扫描患者的目标解剖对象149(例如，目标神经)周围的解剖区域。成像系统10还可以包括在任何合适的医疗程序期间使用的器械145，其中器械145经由控制器17以任何合适的方式(例如无线、有线等)耦合到探头28，其中器械145的位置可以通过本文所述的方法来确定。当医疗程序是神经阻滞程序时，器械145可以是经由控制器17通信地耦合到超声探头28的针导引组件82，其中控制器17可以被配置为当针导引组件82正在朝向目标解剖对象149(例如目标神经)移动以经由针45输送麻醉剂时定位针导引组件82。然而，应当理解的是，诸如手术刀、刀、腹腔镜或关节镜探头等的任何器械可以根据医学专业人员正在执行的程序使用来代替针导引组件82。

更具体地，如图所示，针导引组件82可以至少包括针45和导管83。因此，应该理解，针导引组件82的针45以及导管83可以以任何特定顺序或同时地穿过皮肤81插入患者80。例如，在一个实施例中，超声成像系统10可以包括针上(over-the-needle,otn)导管组件，其中导管83同轴地安装在针45上。可替换地，针45可以安装在导管83上。在这样的实施例中，针45可以用作导引器，以使得其将导管83放置在目标神经49处并且随后被移除。

现在参考图6-14，示出了用于对包含在从由成像系统10生成的多个实时二维图像46获取的多个场景12内的解剖对象进行自动检测、识别和标测以向用户提供指示的方法100的一个实施例的示意图(图6-9)和流程图(图10)，如同来自用户显示器20的屏幕截图(图11-14)的各种实施例一样，示出了包含当使用超声成像系统时从多个实时二维图像46中的一个生成的场景12的图像14。在某些实施例中，如本文所述的感兴趣的目标解剖对象30和周围的另外的解剖对象32可以包括患者的任何解剖结构和/或解剖结构的周围组织。更具体地，如图11-14所示的实施例所示，当要完成神经阻滞程序时，并且具体地当神经阻滞程序是肌间沟神经阻滞时，可以被检测、识别和标测的感兴趣的解剖对象30可以是患者的肌间沟臂丛(bp)34，其通常对应于由下部四个颈神经的前部支架和第一胸神经形成的从脊柱延伸的神经网络。因此，臂丛34穿过颈部的颈腋管，越过第一肋，并进入腋窝(即腋窝区域)，在那里它支配上肢和一些颈部和肩部肌肉。此外，臂丛34的周围的另外的解剖对象32(例如组织)通常对应于胸锁乳突肌(sm)36、中斜角肌(mcm)38、前斜角肌(asm)40、和/或类似物。这样的解剖对象30和32的视野或场景12对于医生来说通常难以实时导航以便将麻醉剂施加到正确的目标神经。因此，本公开的系统和方法提供了用于检测、识别和标测在图像14中捕获的各种场景12中的感兴趣的目标解剖对象30的改进的方法，以使得麻醉剂可以被快速且准确地输送以阻挡与感兴趣的目标解剖对象30相关联的神经，由此向用户提供指示以围绕周围的另外的解剖对象32、标志、组织等进行导航。

然而，应当理解的是，本公开的系统和方法还可以用于涉及除了与臂丛34相关的那些之外的任何解剖结构的任何种类的医疗程序。例如，感兴趣的目标解剖对象30和周围的另外的解剖对象32或组织可以来自上面关于图1中描述的神经阻滞讨论的任何解剖区域或来自将要围绕其执行医疗程序的任何其他解剖区域。此外，如图11和12所示，由成像系统10生成的图像14可以包括来自感兴趣的目标解剖对象30周围的解剖区域的场景12以及与其相邻定位的可选任务栏15。另外，任务栏15可以包括其他合适的控制特征，诸如打开、开始和停止按钮以及日期和时间。在可替换实施例中，任务栏15可以被省略。还应该理解，图像14还可以包括任何其他合适的控制和/或显示特征，并且可以经由用户界面22或经由触摸屏能力来控制。

特别地参考图6-9，本发明的方法涉及使用本公开的系统生成从感兴趣的解剖对象(例如，目标神经)30周围的解剖区域收集的多个实时二维切片图像46a、46b、46c、46d、46e、46f、46g、46h、46i和46j。另外，如图7所示，可以预先获得包含多个二维切片图像84a、84b、84c、84d、84e、84f、84g、84h、84i、84j的数据集84，其中数据集84用于训练深度学习网络，其中深度学习网络用于检测和识别/标记来自目标解剖对象周围的解剖区域的场景，然后基于图6的实时二维超声图像46a-j中包含的解剖区域中的每个所识别场景的相对空间位置和相对时间位置来标测来自目标解剖对象周围的解剖区域的多个实时二维图像中的每一个。然后，现在参考图8，在框48处，实时二维超声图像46的场景内包含的目标解剖对象30或149以及另外的解剖对象32和其它标志/组织(未示出)可以自动地被检测、识别和跟踪，随后在框50处利用已经被图像的数据集84训练的深度学习网络进行标测和继续跟踪，以便在由医学专业人员执行的任何医疗程序期间提供连续的导航跟踪。应该理解的是，尽管在图6中生成了十个实时二维图像46a-46j，并且十个图像84a-84j用于形成图7的训练数据集，但应该理解的是，根据正在执行医疗程序的特定目标解剖对象周围的感兴趣的解剖区域的大小和复杂性，可以获得任何数量的实时二维图像46和/或数据集84中的图像。例如，可以使用不同场景的高达100,000、诸如在约5与50,000之间、诸如在约10与约10,000之间、或者任何其他合适数量的图像。在框50处经由深度学习网络基于在解剖区域中的每个所识别的场景的相对空间和时间位置已经映射了实时二维图像46之后，在框51处，所产生的标测位置可以用于为用户提供指示/连续导航跟踪以在医疗程序(例如，神经阻滞的输送)期间定位感兴趣的目标解剖对象(例如，目标神经)。

参考图9，连续导航跟踪可以基于递归卷积神经网络90的使用。递归卷积神经网络90可以在时间跨度88上处理实时图像46，并且可以识别来自图像46的所识别场景中存在的主要标志，其可以以文本、语音、数字等的形式输出至导航系统94。使用递归卷积神经网络90可以确保先前处理的帧的历史(诸如图像的数据集84)被存储，以使得可以提取视频/图像的时间相关性以用于更精确的检测和跟踪。如图9所示，跟踪系统的输出92可以是文本、音频/语音、或分配的标签和数字的形式。导航系统94然后接收来自跟踪系统的输出92以便确定导航系统知道探头、器械等的当前位置。基于目标解剖对象149以及探头28和/或器械145的当前位置，导航系统94可以使用预先编程的标志的查找表96来计算朝向目标解剖对象149的正确路径。然后，导航系统94将向用户提供向导和指示98，诸如移动成像探头28和/或器械145向右、向左、向上和向下以及改变角度。这样的指示98可以以叠加在用户显示器上的文本或箭头的形式提供，或者可以以音频/语音的形式提供。

接下来，具体参考图10，如在102处所示，方法100一般包括选择感兴趣的目标解剖对象(例如，目标神经)周围的解剖区域。然后，如在104处所示，方法100包括生成来自感兴趣的目标解剖对象周围的解剖区域的场景12的多个实时二维图像46，并将多个实时二维图像12提供至控制器17。

如在106处所示，方法100还包括使用从多个患者接收到的二维图像的数据集84来开发和训练深度学习网络，以自动检测和识别来自实时二维超声图像46中包含的目标解剖对象周围的解剖区域(例如，另外的解剖对象、标志、周围组织等)的场景12，其中通过针对多个患者中的每一个扫描和采集来自感兴趣的目标解剖对象周围的解剖区域的多个图像的场景来生成图像的数据集84。这样，来自每个患者的多个实时二维图像46中包含的每个场景12的目标解剖对象、另外的解剖对象、标志、周围组织或其组合可以被标记或注释以形成多个图像14。更具体地，在某些实施例中，深度学习网络可以包括一个或多个深度卷积神经网络(cnn)、一个或多个递归神经网络或任何其他合适的神经网络配置。在机器学习中，深度卷积神经网络通常指的是一种前馈人工神经网络，其中它的神经元之间的连接模式受到动物视觉皮层的组织的激发，其各个神经元以它们响应于平铺视野的重叠区域的方式被布置。相反，递归神经网络(rnn)通常是指一类人工神经网络，其中单元之间的连接形成有向循环。这种连接创建了网络的内部状态，允许网络表现出动态的时间行为。与前馈神经网络(诸如卷积神经网络)不同，rnn可以使用其内部存储器来处理任意输入序列。因此，rnn可以提取图像帧之间的相关性，以便更好地实时识别和跟踪解剖对象。

在某些实施例中，控制器17可以使用参考标准数据(groundtruthdata)来训练和/或开发深度神经网络，以自动检测和识别包含目标解剖对象30或149、标志42、和/或另外的解剖对象(例如，组织)32的实时二维图像46的场景12。例如，在特定实施例中，控制器17可以被配置为初始地训练深度神经网络以自动检测和识别包含(一个或多个)目标解剖对象30或149、另外的解剖对象32、标志42等的场景12。更具体地，在某些实施例中，初始训练可以在控制器17离线时完成。在另一实施例中，控制器17可以被配置成在线连续地训练深度神经网络以在初始训练完成之后自动检测包含目标解剖对象30或149、另外的解剖对象32、标志42等的场景12。

更具体地，在特定实施例中，控制器17可以被配置用于在线学习，以从场中新捕获的数据连续训练深度神经网络，以通过扫描和采集来自多个患者的目标解剖对象30或149、另外的解剖对象32、标志42等的图像84的数据集来自动检测场景12中存在的目标解剖对象30或149、另外的解剖对象32、标志42等。例如，在某些实施例中，可以从多个患者扫描并采集数百和/或数千个图像，并经由存储器装置18存储在图像84的数据集中。另外，在存储之前，图像84的数据集可以基于用户输入进行注释以创建参考标准数据。例如，在某些实施例中，医生可以基于专家知识来注释和人工识别图像84的数据集以帮助深度学习网络检测和识别数据集的每个图像中的目标解剖对象30、附加解剖对象32、标志42等。这样，本文所述的参考标准数据通常是指通过现场专家的直接观察提供的信息，而不是由推论提供的信息。因此，本公开的深度学习网络被配置为在操作期间模仿人类的大脑。

在特定实施例中，图像84的数据集然后可以被分成多个组。例如，在一个实施例中，参考标准数据可以被分成包括训练数据集和验证数据集的至少两个组。如此，在特定实施例中，控制器17被配置成利用训练数据集来训练参数空间深度神经网络。更具体地，在某些实施例中，控制器17可以被配置为优化成本函数以最小化深度神经网络的输出和参考标准数据之间的误差。例如，在一个实施例中，优化成本函数以最小化误差的步骤可以包括利用诸如随机梯度下降(sgd)算法的随机近似，其迭代地处理参考标准数据的部分并且基于深度神经网络的输出与参考标准数据之间的误差来调整深度神经网络的一个或多个参数。如本文所使用的，随机梯度下降通常指用于最小化被写为可微函数之和的目标函数的梯度下降优化方法的随机近似。更具体地，在一个实施例中，控制器17可以被配置为实施监督式学习，以使深度神经网络的输出和参考标准数据之间的误差最小化。如本文所使用的，“监督式学习”通常是指从标记的训练数据推断函数的机器学习任务。

然而，应该理解，成本函数可以用不同的方式定义，例如均方误差、骰子系数、分类交叉熵等，并且可以使用各种方法来优化，包括sgd及其变形，例如adam、adadelta、nestrov等。在另外的实施例中，处理器16可以实现进一步的深度学习技术，诸如强化学习以训练计算机代理以检测医学图像中的解剖对象，无监督学习以预训练神经网络和使用未标记的数据的集群对象，和/或本领域现在已知或以后开发的任何其他技术。这样的方法可能需要较少的训练数据和/或依靠奖励/惩罚功能，以使得系统不需要被具体地提供标记的数据。

在另一个实施例中，方法100还可以包括在优化成本函数之后，实时利用深度学习网络来自动地提供关于验证数据以及新捕获的数据的预测。因此，在这样的实施例中，控制器17可以被配置为将预测与参考标准数据进行比较以确保深度神经网络能够推广。换句话说，控制器17可以被配置为确保深度神经网络可以为落在训练数据之外的情况提供准确的预测。

仍然参考图10，如在108处所示，方法100还包括基于解剖区域中的每个所识别场景的相对空间位置和相对时间位置来自动地标测来自感兴趣的目标解剖对象周围的解剖区域的多个实时二维超声图像46中的每一个。标测可以基于来自跟踪系统的所识别的场景和被编程到系统中的查找表，如以上关于图9所讨论的。

仍然参考图10，如在110处所示，该方法还包括基于在多个实时二维图像46中识别的每个场景的相对空间位置和相对时间位置向用户(例如医学专业人员)提供指示来在医疗程序(例如，经由图5中示出的针45的神经阻滞的输送)期间定位感兴趣的目标解剖对象(例如，目标神经)。可以在用户朝着目标解剖对象149(例如，图2中的目标神经49)移动器械145(例如，图2中的针45)时，在成像系统10的用户显示器20上以注释的形式向用户提供指示，其中，探头28同时扫描感兴趣的解剖区域，并且成像系统10同时生成多个实时二维图像46。还应该理解的是，可以以音频指令的形式单独地或者与成像系统10的用户显示器20上存在的带注释的指示结合来提供指示。当医学专业人员/用户扫描目标解剖对象30或149附近的区域时，其当前位置可以使用图9中所述的递归卷积神经网络(跟踪系统)来识别，并且可以通过图9的导航系统94来计算到达目标解剖对象30或149的路径(参见图5)。基于路径，将以箭头、文本或音频/语音的形式给出指示，以指示医学专业人员/用户将探针28和/或器械145移动到当前位置的右侧、左侧、顶部、底部等，以及相对于表面(患者的皮肤81)改变探头角度或器械角度，以使得可以精确定位目标解剖对象30或149以用于医疗程序(例如，神经阻滞)的成像或执行。

现在转到图11-14，当医疗程序是神经阻滞并且成像系统是超声成像系统时，示出了从实时超声图像46获得的各种图像14，其中控制器17被配置为标记图像14上的解剖对象30、标志42、和/或周围的组织32。更具体地，在某些实施例中，控制器17可以被配置成绘制出图像14上的目标解剖对象30、另外的解剖对象32等的轮廓。例如，如在图11和图12中所示，臂丛34(即，目标解剖结构对象30)利用具有第一厚度或图案的边界绘制轮廓。另外，如图所示，各种周围的另外的解剖对象/组织32可以用具有不同于用于绘制臂丛34的轮廓的第一厚度或图案的第二厚度的边界来绘制轮廓。这样，用户可以容易地从解剖区域中的另外的解剖对象/组织32识别和区分感兴趣的目标解剖对象30。

在其他实施例中，控制器17可以被配置成在实时二维超声图像46上的目标解剖对象30和/或周围的另外的解剖对象/组织32顶上覆盖描述性标签，以获得各种注释图像14。例如，如图11所示，周围的解剖对象/组织32可被编号并被标记为标志42(例如在图像14的右侧)以便由医生容易地识别。可替换地，如图12所示，周围的解剖对象/组织32可以通过线的类型被识别和区分，并被标识为特别示出患者身体内的位置的标志42。在又一个实施例中，如图13所示，周围的解剖对象/组织32可以使用描述性医学名称来加阴影和标记。在又一实施例中，如图13所示，还可以进一步限定和/或分割目标解剖对象30。这样，在臂丛34的情况下，用户可以在神经阻滞程序期间容易地识别不同的神经或神经束。

在另外的实施例中，如图11-14所示，控制器17还可以被配置成确定目标解剖对象30和/或周围解剖对象/组织32的置信度44。例如，如图11和图12所示，臂丛34的位置的置信度44位于图像14的任务条15上。可替换地，如图13和图14所示，臂丛34的位置的置信度44可位于图像14的所识别的场景12内，例如，靠近目标解剖对象30。

本书面描述使用示例来公开本发明，包括最佳模式，并且还使得本领域技术人员能够实践本发明，包括制造和使用任何装置或系统以及执行任何合并的方法。本发明的可专利范围由权利要求限定，并且可以包括本领域技术人员想到的其他示例。如果这样的其他示例包括不与权利要求的字面语言不同的结构要素，或者如果它们包括与权利要求的字面语言无实质区别的等同结构要素，则这些其它示例意图在权利要求的范围内。

权利要求书(按照条约第19条的修改)

1.一种用于经由医学成像系统在医疗程序期间为用户提供导航指示以定位目标解剖对象的方法，其中，所述方法是计算机实现的，所述方法包括：

选择所述目标解剖对象周围的解剖区域；

生成来自所述目标解剖对象周围的解剖区域的场景的多个实时二维图像并将所述多个实时二维图像提供给控制器；

开发和训练深度学习网络以自动检测和识别来自所述目标解剖对象周围的解剖区域的场景，其中，所述深度学习网络包括前馈神经网络、递归神经网络、或其组合；

经由所述深度学习网络基于在所述解剖区域中的每个所识别的场景的相对空间位置和相对时间位置，自动地标测来自所述目标解剖对象周围的解剖区域的所述多个实时二维图像中的每一个；以及

基于每个所识别的场景的相对空间位置和相对时间位置来向所述用户提供指示，以在所述医疗程序期间定位所述目标解剖对象。

2.根据权利要求1所述的方法，其中，所述医疗程序是神经阻滞，其中所述目标解剖对象是目标神经。

3.根据权利要求2所述的方法，其中，所述神经阻滞包括肌间沟神经阻滞、锁骨上神经阻滞、锁骨下神经阻滞、腋窝神经阻滞、股神经阻滞、坐骨神经阻滞、收肌管神经阻滞、腿弯部神经阻滞、隐神经阻滞、髂筋膜神经阻滞、胸腰椎旁神经阻滞、腹横肌平面(tap)神经阻滞、肋间神经阻滞、或胸椎旁神经阻滞。

4.根据权利要求1所述的方法，其中，所述深度学习网络包括卷积神经网络。

5.根据权利要求1所述的方法，还包括经由参考标准数据来开发和训练所述深度学习网络以自动检测和识别来自所述目标解剖对象周围的解剖区域的场景。

6.根据权利要求5所述的方法，其中，开发和训练所述深度学习网络以自动检测和识别来自所述目标解剖对象周围的解剖区域的场景包括：

从多个患者中的每个患者扫描和采集来自所述目标解剖对象周围的解剖区域的场景的多个图像的数据集，

基于用户输入来注释所述图像的数据集以创建所述参考标准数据；

将所述图像的数据集和所述参考标准数据划分为训练数据集和验证数据集；以及

利用所述训练数据集来训练所述深度学习网络。

7.根据权利要求6所述的方法，其中，利用所述训练数据集来训练所述深度学习网络还包括优化成本函数以最小化所述深度学习网络的输出与所述参考标准数据之间的误差。

8.根据权利要求7所述的方法，其中优化所述成本函数以最小化所述误差还包括利用随机梯度下降(sgd)算法，其迭代地处理所述参考标准数据的部分，并且基于所述深度学习网络的输出与所述参考标准数据之间的误差来调整所述深度学习网络的一个或多个参数。

9.根据权利要求8所述的方法，还包括在优化所述成本函数之后，实时地利用所述深度学习网络来自动地提供对所述验证数据的预测并且将所述预测与所述参考标准数据进行比较。

10.根据权利要求6所述的方法，其中基于用户输入来注释所述图像的数据集以创建所述参考标准数据还包括人工识别和注释在所述数据集的每个图像中的所述目标解剖对象、另外的解剖对象、标志、组织或其组合。

11.根据权利要求1所述的方法，还包括初始训练所述深度学习网络以离线地自动检测和识别来自所述目标解剖对象周围的解剖区域的场景。

12.根据权利要求1所述的方法，还包括连续训练所述深度学习网络以在线地自动检测和识别来自所述目标解剖对象周围的解剖区域的场景。

13.根据权利要求1所述的方法，其中当探头扫描感兴趣的解剖区域时，经由所述成像系统的用户显示器以注解的形式向所述用户提供所述指示，其中所述成像系统同时生成所述多个实时二维图像。

14.根据权利要求1所述的方法，其中当探头扫描感兴趣的解剖区域时，以音频的形式向所述用户提供指示，其中所述成像系统同时生成所述多个实时二维图像。

15.根据权利要求1所述的方法，其中所述医学成像系统包括超声成像系统、计算机断层扫描(ct)成像系统、磁共振(mr)成像系统或荧光成像系统。

16.一种用于医疗程序中的医学成像系统，所述医学成像系统包括：

至少一个控制器，其被配置为执行一个或多个操作，所述一个或多个操作包括：

接收来自目标解剖对象周围的解剖区域的场景的多个实时二维图像；

开发和训练深度学习网络以自动检测和识别来自所述目标解剖对象周围的解剖区域的场景，其中，所述深度学习网络包括前馈神经网络、递归神经网络、或其组合；

经由所述深度学习网络基于在所述解剖区域中的每个所识别的场景的相对空间位置和相对时间位置，自动地标测来自所述目标解剖对象周围的解剖区域的所述多个实时二维图像中的每一个；以及

基于每个所识别的场景的相对空间位置和相对时间位置向用户提供指示以在所述医疗程序期间定位所述目标解剖对象；以及

用户显示器，其被配置为向用户显示所述多个实时二维图像。

17.根据权利要求16所述的医学成像系统，其中，所述医疗程序是神经阻滞，其中所述目标解剖对象是目标神经。

18.根据权利要求16所述的医学成像系统，其中，所述深度学习网络包括卷积神经网络。

19.根据权利要求16所述的医学成像系统，其中，开发和训练所述深度学习网络以自动检测和识别来自所述目标解剖对象周围的解剖区域的场景经由参考标准数据来完成。

20.根据权利要求19所述的医学成像系统，其中，开发和训练所述深度学习网络以自动检测和识别来自所述目标解剖对象周围的解剖区域的场景包括：

从多个患者中的每个患者扫描和采集来自所述目标解剖对象周围的解剖区域的场景的多个图像的数据集；

基于用户输入来注释所述图像的数据集以创建所述参考标准数据；

将所述图像的数据集和所述参考标准数据划分为训练数据集和验证数据集；以及

利用所述训练数据集来训练所述深度学习网络。

21.根据权利要求20所述的医学成像系统，其中，基于用户输入来注释所述图像的数据集以创建所述参考标准数据还包括人工识别和注释在所述数据集的每个图像中的所述目标解剖对象、另外的解剖对象、标志、组织或其组合。

22.根据权利要求16所述的医学成像系统，其中，所述控制器被配置为初始训练所述深度学习网络以离线地自动检测和识别来自所述目标解剖对象周围的解剖区域的场景。

23.根据权利要求16所述的医学成像系统，其中，所述控制器被配置为连续训练所述深度学习网络以在线地自动检测和识别来自所述目标解剖对象周围的解剖区域的场景。

24.根据权利要求16所述的医学成像系统，其中，当探头扫描感兴趣的解剖区域时，所述控制器经由所述用户显示器以注解的形式向所述用户提供所述指示，其中所述成像系统同时生成所述多个实时二维图像。

25.根据权利要求16所述的医学成像系统，其中，当探头扫描感兴趣的解剖区域时，所述控制器以音频形式向所述用户提供指示，其中所述成像系统同时生成所述多个实时二维图像。

26.根据权利要求16所述的医学成像系统，其中，所述医学成像系统包括超声成像系统、计算机断层扫描(ct)成像系统、磁共振(mr)成像系统或荧光成像系统。

27.根据权利要求16所述的医学成像系统，其中，所述医学成像系统被配置为要由其他医学成像系统安装和托管的软件包，其中所述医学成像系统能够接收来自主医学成像系统的图像并提供要由所述主医学成像系统部署的输出。

28.根据权利要求16所述的医学成像系统，其中，所述深度学习网络采用量化权重、二进制权重和其他压缩方法来减少存储器使用并加快执行时间，诸如当有限的计算能力可用时。

29.根据权利要求16所述的医学成像系统，其中所述医学成像系统采用变换、均衡和归一化技术以能够与具有不同设置、规格和图像质量的不同医学成像系统一起工作。