用于生成超声探头引导指令的系统和方法与流程

用于生成超声探头引导指令的系统和方法
1.相关申请的交叉引用
2.本技术要求于2020年8月26日提交的并且标题为“用于生成超声探头引导指令的系统和方法(systems and methods forgenerating ultrasonic probe guidance instructions)”的印度专利申请号202041036670的权益，该专利申请的内容全文以引用方式并入本文。
技术领域
3.本公开整体涉及用于生成用于训练人工智能工具以提供超声探头引导指令的三维环境的方法和超声成像系统。


背景技术：

4.超声成像系统用于采集数据，该数据可创建内部身体结构(诸如血管、肌腱、关节、肌肉和器官等等)的图像。超声成像系统可将具有任何合适频率的声波脉冲发送到患者的组织中，并且声波脉冲从具有不同反射特性的患者的组织回波。可检测和分析声波脉冲的反射以产生内部身体结构的图像。
5.当利用超声成像系统采集或获得声波脉冲数据时，可能存在使内部身体结构的区域不清晰或模糊的伪影。超声成像系统的超声探头可沿不同方向重新取向、倾斜或以其他方式移动，以采集具有最小伪影的内部身体结构或可能使内部身体结构不清晰的任何其他对象的清晰图像。用于向超声探头提供指令的技术能够在没有伪影或不清晰区域的情况下采集成像数据。


技术实现要素：

6.本发明内容介绍了在具体实施方式中更详细描述的概念。其不应当用于确定要求保护的主题的基本特征，也不应当用于限制要求保护的主题的范围。
7.在一个方面，一种用于超声成像的方法包括：采集一个或多个患者数据集的三维数据；以及基于在三维数据的多个体积之间所识别的一个或多个过渡区域来生成三维环境。该方法还可包括：至少部分地基于三维环境来生成探头引导指令集；使用超声探头采集患者的二维数据的第一帧；以及执行探头引导指令集以提供探头反馈以便至少采集患者的二维数据的第二帧。
8.在一些示例中，探头反馈可包括针对超声探头的所推荐的超声探头路径。在一些方面，生成探头引导集可包括使用机器学习技术至少基于从三维环境所采集的一个或多个模拟帧来确定代价函数。在一些示例中，超声探头包括三维超声探头或二维超声探头。
9.在一些方面，至少一个三维超声探头采集一个或多个患者数据集的三维数据，并且采集第一帧的超声探头是采集用于执行探头引导指令集的二维数据的二维超声探头。在一些示例中，该方法可包括从三维环境采集模拟帧。在一些方面，该方法可包括将扫描锥掩模施加到模拟帧以表示来自超声探头的输出。在一些示例中，该方法可包括基于超声探头
的非几何配置设置来增强模拟帧。在一些方面，超声探头的所推荐的超声探头路径可包括超声探头的方向、超声探头的后续扫描角度或它们的组合。
10.在一些示例中，三维数据的每个体积可包括来自患者的一个或多个区域的多普勒数据、来自患者的一个或多个区域的b模式数据或它们的组合。在一些方面，该方法可包括使用电耦合到超声探头的显示设备来显示所推荐的超声探头路径。在一些示例中，该方法可包括：使用用户界面显示实时图像；以及利用用户界面显示所推荐的超声探头路径。
11.在一个方面，超声成像系统可包括：显示设备，该显示设备用于提供用户界面；超声探头；和处理器，该处理器用于采集一个或多个患者数据集的三维数据。处理器还可：基于在三维数据的多个体积之间所识别的一个或多个过渡区域来生成三维环境；至少部分地基于一个或多个过渡区域和三维数据的多个体积来生成探头引导指令集；以及使用超声探头采集患者的二维数据的第一帧。处理器还可：执行探头引导指令集以提供探头反馈以便控制超声探头来至少采集二维数据的第二帧；以及使用显示设备显示探头反馈。
12.在另一方面，一种用于超声成像的非暂态机器可读介质可包括多个指令，该多个指令响应于由处理器执行，使得处理器采集一个或多个患者数据集的三维数据。指令还可使处理器：基于在三维数据的多个体积之间所识别的一个或多个过渡区域来生成三维环境；至少部分地基于一个或多个过渡区域和三维数据的多个体积来生成探头引导指令集；以及使用超声探头采集患者的二维数据的第一帧。在一些示例中，指令可使处理器：执行探头引导指令集以提供探头反馈以便控制超声探头来至少采集二维数据的第二帧；以及使用显示设备显示探头反馈，其中探头反馈包括超声探头的所推荐的超声探头路径，该所推荐的超声探头路径包括超声探头的方向、超声探头的后续扫描角度或它们的组合。
13.应当理解，提供上面的简要描述来以简化的形式介绍在具体实施方式中进一步描述的精选概念。这并不意味着识别所要求保护的主题的关键或必要特征，该主题的范围由具体实施方式后的权利要求书唯一地限定。此外，所要求保护的主题不限于解决上文或本公开的任何部分中提到的任何缺点的实施方式。
附图说明
14.通过参考附图阅读以下对非限制性示例的描述将更好地理解本技术，其中如下：
15.图1是根据一个示例的超声成像系统的框图；
16.图2是根据一个示例的用于生成体积绘制图像的示意图；
17.图3是根据一个示例的用于生成探头引导指令的示例性方法的过程流程图；
18.图4是根据一个示例的三维环境的示例性体积的示意图；
19.图5示出了根据一个示例的用于生成具有体积的三维环境的示例性技术；
20.图6是根据一个示例的用于利用强化学习技术生成探头引导指令的示例性方法的过程流程图；
21.图7是根据一个示例的用于使用三维环境生成探头引导指令的示例性方法的过程流程图；并且
22.图8是根据一个示例的用于基于三维环境生成探头引导指令的非暂态机器可读介质的框图。
具体实施方式
23.现在将以举例的方式，参考图1至图8来描述本公开的实施方案，其中以下描述涉及诸如超声探头的医疗成像系统的各种示例。具体地，提供了用于基于来自超声探头的数据生成三维环境并生成人工智能指令以基于三维环境为超声探头的使用提供引导的系统和方法。可生成、训练或以其他方式发起人工智能指令以便为超声探头的使用提供引导以避免伪影，并且沿优选路径采集数据以用于沿着预期解剖扫描平面引导超声探头。如本文所提及的伪影可包括使医学图像变得不清晰或模糊的任何金属物体、非金属物体、非请求器官等。图1和图2中提供了根据本技术可获得数据以生成三维环境并执行人工智能指令的医学成像系统(诸如超声探头)的示例。一种生成人工智能指令的方法(诸如图3所示的方法)可包括：基于超声数据生成三维环境；以及使用强化学习技术等等来识别在采集患者的一个或多个器官的超声数据时供超声探头使用的推荐路径。图4和图5示出了用于生成具有超声数据体积的三维环境的示例性技术。图6和图7示出了用于生成探头引导指令以至少部分地基于所生成的三维环境来为使用超声探头提供引导的示例性技术。图8提供了用于生成三维环境和探头引导指令的示例性非暂态机器可读介质。
24.利用人工智能指令生成探头引导指令以便为超声探头提供引导的技术效果可防止在患者感兴趣的区域的扫描范围内采集伪影，并且可防止采集不清晰、不清楚或模糊的区域。因此，本技术具有通过确保超声探头数据不包括伪影来缩短利用超声探头采集患者的扫描的时间段的技术优点。本技术还可通过在扫描期间为超声探头提供推荐路径来缩短超声探头的数据存储和处理时间。这可减少从意外或不期望的角度、取向等采集的超声数据的量。
25.在以下详细描述中，参考形成其一部分的附图，并且其中通过图示的方式示出了可实践的具体示例。足够详细地描述了这些示例以使得本领域技术人员能够实践示例，并且应当理解，可利用其他示例，并且可在不脱离示例的范围的情况下进行逻辑、机械、电气和其他改变。因此，以下具体实施方式不应视为限制本文中的示例的范围。
26.图1是根据一个示例的超声成像系统100的示意图。超声成像系统100包括发射波束形成器101和发射器102，该发射波束形成器和发射器驱动探头106内的元件104将脉冲超声信号发射到体内(未示出)。根据各种示例，探头106可为任何类型的探头，包括线性探头、弯曲阵列探头、1.25d阵列探头、1.5d阵列探头、1.75d阵列探头或2d阵列探头。根据其他示例，探头106也可为机械探头，诸如机械4d探头或混合探头。探头106可用于采集4d超声数据，该超声数据包含关于体积随时间推移如何改变的信息。每个体积可包括多个2d图像或切片。仍参见图1，脉冲超声信号从体内结构如血细胞或肌肉组织反向散射，以产生返回到元件104的回波。回波被元件104转换成电信号或超声数据，并且电信号被接收器108接收。表示所接收的回波的电信号穿过输出超声数据的接收波束形成器110。根据一些示例，探头106可包含电子电路来执行发射波束形成和/或接收波束形成的全部或部分。例如，发射波束形成器101、发射器102、接收器108和接收波束形成器110的全部或部分可位于探头106内。在本公开中，术语“扫描”或“扫描中”可也用于指通过传输和接收超声信号的过程来采集数据。本公开中，术语“数据”和“超声数据”可用于指用超声成像系统采集的一个或多个数据集。用户界面115可用于控制超声成像系统100的操作。用户界面115可用于控制患者数据的输入，或用于选择各种模式、操作和参数等。用户界面115可包括一个或多个用户输入
设备，诸如键盘、硬键、触控板、触摸屏、轨迹球、旋转控件、滑块、软键或任何其他用户输入设备。用户界面与处理器116进行电子通信。
27.超声成像系统100还包括处理器116，该处理器用以控制发射波束形成器101、发射器102、接收器108和接收波束形成器110。接收波束形成器110可以是根据各种示例的常规硬件波束形成器或软件波束形成器。如果接收波束形成器110是软件波束形成器，则其可包括以下部件中的一者或多者：图形处理单元(gpu)、微处理器、中央处理单元(cpu)、数字信号处理器(dsp)，或能够执行逻辑运算的任何其他类型的处理器。波束形成器110可被配置为执行常规波束形成技术以及诸如回溯发射波束形成(rtb)之类的技术。
28.处理器116与超声探头106、接收器108、接收波束形成器110、发射波束形成器101和发射器102进行电子通信。处理器116可控制探头106采集超声数据。处理器116控制元件104中的哪些是活动的以及从探头106发射的波束的形状。处理器116还与显示设备118进行电子通信，并且处理器116可将超声数据处理成图像以显示在显示设备118上。出于本公开的目的，术语“电子通信”可被定义为包括有线连接和无线连接。根据一个示例，处理器116可包括中央处理单元(cpu)。根据其他示例，处理器116可包括能够执行处理功能的其他电子部件，诸如数字信号处理器、现场可编程门阵列(fpga)、图形处理单元(gpu)或任何其他类型的处理器。根据其他示例，处理器116可包括能够执行处理功能的多个电子部件。例如，处理器116可包括选自包括以下电子部件的列表中的两个或更多个电子部件：中央处理单元(cpu)、数字信号处理器(dsp)、现场可编程门阵列(fpga)和图形处理单元(gpu)。根据另一示例，处理器116还可包括解调rf数据并且生成原始数据的复合解调器(未示出)。在另一示例中，解调可在处理链中较早地执行。处理器116可适于根据数据上的多个可选超声模态来执行一个或多个处理操作。随着接收到回波信号，可以在扫描会话期间实时处理数据。出于本公开的目的，术语“实时”被定义为包括在不启用附加延时或延迟的情况下执行的过程。实时帧或体积速率可基于从其采集数据的区域或体积的尺寸和采集期间使用的具体参数而变化。数据可在扫描会话期间临时存储在缓冲器(未示出)中，并且在实时或离线操作中以不太实时的方式处理。一些示例可包括用于处理处理任务的多个处理器(未示出)。例如，可利用第一处理器来解调和抽取rf信号，而可使用第二处理器来在将数据作为图像显示之前进一步处理数据。应当理解，其他示例可使用不同的处理器布置方式。对于接收波束形成器110为软件波束形成器的示例，归因于上文的处理器116和软件波束形成器的处理功能可由单个处理器诸如接收波束形成器110或处理器116来执行。在一些示例中，归因于处理器116和软件波束形成器的处理功能可以不同方式在任意数量的单独处理部件之间分配。
29.根据一个示例，超声成像系统100可以例如10hz至30hz的帧速率连续采集超声数据。能够以类似帧速率刷新从数据生成的图像。其他示例可以不同速率获取并且显示数据。例如，一些示例可根据体积大小和预期应用，以小于10hz或大于30hz的帧速率采集超声数据。例如，许多应用涉及以50hz的帧速率采集超声数据。包括存储器120，用于存储经处理的采集数据的帧。在一个示例中，存储器120具有足够的容量以存储在长度为至少几秒的时间段内采集的超声数据的帧。数据帧的存储方式便于根据其采集顺序或时间进行检索。存储器120可包括任何已知的数据存储介质。
30.在一些示例中，可在使用造影剂时采集、接收或以其他方式获得超声数据。当使用
包括微泡在内的超声造影剂时，造影成像生成体内解剖结构和血流的增强图像。在使用造影剂获取数据之后，图像分析包括分离谐波分量和线性分量、增强谐波分量以及通过利用增强的谐波分量生成超声图像。使用任何合适的滤波器来执行从所接收信号中分离谐波分量。
31.在各种示例中，处理器116可通过其他或不同模式相关模块(例如，b模式、彩色多普勒、m模式、彩色m模式、频谱多普勒、弹性成像、tvi、应变、应变速率等)来处理数据，以形成2d或3d数据。例如，一个或多个模块可生成b模式、彩色多普勒、m模式、彩色m模式、频谱多普勒、弹性成像、tvi、应变、应变速率以及它们的组合等。存储图像光束和/或帧，并且可记录指示在存储器中采集数据的时间的定时信息。这些模块可包括例如扫描转换模块，用于执行扫描转换操作，以将图像帧从波束空间坐标转换为显示空间坐标。可提供视频处理器模块，该视频处理器模块从存储器诸如存储器120读取图像帧，并且在对患者进行手术时实时显示图像帧。视频处理器模块可将图像帧存储在图像存储器中，从该图像存储器读取和显示图像。
32.在一些示例中，处理器116可电耦合到通信接口122，该通信接口可向计算设备126的通信接口124发射数据和从该通信接口接收数据。在一些示例中，计算设备126可使用任何合适的协议(诸如任何有线或无线数据传输协议)与超声成像系统100通信。计算设备126可包括存储器128，该存储器可存储与本文所述的超声成像技术相关的数据和应用程序。例如，存储器128可包括3d环境创建器130，该3d环境创建器可使处理器131从超声成像系统100采集超声数据的体积并构建或生成三维环境。在一些示例中，3d环境创建器130可包括基于来自任意数量的患者的超声数据的体积来创建3d环境的指令。下面相对于图4和图5更详细地描述3d环境的生成。
33.计算设备126的存储器128还可包括人工智能管理器132，该人工智能管理器可包括使处理器131训练、配置或以其他方式发起为超声探头提供引导的人工智能指令集的指令。例如，人工智能指令可识别超声探头的位置、取向、倾斜等，并且提供引导(诸如方向、旋转、取向或倾斜)以应用于超声探头。人工智能指令可提供建议的动作或指导序列，以使得能够采集针对患者的预定器官或区域的推荐超声探头路径。下面相对于图6和图7更详细地描述用于生成人工智能指令的技术。
34.在一些示例中，3d环境创建器120和人工智能管理器132可部分地或完全地在超声成像系统100、计算设备126或它们的任何组合的硬件中实现。例如，3d环境创建器120和人工智能管理器132的功能可用专用集成电路、在嵌入式控制器中实现的逻辑件或在处理器中实现的逻辑件等来实现。在一些示例中，3d环境创建器120和人工智能管理器132的功能可利用逻辑件来实现，其中如本文所提及的逻辑件包含任何合适的硬件(例如，处理器、图形卡等)、软件(例如，应用程序、操作系统等)、固件或硬件、软件和固件的任何合适的组合。
35.各种方法和过程(诸如以下参考图3描述的方法)可作为可执行指令存储在超声成像系统100中的计算设备126(或控制器)上的非暂态存储器中。在一个实施方案中，3d环境创建器120和人工智能管理器132可在非暂态存储器中包含此类可执行指令，并且可应用本文所述的方法。在另一实施方案中，计算设备126可包括非暂态存储器中的指令，并且可应用本文所述的方法。在又一实施方案中，本文所述的方法和过程可分布在成像系统100和计算设备126上。
36.图2是根据一个示例的可用于生成体积绘制的几何形状的示意图。图2包括3d医疗成像数据集150和视平面154。
37.参考图1和图2两者，处理器116可根据多种不同的技术生成体积绘制图像。根据一个示例，处理器116可通过光线投射技术或任何其他合适的技术从视平面154生成体积绘制图像。例如，处理器116可将多条平行光线从视平面154投射或应用至3d医疗成像数据集150或穿过3d医疗成像数据集。图2示出了界定视平面154的第一光线156、第二光线158、第三光线160和第四光线162。应当理解，可投射附加光线以便将值分配给视平面154内的所有像素163。3d医疗成像数据集150可包括体素数据，其中体素或体积元素被分配值或强度。另外，也可为每个体素分配不透明度。可根据一些示例，将值或强度映射至颜色。处理器116可使用用于体积组成的“从前至后”或“从后至前”技术，以便将值分配给视平面154中与光线相交的每个像素。例如，从前面开始，即从查看图像的方向，可对沿着对应光线的所有体素的强度求和。然后，任选地，可将强度乘以对应于沿着光线的体素的不透明度的不透明度，以生成不透明度加权值。然后沿着每条光线在从前至后或从后至前的方向上累积这些不透明度加权值。对视平面154中的每个像素163重复累积值的过程，以便生成体积绘制图像。根据一个示例，来自视平面154的像素值可被显示为体积绘制图像。用于生成体积绘制图像的绘制算法可另外被配置为使用不透明度函数，该不透明度函数提供不透明度从零(完全透明)至1.0(完全不透明)的逐渐过渡。当将值分配给视平面154中的像素163中的每一个时，绘制算法可考虑沿着每条光线的体素的不透明度。例如，不透明度接近1.0的体素将阻挡进一步沿着光线的体素的大部分贡献，而不透明度更接近零的体素将允许进一步沿着光线的体素的大部分贡献。另外，当使表面可视化时，可执行阈值处理操作，其中体素的不透明度基于值重新分配。根据示例性阈值处理操作，可将值高于阈值的体素的不透明度设置为1.0，而可将值低于阈值的体素的不透明度设置为零。还可使用其他类型的阈值处理方案。不透明度函数可用于将除零和1.0之外的不透明度分配给值接近于过渡区中的阈值的的体素。该过渡区可用于减少在使用简单的二元阈值处理算法时可能发生的伪影。例如，将不透明度映射至值的线性函数可用于将不透明度分配给具有过渡区中的值的体素。还可使用从零进展至1.0的其他类型的函数。还可使用除上述体积绘制技术之外的体积绘制技术以便从3d医疗成像数据集生成体积绘制。
38.可对体积绘制图像加阴影并照亮，以便用户更好地感知在体积绘制图像中表示的绘制对象的深度。根据各种示例，这可以若干种不同的方式来执行。例如，可基于3d医疗成像数据集的体积绘制来限定体积绘制图像中的绘制对象的表面。根据一个示例，可在每个像素处计算梯度。处理器116(图1中所示)可计算对应于每个像素的位置处的光量，并且基于梯度和特定光方向应用标准阴影处理方法。查看方向可对应于图2中所示的查看方向。处理器116还可在生成体积绘制图像时使用多个虚拟光源作为输入。例如，当光线投射时，处理器116可计算沿着每条光线在特定查看方向上从每个体素反射、散射或透射的光的量。这可涉及对来自多个虚拟光源的贡献求和。处理器116可计算来自体积中所有体素的贡献。处理器116可计算来自所有体素的合成值或来自相邻体素的内插值，以便计算图像上显示的像素的最终值。虽然前述示例描述了沿着光线积分体素值的具体实施，但还可根据其他技术(诸如使用沿着每条光线的最高值、使用沿着每条光线的最低值、使用沿着每条光线的平均值或使用任何其他体积绘制技术)计算体积绘制图像。
39.图3是用于生成探头引导指令的示例性方法的过程流程图。方法300可用任何合适的设备来实现。在一些示例中，方法300可用任何合适的设备诸如超声成像系统100或计算设备126等等来实现。
40.在框302处，方法300可包括采集一个或多个患者数据集的三维图像。在一些示例中，三维图像可包括3d数据，诸如b模式、彩色多普勒、m模式、彩色m模式、频谱多普勒、弹性成像、tvi、应变、应变速率等。可从患者数据集中的任意数量的患者采集、收集或获得三维数据。例如，三维数据可包括来自应用于任意数量的患者的超声探头的数据。在一些示例中，三维数据还可包括每个患者的任意数量的体积。例如，三维数据可包括来自患者腹部的数据的一个或多个体积、来自患者胸部的一个或多个体积等。每个体积可表示从患者的区域所收集的超声数据。在一些示例中，当超声旋转、重新取向或移动时，超声探头可获得后续体积。
41.在一些示例中，三维数据对应于由协议指定的一个或多个内部身体结构，诸如血管、肌腱、关节、肌肉和器官等。协议可包括采集三维数据的起点或位置、停止采集三维数据的终点等。在一些示例中，三维数据可表示胎儿、胆囊、肝脏、肾、肺、心脏或大脑等。
42.在框304处，方法300可包括基于在三维数据的多个体积之间所识别的一个或多个过渡区域来生成三维环境。如本文所提及的，每个过渡区域可指示两个数据体积之间的边界区域、与两个体积之间的边界区域相邻的非边界区域或它们的组合。例如，每个过渡区域可指示从超声探头所收集或获得的数据集之间的边界。每个体积可表示用超声探头采集的预定数据范围。例如，体积可表示来自由超声探头所采集的感兴趣区的任何合适范围或区域的数据。可沿着矢状扫描平面、横向扫描平面或冠状扫描平面等等采集体积。过渡区域可表示沿任何合适的方向(诸如前方向、后方向、外侧方向、内侧方向、上方向或下方向等等)的体积或采集之间的边界。在一些示例中，可在患者数据集内对患者的任意数量的体积进行归一化。例如，可通过在体积重叠的区域中匹配图像强度来对从患者获得的体积进行归一化。也可使用下文相对于图5所述的任何合适的技术来执行体积归一化。
43.在一些示例中，可基于利用超声探头的徒手数据收集来生成或确定三维环境，这涉及倾斜超声探头并捕获超声图像系列以及记录每个切片的换能器取向。也可以机械方式采集三维环境，其中内部线性阵列通过超声探头内的马达来倾斜、管理或控制。例如，内部线性超声探头倾斜可沿任何合适的方向扫掠以采集三维超声数据。在一些示例中，使用矩阵阵列换能器生成三维环境，该矩阵阵列换能器使用波束控制来对整个棱锥形体积中的点进行采样。
44.可使用基于强度、分割或界标点等等的任何合适的技术将体积组合或缝合在一起，如下文相对于图4和图5更详细地描述。
45.在框306处，方法300可包括至少部分地基于一个或多个过渡区域和三维数据的多个体积来生成探头引导指令集。在一些示例中，探头引导指令可指示超声探头是否要沿特定方向(诸如向左、向右或中心)移动，以获得或采集后续二维数据体积。探头引导指令集可指示超声波探头在协议内移动的预定路径。例如，探头引导指令集可指示用于针对器官的特定协议或扫描采集超声成像数据的方向、扫描角度、位置等。一旦生成探头引导指令集，超声探头就被初始化并且可由患者实时使用。
46.在一些示例中，方法300可包括使用任何合适的人工智能技术生成探头引导指令
集。例如，强化学习可用于初始化或校准指示超声波探头在采集二维数据时要沿循的推荐路径的代价函数。在一些示例中，强化学习技术可将三维环境的每个体积分成一组二维切片。基于开始的二维切片，强化学习技术然后可从三维环境的后续体积中识别后续二维切片，该后续二维切片不包括使要针对内部身体结构采集的数据不清晰的伪影或其他对象。强化学习技术可对具有伪影的二维切片返回惩罚，或对不具有伪影的二维切片返回奖励。初始化的强化学习技术可实时指示要从超声探头采集的后续数据体积，并且返回用于移动超声探头以收集后续体积的指令，如下面更详细地描述的。
47.在框308处，方法300可包括使用超声探头采集患者的二维数据的第一帧。例如，方法300可包括基于预先确定的协议检测要用超声探头扫描的患者。如上面所讨论的，该协议可指示超声探头的起点和超声探头的终点，以及其他信息。超声探头可行进任何合适的距离以采集患者的二维数据的第一帧。第一帧可包括表示患者的任何合适器官或任何其他感兴趣区域的一部分的成像数据。
48.在框310处，方法300可包括执行探头引导指令集以提供探头反馈以便至少采集第二体积的二维数据。在一些示例中，探头反馈可向控制超声探头的用户提供引导，以使用户能够捕获或采集协议的一个或多个器官或其他内部身体结构的预期扫描平面。预期扫描平面可排除伪影，并且可确保以预期的角度、位置等从患者采集超声二维数据。在一些示例中，探头引导指令可包括超声探头沿循以采集预期扫描平面的动作序列。例如，探头引导指令可包括针对待采集的每个后续体积的不同方向、旋转、取向、倾斜等，直到到达用于采集超声数据的终点。在一些示例中，探头引导指令可指示要应用于超声探头的移动，以使得能够沿着预期的解剖扫描平面采集后续体积的二维数据。
49.在一些示例中，可经由在超声探头内或连接到超声探头的显示设备上显示的文本来提供探头引导指令。还可使用由显示设备显示的任意数量的指向箭头、指示超声探头的后续推荐路径的任何音频声音或视频等来提供探头引导指令。
50.图3的方法300的过程流程图并非旨在指示方法300的框302-310的所有操作将被包含在每个示例中。另外，图3的方法300的过程流程图描述了执行操作的可能顺序。然而，应当理解，方法300的操作可以各种顺序或序列来实现。此外，在一些示例中，方法300还可包含更少或附加的操作。
51.图4是用于创建三维环境的一组示例性体积的示意图。可使用软件和硬件的任何合适的组合(诸如由图1的超声成像系统100或计算设备126实现的3d环境创建器120等等)来创建三维环境400。
52.在一些示例中，可采集、接收或以其他方式获得任意数量的体积402、404、406和408。体积402、404、406和408可表示三维空间中患者的感兴趣区域，使得体积402、404、406和408可沿着x轴、y轴、z轴或它们的组合共享边界。例如，图4中的图示提供了体积402、404、406和408沿着x轴和y轴共享边界的示例。在一些示例中，体积402、404、406和408还可沿着z轴共享任意数量的边界。
53.在一些示例中，基于超声探头的高度、方位角或任何其他合适的数据的变化来确定体积之间的边界。任意数量的体积402、404、406和408可在三维笛卡尔空间中诸如沿着x轴、y轴和z轴组合。例如，可基于所采集的体积的深度、所采集的体积的宽度或所采集的体积沿着超声探头的扫描平面的长度将体积402、404、406和408组合以形成具有过渡区域的
三维环境。在一些示例中，过渡函数可定义任意数量的超声数据体积之间的过渡区域或边界。例如，过渡函数可被定义为v＝t(a
t
，a
t+1
，vi)，其中a表示动作，诸如超声探头的方向、旋转、取向或倾斜的改变，并且t表示超声探头的当前时间或位置，而vi表示超声数据的当前体积。
54.图5示出了用于确定体积之间的过渡区域的示例性技术。技术500可用任何合适的计算设备诸如图1的超声成像系统100或计算设备126等等来实现。
55.在一些示例中，从超声探头所采集的三维数据的两个或更多个体积502a和504a可接合以基于两个或更多个体积502a和504a的数据的强度形成三维环境。例如，可对表示两个相邻体积的数据应用差值运算，并且由差值运算计算出的最低值或最小值可指示两个体积之间的过渡区域。在一些示例中，对两个相邻体积的数据应用差值运算以模拟体积围绕任何合适的轴(诸如x轴、y轴或z轴)的旋转。用两个体积计算出的最低差值可表示两个体积之间的过渡区域或边界以及两个体积相对于彼此的预期取向。
56.在一些示例中，从超声探头所采集的三维数据的两个或更多个体积502b和504b可接合以基于两个或更多个体积502b和504b之间共享的分割来形成三维环境。例如，两个相邻体积的分割图之间的差值可用于识别旋转或平移等等。可使用基于根据密度或任何其他表征对体积中的组织进行分割的任何合适的差值操作来计算差值。
57.在一些示例中，从超声探头所采集的三维数据的两个或更多个体积502c和504c可接合以基于在两个或更多个体积502c和504c内所识别的界标点来形成三维环境。界标点可指示患者的任意数量的器官、肌肉、关节或其他感兴趣区域内的识别点。例如，可测量对应界标点之间的距离度量(诸如欧几里得距离等等)，并且最小化该距离度量的几何变换可被认为是两个相邻体积的预期取向或对准。
58.图6是用于生成探头引导指令的示例性框图的框图。框图600可用任何合适的计算设备诸如图1的超声成像系统100或计算设备126等等来实现。
59.在一些示例中，三维环境602可用于训练代理604。该代理604可以是任何合适的人工智能指令集，该人工智能指令集可识别超声波探头要沿循的路径，以采集由协议识别的一个或多个器官或任何其他合适的内部身体结构的二维数据。在一些示例中，代理604可访问、生成或以其他方式检测606来自三维环境602的二维数据或切片。在一些示例中，可排除不表示可用二维超声探头采集的数据的二维切片的二维数据或数据切片。可使用二维切片来模拟608超声探头的状态和动作以识别或确定超声探头要沿循的路径，以防止采集二维数据中的伪影。该动作可包括超声探头的取向的改变、超声探头的倾斜或超声探头在三维空间中的位置的改变等等。
60.可将模拟动作和模拟超声探头的状态提供610给任何合适的人工智能软件或模型，以识别超声探头在采集二维数据时要使用的一组推荐动作。在一些示例中，人工智能软件或模型可使用神经网络、随机森林模型、深度学习技术或强化学习技术等等。例如，人工智能软件可初始化代价函数，并且基于在模拟超声探头从三维环境的二维切片采集数据时所识别的奖励和惩罚来优化612代价函数。在一些示例中，可将任意数量的点的奖励分配给从无伪影、不清楚区域等等的后续三维环境体积获得的二维数据切片。奖励还可为来自三维环境、第二模拟帧或从先前二维图像的体积所采集的后续二维图像的预期后续体积的选择分配任意数量的点。在一些示例中，惩罚可以是表示从三维环境中所选择的意外体积或
来自三维环境的包括一个或多个伪影、不清楚区域、障碍物等的体积中的二维切片的选择的任意数量的点。在一些示例中，奖励和惩罚可基于从三维环境产生模拟二维图像，其中二维图像沿着预期的解剖扫描平面。
61.在一些示例中，针对患者的每个器官或区域初始化代价函数，使得第一代价函数表示超声探头的所推荐的路径以采集肾的二维数据，并且第二代价函数表示超声探头的所推荐的路径以采集肺或任何其他合适器官的二维数据。可针对任意数量的器官生成并初始化任意数量的代价函数。在一些示例中，可基于超声探头采集了多个器官(诸如肾和肝脏、或患者的任何其他器官或区域)的三维数据来生成和初始化单个代价函数。
62.在一些示例中，下一个动作614是强化学习的输出，其可组合为超声探头在采集二维数据时使用的推荐动作序列。当不存在附加的二维切片要从三维表示采集时或当代价函数导致准确度高于预定阈值时，强化学习可停止生成输出。在一些示例中，强化学习还可在预先确定数量的迭代之后或基于指示强化学习模型的预期准确度的验证数据停止或终止。
63.图7是用于生成用于采集三维数据的探头引导指令的过程流程图。方法700可用任何合适的计算设备诸如图1的超声成像系统100或计算设备126等等来实现。
64.在一些示例中，上文相对于图3至图5所述的所生成的三维环境可作为模拟环境用来生成探头引导指令。例如，三维环境可被切片或分成可在模拟环境中导航的任意数量的二维数据集。在一些示例中，在框702处，方法700包括检测、接收或以其他方式获得超声探头状态和动作。超声探头状态可指示从所生成的三维环境采集数据的模拟超声设备的位置、角度、倾斜、旋转等。例如，探头状态可指示从三维环境获得的二维数据切片。在一些示例中，动作可表示用于采集二维数据切片的模拟动作。例如，该动作可表示模拟超声探头为了从所生成的三维环境中选择数据(诸如二维切片)而进行的任何合适的模拟移动。
65.在一些示例中，在框704处，方法700可包括确定要采集的后续体积和要应用于超声探头以采集后续体积的动作。例如，代价函数可提供引导以确定要从所生成的三维环境所采集的下一数据体积。
66.在框706处，方法700可包括从三维环境获得或选择或采集模拟帧，诸如来自所生成的三维环境的所选择的下一数据体积705的二维数据切片。在一些示例中，通过应用利用探头引导指令所识别的动作来选择或获得二维数据切片。例如，上文相对于图6所述的强化学习技术可用于识别供超声探头使用来改变取向、位置、方向、旋转、倾斜等以便采集下一个二维数据切片的模拟动作。
67.在框708处，方法700可包括将扫描锥掩模施加到模拟帧或二维切片以表示来自在从患者采集三维数据时实时使用的超声探头的输出。扫描锥掩模可忽略、掩蔽、阻挡、删除或以其他方式移除从三维环境获得的模拟二维数据切片的部分。例如，扫描锥掩模可移除或掩蔽二维切片中不会被超声探头捕获或采集的部分。扫描锥形掩模可导致二维切片的一部分匹配由超声探头采集的锥形数据段。
68.在框710处，方法700可包括基于超声探头的非几何配置设置(诸如增益、强度等)来增强模拟帧或图像。在一些示例中，非几何配置设置可包括由超声探头提供的任何设置。图像增强的结果是超声探头在患者的实时诊断扫描期间可提供的输出的模拟二维表示。
69.图7的方法700的过程流程图并非旨在指示方法700的框702-710的所有操作将被包含在每个示例中。另外，图7的方法700的过程流程图描述了执行操作的可能顺序。然而，
应当理解，方法700的操作可以各种顺序或序列来实现。此外，在一些示例中，方法700还可包含更少或附加的操作。
70.图8是用于识别针对超声探头的所推荐的路径的非暂态机器可执行介质。非暂态机器可读介质900可实现图1的超声成像系统100、图1的计算设备126或它们的组合等等的功能。例如，超声成像系统100、计算设备126或任何其他合适的设备中的处理器802可访问非暂态机器可读介质800。
71.在一些示例中，非暂态机器可读介质800可包括用于执行3d环境创建器120、人工智能管理器132或它们的组合的指令。例如，非暂态机器可读介质900可包括用于3d环境创建器120和人工智能管理器132的指令，该指令使处理器902生成超声数据的体积的三维表示并且生成探头引导指令以提供用于采集超声数据的所推荐的路径。非暂态机器可读介质900还可包括用于实现上述示例中所述的3d环境创建器120和人工智能管理器132的特征的任何组合的指令。
72.如本文所用，以单数形式列举并且以单词“一个”或“一种”开头的元件或步骤应当被理解为不排除多个所述元件或步骤，除非明确说明此类排除。此外，对本发明的“一个实施方案”的引用不旨在被解释为排除也包含所引用特征的附加实施方案的存在。此外，除非明确地相反说明，否则“包含”、“包括”或“具有”具有特定特性的元件或多个元件的实施方案可包括不具有该特性的附加此类元件。术语“包括”和“在...中”用作相应的术语“包含”和“其中”的简明语言等同形式。此外，术语“第一”、“第二”和“第三”等仅用作标记，而不旨在对其对象施加数字要求或特定位置次序。
73.附图中所示和上文所述的本公开的实施方案仅为示例性实施方案，并且并非旨在限制所附权利要求的范围，包括权利要求的范围内所包括的任何等同物。各种修改是可能的并且对于本领域的技术人员而言将是显而易见的。旨在使本文所述的非相互排斥的特征的任何组合在本发明的范围内。即，所述实施方案的特征可与上述任何适当的方面组合，并且任何一个方面的任选特征可与任何其他适当的方面组合。类似地，从属权利要求中列出的特征可与其他从属权利要求的非相互排斥的特征组合，特别是在从属权利要求从属于同一独立权利要求的情况下。在一些要求单一权利要求从属项的司法管辖区内，可能已作为实践使用了这些从属项，但这不应视为意味着从属权利要求中的特征是相互排斥的。