用于识别连接区域的超声成像系统和方法与流程

文档序号:31996988发布日期:2022-11-02 08:34阅读:63来源:国知局
用于识别连接区域的超声成像系统和方法与流程

1.本文公开的主题整体涉及用于识别超声图像中的连接区域并显示以图形方式区分第一连接区域和第二连接区域的修改的超声图像的超声成像系统和方法。


背景技术:

2.超声成像已被证明是筛查子宫内膜异位症患者的有用工具。根据常规技术,临床医生向患者施加压力,以便使患者体内的一个或多个器官相对于其他器官移动。临床医生在施加压力的同时采集实时超声图像,以便观察器官如何相对于彼此移动。例如,临床医生通常评估直肠前部如何在阴道后壁和/或子宫颈后部上滑动,或评估直肠乙状结肠前部如何在子宫后部/上宫底上滑动。研究表明,这些器官在彼此上方滑动的自由程度与患者患肠子宫内膜异位症的可能性之间存在关系。如果患者患有肠子宫内膜异位症,则器官之间通常存在粘连,这会抑制器官响应于施加的压力而在彼此上平滑滑动的能力。例如,如果直肠前部不能在阴道后壁和/或子宫颈后部上平滑滑动,或者直肠前部不能在子宫后部/上宫底上平滑滑动,则认为患者具有阴性滑动征。如果直肠前部在阴道后壁和/或子宫颈后部上平滑滑动,并且直肠前部在子宫后部/上宫底上平滑滑动,则认为患者有阳性滑动征。具有阴性滑动征与肠子宫内膜异位症的诊断相关。因此,执行超声成像规程以确定患者的滑动征已成为公认的肠子宫内膜异位症筛查技术。
3.对于临床医生来说,准确地确定滑动征可能是困难的。如上所述,临床医生有必要用他/她的手或超声探头施加压力,以便观察器官如何相对于彼此滑动(glide/slide)。临床医生可能难以准确地确定特定器官是否相对于其他相邻器官平滑滑动或显示粘连征。如先前所讨论的,临床医生有必要施加必要的压力来使器官滑动,将探头保持在适当的位置以采集期望的超声图像,并评估采集的超声图像以确定图像是表现出阴性滑动征还是阳性滑动征。即使是有经验的临床医生也很难准确地确定患者的滑动征。至少出于上文讨论的原因,需要用于以图形方式区分超声图像中的连接区域以便更容易且更准确地确定患者的滑动征的改进的方法和超声成像系统。


技术实现要素:

4.在一个实施方案中,一种方法包括使用超声探头在施加力以引起解剖区域内的移动的同时,采集解剖区域的超声视频数据,其中超声视频数据包括多个超声图像。该方法包括使用处理器识别多个超声图像中的一个超声图像中的两个或更多个连接区域,该两个或更多个连接区域包括第一连接区域和第二连接区域,其中该两个或更多个连接区域中的每个连接区域都表示响应力而作为一个单元移动的互连组织组。该方法包括使用处理器通过以图形方式区分第一连接区域和第二连接区域,基于多个超声图像中的一个超声图像来生成修改的超声图像。该方法包括使用处理器使显示设备显示修改的超声图像。
5.在一个实施方案中,一种超声成像系统包括超声探头;显示设备;和处理器,该处理器与该超声探头和该显示设备进行电子通信。该处理器被配置为控制超声探头以在施加
力以引起解剖区域内的移动的同时采集解剖区域的超声视频数据,其中超声视频数据包括多个超声图像。该处理器被配置为识别多个超声图像中的一个超声图像中的两个或更多个连接区域,该两个或更多个连接区域包括第一连接区域和第二连接区域,其中该两个或更多个连接区域中的每个连接区域都表示响应力而作为一个单元移动的互连组织组。该处理器被配置为通过以图形方式区分第一连接区域和第二连接区域,基于多个图像中的一个图像来自动生成修改的超声图像。该处理器被配置为使显示设备显示修改的超声图像。
附图说明
6.通过参考附图阅读以下对非限制性实施方案的描述,将更好地理解本文所述的本发明主题,其中:
7.图1是根据一个实施方案的超声成像系统的示意图;
8.图2是根据一个实施方案的流程图;
9.图3是根据一个实施方案的流程图;
10.图4是根据一个实施方案的在超声扫描期间患者腹部的横截面的表示;
11.图5是根据一个实施方案的力对时间的曲线图;
12.图6是根据一个实施方案的神经网络的示意图;
13.图7是示出根据一个实施方案的神经网络的神经元的输入和输出连接的示意图;
14.图8是根据一个实施方案的超声图像的表示;
15.图9是根据一个实施方案的修改的超声图像的表示;
16.图10是根据一个实施方案的修改的超声图像的表示;
17.图11是根据一个实施方案的修改的超声图像的表示;
18.图12是根据一个实施方案的修改的超声图像的表示;
19.图13是根据一个实施方案的修改的超声图像的表示;并且
20.图14是根据一个实施方案的修改的超声图像的表示。
具体实施方式
21.图1是根据一个实施方案的超声成像系统100的示意图。超声成像系统100包括发射波束形成器101和发射器102,该发射波束形成器和发射器驱动超声探头106内的元件104通过一个或多个发射事件将脉冲超声信号发射到身体(未示出)中。元件104可被布置成阵列。超声探头106可以是线性阵列探头、弯曲线性阵列探头、相控阵列探头、弯曲相控阵列探头、4d矩阵阵列探头、或任何其他类型的超声探头。根据一些示例性实施方案,超声探头106可以是经阴道探头或腹部探头。仍参见图1,脉冲超声信号从体内结构如血细胞或肌肉组织反向散射,以产生返回到元件104的回波。回波被元件104转换成电信号,并且电信号被接收器108接收。表示所接收的回波的电信号穿过输出超声数据的接收波束形成器110。根据一些实施方案,超声探头106可包含电子电路以执行发射波束形成和/或接收波束形成的全部或部分。例如,发射波束形成器101、发射器102、接收器108和接收波束形成器110的全部或部分可位于超声探头106内。在本公开中,术语“扫描”或“扫描中”可也用于指通过发射和接收超声信号的过程来采集数据。可控制超声探头106以采集超声视频数据,该超声视频数据包括多个超声图像。根据一个实施方案,超声视频数据可包括各自在不同时间采集的多个
超声图像或帧。超声视频数据可被视为视频或电影,以便向临床医生提供关于患者体中的各种结构如何相对彼此移动的信息。超声视频数据可在实况或实时成像会话中的采集时间期间显示,或者超声视频数据可存储在存储器中并稍后在回顾会话中查看。
22.用户界面115可用于控制超声成像系统100的操作。用户接口115可用于控制患者数据的输入,或用于选择各种模式、操作、参数等。用户接口115可包括一个或多个用户输入设备,诸如键盘、硬键、触控板、触摸屏、轨迹球、旋转控件、滑块、软键或任何其他用户输入设备。
23.超声成像系统100还包括处理器116,该处理器用以控制发射波束形成器101、发射器102、接收器108和接收波束形成器110。用户接口115与处理器116进行电子通信。处理器116可包括一个或多个单独的硬件部件,诸如中央处理单元(cpu)、微处理器、微控制器、图形处理单元(gpu)、数字信号处理器(dsp)、它们的组合等。根据一些实施方案,处理器116可包括一个或多个gpu,其中gpu中的一些或全部gpu包括张量处理单元(tpu)。根据实施方案,处理器116可以包括现场可编程门阵列(fpga)或能够执行处理功能的任何其他类型的硬件。处理器116可以是集成部件,或者可分布在各个位置上。例如,根据一个实施方案,与处理器116相关联的处理功能可以基于操作类型在两个或更多个处理器之间拆分。例如,实施方案可以包括被配置为执行第一组操作的第一处理器和用于执行第二组操作的第二单独处理器。根据实施方案,处理器116可被配置为实现机器学习模型。处理器116可被配置为执行从存储器访问的指令。例如,指令可存储在非暂态计算机可读介质上,其被配置用于由处理器116执行。根据一个实施方案,处理器116与超声探头106、接收器108、接收波束形成器110、发射波束形成器101和发射器102进行电子通信。出于本公开的目的,术语“电子通信”可被定义为包括有线连接和无线连接。处理器116可控制超声探头106以采集超声数据,诸如超声视频数据。处理器116控制元件104中的哪些元件是活动的以及从超声探头106发射的波束的形状。处理器116还与显示设备118进行电子通信,并且处理器116可将超声数据处理成图像以显示在显示设备118上。根据实施方案,处理器116还可包括解调rf数据并且生成原始数据的复合解调器(未示出)。在另一个实施方案中,解调可以在处理链中较早地执行。处理器116可适于根据数据上的多个可选超声模态来执行一个或多个处理操作。随着接收到回波信号,可在扫描会话期间实时处理超声数据,诸如超声视频数据。处理器116可被配置为扫描转换使用超声探头106采集的超声数据,使该数据可作为一个或多个超声图像显示在显示设备118上。实时显示超声数据可以涉及在没有任何有意延迟的情况下显示超声数据。例如,一旦超声数据的每个更新的图像帧已被采集并处理以供在实时图像采集期间显示,处理器116就可显示每个更新的图像帧。实时帧速率可基于从其采集数据的区域或体积的尺寸和采集期间使用的具体参数而变化。处理器116还可被配置为近实时地显示每个更新的图像帧。出于本公开的目的,术语“近实时”将被定义为意指在10秒内执行操作。例如,基于超声图像近实时地显示修改的超声图像将需要在从采集超声图像时起10秒内显示修改的超声图像。在许多实施方案中,近实时操作的执行速度将明显快于10秒内。例如,许多近实时操作将在2秒内执行。
24.根据其他实施方案,数据可在扫描会话期间临时存储在缓冲器(未示出)中并且以不太实时的方式或以回顾的方式处理。根据包括软件波束形成器的实施方案,与发射波束形成器101和/或接收波束形成器108相关联的功能可由处理器116执行。
25.根据一个实施方案,超声成像系统100可以例如10hz至30hz的帧速率连续采集超声数据。能够以类似帧速率刷新从数据生成的图像。其他实施方案能够以不同速率采集并且显示数据。例如,一些实施方案可根据数据的每个帧的大小和与具体应用相关联的参数,以小于10hz或大于30hz的帧速率采集超声数据。例如,许多应用涉及以约50hz的帧速率采集超声数据。包括存储器120,用于存储经处理的采集数据的帧。在一个示例性实施方案中,存储器120具有足够的容量以存储在长度为至少几秒的时间段内采集的超声数据的帧。数据帧的存储方式便于根据其采集顺序或时间进行检索。存储器120可包括任何已知的数据存储介质。
26.在本发明的各种实施方案中,处理器116可通过其他或不同的模式相关模块(例如,b模式、彩色多普勒、m模式、彩色m模式、频谱多普勒、弹性成像、tvi、应变、应变速率等)来处理超声数据,以形成2d或3d数据。例如,一个或多个模块可生成b模式、彩色多普勒、m模式、彩色m模式、频谱多普勒、弹性成像、tvi、应变、应变速率以及它们的组合等。存储图像光束和/或帧,并且可记录指示在存储器中采集数据的时间的定时信息。这些模块可包括例如扫描转换模块,用于执行扫描转换操作,以将图像帧从波束空间坐标转换为显示空间坐标。可提供视频处理模块,该视频处理模块从存储器(诸如存储器120)读取图像帧,并且在对患者进行规程时实时地或近实时地显示图像帧。视频处理模块可将图像帧存储在图像存储器中,从该图像存储器读取和显示图像。
27.图2示出了用于针对连接区域分析超声图像的方法200的一个实施方案的流程图。图2中示出的方法200可用图1中示出的超声成像系统100执行。方法200的技术效果是修改的超声视频数据的生成和显示,以便以图形方式区分连接区域。
28.在步骤202处,处理器116控制超声探头106以在施加力以引起移动的同时采集超声视频数据。在控制超声探头106以采集超声视频数据的过程中,处理器116还控制发射波束形成器101、发射器102、接收器108和接收波束形成器110。在步骤203处,处理器116在存储器(诸如存储器120)中存储超声视频数据。
29.采集超声视频数据包括在不同时间点采集多个超声图像。可在实时或近实时过程中采集超声视频数据时对超声视频数据进行处理/显示,或者可存储和访问超声视频数据以便以回顾的方式进行处理和/或显示。超声视频数据可存储在存储器(诸如存储器120)中,或者根据其他实施方案,超声视频数据可存储在并非超声成像系统100的一部分的存储设备中。例如,超声视频数据可存储在非本地存储设备中,诸如存储在本地或远程网络上的服务器或其他存储设备上。
30.接下来,在步骤204处,处理器116访问来自存储器(诸如存储器120)的存储的超声视频数据。在步骤205处,处理器116识别多个超声图像中的一个超声图像中的两个或更多个连接区域。处理器116可被配置为自动识别两个或更多个连接区域,或者处理器116可被配置为半自动地识别两个或更多个连接区域。在一个实施方案中,处理器116可被配置为接收至少一个用户输入,以便帮助约束连接区域中的一个或多个连接区域的位置或连接区域之间的边界。例如,处理器116可被配置为通过用户界面115接收指定一个或多个连接区域或两个相邻连接区域之间的边界的输入。例如,用户可点击每个疑似连接区域,或使用用户界面设备来沿着两个相邻连接区域之间的疑似边界移动光标。其他实施方案可被配置为通过用户界面115接收不同类型的输入,以便帮助在步骤205处识别连接区域。
31.图4是根据一个实施方案的在超声扫描期间患者腹部300的横截面的表示。患者的腹部300的表示包括超声探头106。根据图4中的实施方案,超声探头106表示为经阴道探头。患者腹部300的表示包括阴道后壁304、直肠前壁306、直肠乙状结肠前壁308、子宫后壁309、子宫颈310、方向箭头312和多个双向箭头314。图3将根据一个实施方案进行描述,在该实施方案中,在与方向箭头312对齐的方向上向子宫颈310施加力,以便在采集超声视频数据的过程期间引起患者腹部内的移动。向子宫颈310施加力可用于确定直肠前壁306是否在阴道后壁304上平滑互动。根据一个实施方案,在与方向箭头312对齐的方向上施加到子宫颈310的力可变化,因此在超声视频数据的采集期间存在力增加的周期和力减小的周期。
32.图5是根据一个实施方案的力对时间的曲线图。该曲线图表示在采集超声视频数据的过程期间,通过扫描解剖区域,施加到患者以便引起移动的力或压力。图4示出了由超声探头106向子宫颈310施加力以便引起患者腹部内的移动的示例。根据其他实施方案,临床医生可使用超声探头106在不同的位置向患者施加力,和/或临床医生可使用他/她的手或另一器械以便在不同的位置和/或方向施加力。例如,临床医生可使用他/她的手从患者体外的位置向患者的子宫施加力或压力。例如,临床医生可在朝向患者脊柱的方向上向患者的下腹部施加压力,以便确定直肠乙状结肠前壁308是否在子宫后壁309上平滑滑动。根据各种实施方案,临床医生可施加力,以其他模式引起患者体内的移动。
33.在方法200的步骤202处,处理器116控制超声探头106以在施加力以引起解剖区域内的移动的同时采集解剖区域的超声视频数据。图4示出了解剖区域的示例,并且临床医生可使用超声探头106或他/她的手的一部分来施加力。例如,可以与图5所示的曲线图一致的方式施加力。本领域的技术人员应当理解,根据各种实施方案,可以其他模式和/或在其他位置施加为了引起移动而施加的力。超声视频数据包括多个超声图像,出于本技术的目的,该多个超声图像也可称为“帧”。在不同的时间采集每个超声图像或帧,以便采集超声视频数据。
34.根据示例性实施方案,图5所示的曲线图400将用于展示处理器116如何控制超声探头106以在施加力以引起解剖区域中的移动的同时采集解剖区域的超声视频数据。可以一种方式施加该力以引起一个或多个解剖结构相对于彼此相对移动。图5示出了示出力对时间的曲线图400,具有曲线402。x轴404表示时间,并且y轴406表示力。曲线图400沿着x轴404标记有时间t1、t2、t3、t4、t5、t6、t7、t8、t9、t10、t11、t12、t13、t14、t15、t16、t17、t18、t19和t20。处理器116可控制超声探头106以在这些时间的每个时间采集超声图像或帧。例如,处理器116可控制超声探头106以在时间t1采集第一帧,在时间t2采集第二帧,在时间t3采集第三帧,在时间t4采集第四帧等。如曲线402所示,施加以引起移动的力从时间t1到时间t20变化。施加以引起解剖区域内的移动的力根据图5中的大致正弦模式该变化,但应该理解,可根据其他模式施加力以引起移动。参考曲线402,在时间t1施加的力不同于在时间t2施加的力,并且在时间t3施加的力不同于在时间t1或时间t2施加的力。由于力旨在引起解剖区域中的移动,并且在采集超声视频数据期间所施加的力的量是变化的,因此在时间t1、t2、t3、

t20采集的超声图像应表示在至少一些超声图像中的不同相对位置在解剖区域内的结构。
35.在步骤205处,处理器116识别在步骤202采集的多个超声图像中的一个超声图像中的连接区域。为了准确地识别多个超声图像中的一个超声图像中的连接区域,可以预期
的是,处理器116需要分析在多个超声图像中的一个超声图像之前采集的至少一个超声图像。根据一个示例性实施方案,可以预期的是,处理器116将分析在多个图像中的一个图像之前采集的多个超声图像,以便识别多个图像中的一个图像中的连接图像。
36.例如,为了识别在时间t6采集的超声图像中的连接区域,处理器116可分析在时间t5、时间t4、时间t3、时间t2和时间t1采集的超声图像;为了识别在时间t7采集的超声图像中的连接区域,处理器116可分析在时间t6、时间t5、时间t4、时间t3和时间t2采集的超声图像;等等。虽然图4根据一个示例性实施方案进行描述,在该示例性实施方案中使用5个最近采集的帧来识别超声图像中的连接区域,但其他实施方案可使用不同数量的帧来识别连接区域。例如,一些实施方案可使用少于五个帧(例如,四个最近采集的帧、三个最近采集的帧等),而其他实施方案可使用多于5个最近采集的帧(例如,6个最近采集的帧、7个最近采集的帧等)来识别连接区域。除了一个或多个先前采集的帧之外,实施方案还可使用当前帧来识别连接区域。
37.为了识别患者的滑动征,有必要确定解剖区域中的各个结构是否响应于正在施加的力而在彼此上方平滑滑动,或者各个结构是否都作为一个互连结构滑动。如先前所述,各个结构在彼此上方平滑滑动指示阳性滑动征,而各个结构作为一个互连结构移动指示阴性滑动征。
38.临床医生在采集超声视频数据的同时施加力,诸如以曲线402表示的方式施加力。该力旨在引起解剖区域内的移动。如果各个结构不彼此互连,则超声视频数据的不同帧将显示每个结构将响应于在采集超声视频数据的同时施加的力而在相邻结构上平滑滑动。然而,如果存在粘连(诸如因肠子宫内膜异位症或任何其他病症而造成的粘连),则每个单独的结构将不会响应于在采集超声视频数据的同时施加的力而在相邻结构上平滑滑动。
39.处理器116可被配置为通过分析超声视频数据中的多个超声图像来识别超声图像中的一个超声图像中的一个或多个连接区域。处理器116分析多个超声图像,以便基于数据中表示的结构如何响应于施加以引起解剖区域内的移动的力而移动来识别超声图像中的一个或多个连接区域。每个连接区域均表示互连组织组,该互连组织组响应于力而作为一个单元移动。响应于因组织的压缩引起的力和/或由周围组织的摩擦或干扰造成的阻力,连接区域的不同部分可移动不同的量。在具有阳性滑动征的患者体内,每个连接区域均可表示单个器官或结构。每个单独器官或结构均表示互连组织组,该互连组织组响应于力而作为一个单元移动。然而,对于患有肠道子宫内膜异位症或其他导致患者子宫周围结构在物理上互连的病症的患者。例如,肠子宫内膜异位症可能导致在腹部的各种器官或组织之间形成称为粘连的瘢痕组织带,这些瘢痕组织带的体积大体接近患者的子宫。粘连在物理上导致各种器官或结构彼此粘连。粘在一起的两个或更多个器官或结构将响应于施加以引起解剖区域内的移动的力而作为一个单元移动。各个连接区域的数量将基于正在扫描的患者的解剖结构、正在扫描的患者的任何潜在病症以及在步骤202采集超声视频数据的视场大小而变化。在器官之间有明显粘连的患者体内,超声视频数据的视场内的两个或更多个器官和组织有可能物理互连。如果存在连接超声图像中表示的所有器官和组织的粘连,则处理器116可仅检测单个连接区域。另一方面,如果超声视频的视场内的两个或更多个器官或组织没有粘连,则处理器116可在步骤205处识别两个或更多个单独的连接区域。
40.处理器116可使用图像处理技术和/或实现机器学习模型,以便识别超声图像中的
连接区域。如上文所讨论,可以预期的是,处理器116有必要分析来自超声视频数据的至少两个帧/超声图像,以便识别两个或更多个连接区域。有必要分析至少两个帧,以便基于超声图像中表示的结构在超声视频数据内的逐帧移动来识别连接区域。由于在采集视频数据期间施加了力以引起移动,因此处理器116需要比较在不同时间采集的至少两个帧,以便识别每个超声图像中作为连接区域移动的区域。根据示例性实施方案,可能希望分析显著多于两个帧,以便具有显示在超声视频数据中捕获的解剖区域的运动的更多帧。处理器116可使用图像处理技术,诸如散斑跟踪、运动检测、对象定位、分割、运动场分析或任何其他图像处理技术来识别超声视频数据内的结构的相对运动。例如,处理器116可被配置为使用散斑跟踪,以便确定超声视频数据的各种相邻帧之间的相对运动,从而识别超声图像中的一个超声图像中的连接区域。处理器116可被配置为分析在超声视频数据的多个帧上获得的散斑跟踪数据,以确定各种分割的结构或器官是独立地移动还是作为一个互连结构响应于所施加的力而移动。处理器116可应用分割算法来从超声视频数据中的多个图像分割结构或器官,以便确定各种分割的结构或器官是独立地移动还是作为一个互连结构响应于所施加的力而移动。处理器116可使用运动场分析来确定超声图像内的多个点或像素在多个相邻帧上的相对运动。基于运动场分析,处理器116可比较各种点或像素在超声视频数据的多个帧上的相对运动,以便识别超声图像中的连接区域。处理器116可被配置为使用关于多个图像中的每个图像内的各种点或像素之间的相对运动差异的阈值,以便识别连接区域。例如,如果点或像素响应于所施加的力而在相对运动量上的差异小于一定百分比,则处理器116可仅考虑将这些点或像素包括在连接结构内。处理器116可被配置为使用任何其他类型的图像处理技术来识别超声图像中的一个或多个连接区域。
41.根据一个实施方案,处理器116可被配置为使用人工智能,以便在步骤205期间识别连接区域。例如,处理器116可被配置为实现机器学习模型(即,通过机器学习技术训练的模型),以便在步骤206期间检测连接区域。比如,处理器116可实现机器学习模型(诸如随机决策森林、支持向量机、逻辑回归、神经网络或任何其他机器学习模型)来检测连接区域。根据示例性实施方案,处理器116可被配置为实现机器学习模型,以便识别作为超声视频数据的一部分的多个超声图像内的连接区域。机器学习模型(例如,随机决策森林、支持向量机、逻辑回归、神经网络等)可在监督学习或无监督学习期间使用训练数据进行训练,然后由处理器实现机器学习模型来识别连接区域。实施方案可利用两种或更多种不同类型的机器学习模型,以便在步骤206期间识别连接区域。
42.根据一个示例性实施方案,机器学习模型可以是神经网络。处理器116可被配置为实现神经网络,以便在步骤205处识别连接区域。图6描绘了具有一个或多个节点/神经元502的神经网络500的示意图,在一些实施方案中,该一个或多个节点/神经元可设置在一个或多个层504、506、508、510、512、514和516中。神经网络500可以是深度神经网络。如本文关于神经元所用,术语“层”是指具有以类似方式连接到模拟神经元的其他集合的输入和/或输出的模拟神经元的集合。因此,如图5所示,神经元502可经由一个或多个连接518彼此连接,使得数据可从输入层504传播通过一个或多个中间层506、508、510、512和514到输出层516。一个或多个中间层506、508、510、512和514有时称为“隐藏层”。
43.图7示出了根据示例性实施方案的神经元的输入和输出连接。如图7所示,单个神经元502的连接(例如,518)可包括一个或多个输入连接602和一个或多个输出连接604。神
经元502的每个输入连接602可以是前导神经元的输出连接,并且神经元502的每个输出连接604可以是一个或多个后续神经元的输入连接。虽然图7将神经元502描绘为具有单个输出连接604,但是应当理解,神经元可具有发送/传输/传递相同值的多个输出连接。在一些实施方案中,神经元502可以是数据构造(例如,结构、实例化的类对象、矩阵等),并且输入连接可由神经元502接收为加权数值(例如,浮点或整数值)。例如,如图7进一步所示,输入连接x1、x2和x3可以分别通过权数w1、w2和w3加权、求和,并作为输出连接y发送/发射/传递。如将理解的,单独神经元502的处理可以总体由以下公式表示:
[0044][0045]
其中n是到神经元502的输入连接602的总数。在一个实施方案中,y的值可以至少部分地基于wixi的总和是否超过阈值。例如,如果加权输入的总和未超过期望阈值,则y可具有零(0)值。
[0046]
从图6和图7中将进一步理解,输入层504中的神经元502的输入连接602可以被映射到输入501,而输出层516中的神经元502的输出连接604可以被映射到输出530。如本文所用,将给定输入连接602“映射”到输入501是指输入501影响/指示所述输入连接602的值的方式。类似地,如本文所用,将给定输出连接604“映射”到输出530是指所述输出连接604的值影响/指示输出530的方式。
[0047]
因此,在一些实施方案中,采集/获得的输入501被传递/馈送到神经网络500的输入层504并且传播通过层504、506、508、510、512、514和516,使得输出层516的映射输出连接604生成/对应于输出530。如图所示,输入501可包括超声视频数据。超声视频数据可包括一个或多个连接区域。输出530可包括对基于超声视频数据识别的一个或多个连接区域的识别。
[0048]
可以使用多个训练数据集来训练神经网络500。根据各种实施方案,可使用超声视频数据训练神经网络500。每个训练数据集可包括例如注释的超声视频数据。基于训练数据集,神经网络500可学习识别来自视频数据的连接结构。深度学习(由于例如解剖特征的布置、尺寸等的可识别趋势)可能引起权数(例如,w1、w2和/或w3)变化、输入/输出连接变化或者神经网络500的其他调整。此外,随着采用附加的训练数据集,作为响应机器学习可以继续调整神经网络500的各种参数。如此,可周期性地增加神经网络500的灵敏度,从而导致更高的连接区域识别精度。本领域的技术人员应当理解,神经网络500是示例性神经网络,并且可根据各种实施方案使用其他类型和配置的神经网络。例如,可在各种实施方案中使用具有不同层数的神经网络,诸如不同数量的“隐藏层”。
[0049]
接下来,在步骤206处,处理器116被配置为通过以图形方式区分在步骤204期间识别的连接区域来生成修改的超声图像。处理器116可通过用不同颜色对识别的连接区域中的每个连接区域进行颜色编码来生成修改的超声图像。例如,根据具有在步骤205处识别的两个连接区域的实施方案,修改的超声图像可通过用第一颜色对第一连接区域内的像素着色以及用不同于第一颜色的第二颜色对第二连接区域内的像素着色来以图形方式区分连接区域。根据一个实施方案,处理器116可使用半透明叠层,以便对修改的超声图像进行着色来以图形方式区分不同的连接区域。根据另一实施方案,处理器116可通过显示相邻连接区域之间的边界线来以图形方式区分在超声图像中识别的连接区域。例如,根据具有两个
连接区域的实施方案,处理器116可显示第一连接区域和第二连接区域之间的边界线,以帮助临床医生在查看修改的超声图像时区分各种连接区域。根据一个实施方案,处理器116可使用两种或更多种不同的技术以图形方式区分在步骤204处识别的连接区域。例如,处理器116可通过对连接区域进行颜色编码以使第一连接区域用与第二连接区域不同的颜色着色并且显示第一连接区域与第二连接区域之间的边界线来以图形方式区分第一连接区域和第二连接区域。下文将提供关于一些示例性修改的超声图像的附加细节。
[0050]
如上文所讨论的,在步骤206处,处理器116修改多个超声图像中的一个超声图像,以便以图形方式区分或识别在步骤205处识别的连接区域中的每个连接区域。接下来,在步骤208处,处理器116确定是否期望分析超声视频中的下一个超声图像。例如,处理器116可确定是否已在步骤205处分析了超声视频数据中的所有超声图像。如果超声视频数据中仍存在超声图像要分析,则该方法返回到步骤205。步骤205、步骤206和步骤208可根据需要执行多次。处理器116可被配置为在每次方法200迭代地重复步骤205、206和208时,访问超声视频数据中的下一个超声图像。如果不期望分析下一个超声图像,则方法200前进到步骤210。
[0051]
在步骤210处,处理器116控制显示设备118,以将在步骤206处生成的修改的超声图像中的每个超声图像显示为电影或视频循环。根据一个实施方案,处理器116可基于在步骤206处生成的所有修改的超声图像来生成修改的超声视频数据。例如,修改的超声图像中的每个超声图像可以与超声视频数据的对应超声图像相同的顺序放置在修改的超声视频数据中。在步骤210处,处理器可将修改的超声视频数据显示为电影或视频循环。因此,修改的超声视频数据包括多个修改的超声图像,每个图像都在步骤206处生成。连接区域(其表示响应于力而作为一个单元移动的互连组织组)在修改的超声图像中的每个图像中以图形方式进行区分。因此,当在步骤210处将修改的超声视频数据作为电影显示给临床医生时,临床医生很容易在视觉上区分连接区域。通过在视觉上区分修改的超声图像中的连接区域,方法200使临床医生能够容易地确定患者是表现出阴性滑动征还是阳性滑动征。如先前所讨论的,阴性滑动征与子宫内膜异位症的诊断相关。因此,可使用方法200来筛查诸如子宫内膜异位症的病症,或更具体地,筛查肠子宫内膜异位症。
[0052]
图3示出了方法250的一个实施方案的流程图。图3中示出的方法250可用图1中示出的超声成像系统100执行。方法250的技术效果是生成和显示修改的超声图像,以便以图形方式区分连接区域。
[0053]
在步骤251处,处理器116控制超声探头106以采集一个或多个超声图像。根据一个示例性实施方案,可在采集超声视频数据的过程期间采集在步骤251处采集的一个或多个超声图像。
[0054]
在步骤252处,处理器116控制超声探头106以采集超声图像。也可在采集超声视频数据的过程期间采集在步骤252处采集的超声图像。接下来,在步骤254处,该处理器访问在步骤252处采集的超声图像之前采集的一个或多个超声图像。在方法250的第一次迭代期间,可在步骤251处采集在步骤252处访问的一个或多个图像。根据一个示例性实施方案,在步骤252处采集的超声图像和在步骤254处访问的一个或多个超声图像均可作为超声视频数据的一部分来采集。另外,在步骤254处访问的一个或多个超声图像可以是在步骤251处作为超声视频数据的一部分采集的前述一个或多个超声图像(即,帧)。例如,处理器116可
访问在步骤252处采集的超声图像之前采集的固定数量的帧,或者处理器116可访问在步骤252处采集超声图像之前在固定时间量上采集的超声图像。换句话讲,如果在步骤252处采集的超声图像是超声视频数据采集中的图像帧n,则在步骤254处访问的超声图像可包括图像帧n-1、图像帧n-2、图像帧n-3、图像帧n-4等。虽然在图3中表示的流程图上未示出,但在步骤251和252处采集的超声视频数据是在施加力以引起正在成像的解剖区域内的移动的同时采集的。该力可通过超声探头106、临床医生的手或任何其他器械以与关于方法200所述类似的方式施加。该力旨在引起正在成像的解剖区域内的移动,并且可随时间变化,以便引起移动,该移动将导致解剖区域内的器官在超声视频数据采集期间移动。
[0055]
在步骤256处,处理器116识别在步骤252处采集的超声图像中的一个或多个连接区域。处理器116可使用图像处理技术或通过根据关于方法200描述的任何技术实现机器学习模型来识别一个或多个连接区域。处理器116可被配置为自动识别两个或更多个连接区域,或者处理器116可被配置为半自动地识别两个或更多个连接区域。在一个实施方案中,处理器116可被配置为接收至少一个用户输入,以便帮助约束连接区域中的一个或多个连接区域的位置或连接区域之间的边界。例如,处理器116可被配置为通过用户界面接收指定一个或多个连接区域或两个相邻连接区域之间的边界的输入。例如,用户可点击每个疑似连接区域,或使用用户界面设备来沿着两个相邻连接区域之间的疑似边界移动光标。其他实施方案可被配置为通过用户界面115接收不同类型的输入,以便帮助在步骤256处识别连接区域。
[0056]
接下来,在步骤258处,处理器116通过以图形方式区分连接区域来生成修改的超声图像。修改的超声图像基于在步骤252处采集的超声图像。处理器116可通过本文档中描述的任何技术以图形方式区分超声图像中的一个或多个连接区域,包括用不同颜色对每个连接区域进行颜色编码和/或显示第一连接区域和第二连接区域之间的边界线。边界线可包括多个不同的颜色编码段,其中该多个颜色编码段中的每个颜色编码段都被着色以表示在每个特定颜色编码段的位置处在第一连接区域和第二连接区域之间的相对移动量。
[0057]
在步骤260处,处理器116基于在步骤252处采集的超声图像显示修改的超声图像。例如,处理器116可控制显示设备118以显示修改的超声图像。如先前所讨论的,修改的超声图像被修改为以图形方式区分在步骤252处采集的超声图像中识别的一个或多个连接区域中的每个连接区域。
[0058]
接下来,在步骤262处,处理器116确定是否希望采集另一超声图像。如果希望采集另一超声图像,则方法250返回到步骤252。方法250可迭代地重复步骤252、254、256、258、260和262,只要希望在步骤262处采集额外的超声图像。根据一个实施方案,处理器116可被配置为迭代地重复步骤252、254、256、258、260和262,只要临床医生继续使用超声探头106采集超声数据。根据另一个实施方案,处理器116可被配置为迭代地重复步骤252、254、256、258、260和262,只要正在采集超声数据并且超声成像系统100保持在旨在识别连接区域的模式。超声成像系统可基于特定工作流自动进入该模式,或者超声成像系统100可响应于通过用户界面115输入的用户输入而手动进入该模式以识别连接区域。
[0059]
处理器116可被配置为在执行步骤252、254、256、258、260和262的每次迭代期间访问不同的一组先前采集的超声图像。如先前所提及的,在第一次迭代期间,处理器116可在执行步骤254时访问在步骤251处采集的超声图像。然而,当在后续迭代期间执行步骤254
时,处理器116可在执行步骤252、254、256、258、260和262的先前迭代期间访问在步骤252处采集的先前采集的超声图像,以替代或补充在步骤251处采集的超声图像。例如,处理器116旨在访问在步骤256处分析超声图像之前采集的超声图像以便识别连接区域,因为处理器116正在使用在施加力以便引起移动的同时采集的多个先前采集的超声图像/帧来识别连接区域。
[0060]
本领域技术人员应当理解,在执行步骤252、254、256、258、260和262的每次迭代期间,执行步骤252、254、256、258、260和262的多次迭代将导致在步骤260处显示更新的修改的超声图像。根据一个实施方案,执行步骤252、254、256、258、260和262的多次迭代可导致将修改的超声图像显示为视频或电影。修改的超声图像的收集可被视为修改的超声视频数据,其中每个修改的超声图像是修改的超声视频数据内的帧。还应当理解,根据示例性实施方案,在迭代执行步骤252、254、256、258、260和262的过程期间,施加以引起移动的力可变化。如果在步骤262处不希望采集另一超声图像,则方法250前进到步骤264并停止。根据一个实施方案,处理器116可控制超声成像系统以进入不同的成像模式,或者处理器116可控制超声探头106以在步骤264处停止采集超声图像。
[0061]
图8是根据一个实施方案的超声图像700的表示。超声图像700表示超声图像,诸如将在步骤202或252处采集的图像。图9是修改的超声图像705的表示,包括边界712,以示出第一连接区域702和第二连接区域704。通过将边界线712添加到图8中所示的超声图像700,生成修改的超声图像705。
[0062]
图10是根据一个实施方案的修改的超声图像720的表示。修改的超声图像720是可根据方法200或方法250生成和显示的修改的超声图像的示例。图8包括第一连接区域702和第二连接区域704。处理器116可被配置为对在修改的超声图像720中识别的连接区域中的每个连接区域进行颜色编码。例如,第一连接区域702可使用第一颜色填色或着色,并且第二连接区域704可使用不同于第一颜色的第二颜色填色或着色,如图10上的衬里所示。根据一个实施方案,处理器116可被配置为将颜色显示为超声图像700上的叠层。例如,处理器116可将用于识别第一连接区域702和第二连接区域704的颜色与超声图像700中的信息共混,以提供对超声图像700着色的效果。这样,对于观看修改的超声图像720的用户来说,超声图像700中的信息仍然是容易看到的。
[0063]
图11是根据一个实施方案的修改的超声图像800的表示。修改的超声图像800是可根据方法200或方法250生成和显示的修改的超声图像的示例。修改的超声图像800包括第一连接区域702和第二连接区域704。处理器116通过显示第一连接区域702和第二连接区域704之间的边界线806,以图形方式区分第一连接区域702和第二连接区域704。
[0064]
图12是根据一个实施方案的修改的超声图像900的表示。修改的超声图像900是可根据方法200或方法250生成和显示的修改的超声图像的示例。修改的超声图像900包括第一连接区域702和第二连接区域704。处理器116通过显示第一连接区域702和第二连接区域704之间的边界线,以图形方式区分第一连接区域702和第二连接区域704。图9所示的边界线具有3个段:第一段908、第二段910和第三段912。第一段908在点914和点916之间延伸;第二段910在点916和点918之间延伸;并且第三段在点918和点920之间延伸。第一段908可以第一颜色显示,以表示第一连接区域702与第二连接区域704之间的第一相对移动水平;第二段910可以第二颜色显示,以表示第一连接区域702与第二连接区域704之间的第二相对
移动水平;并且第三段912可以第三颜色显示,以指示第一连接区域702与第二连接区域704之间的第三相对移动水平。图9中显示的点的布置是为了更容易地描述边界线中的段。在显示包括基于相邻连接区域之间的运动进行颜色编码的两个或更多个段的边界线时,各种实施方案可能不显示图9上所示的点。根据其他实施方案,边界线上的段的数量可小于三个或大于三个。实施方案可包括两种或更多种不同的技术来以图形方式区分第一连接区域和第二连接区域。例如,修改的图像可包括颜色编码(如图10所示)和边界线(如图12所示)两者。
[0065]
图2所示的方法200导致在显示设备118上将修改的超声视频数据显示为电影。同样,在图3所示的方法250中,迭代地重复步骤252、254、256、258、260和262可导致将修改的超声视频数据显示为电影。应当理解,在方法200和方法250两者中,处理器116可在修改的超声视频数据的各种帧中以图形方式不同地区分连接区域。例如,由于在超声视频数据的采集期间施加以引起移动的力,每个帧或修改的超声图像中的连接区域可以是不同的形状和/或位置。同样,处理器116可调整连接区域的图形区分方式,以反映当前超声图像中连接区域的大小和形状。处理器116可被配置为根据方法250近实时地显示修改的超声视频数据,因为由于在步骤256的每次迭代中识别连接区域以及在步骤258的每次迭代中生成修改的超声图像所需的处理而引入了小延迟。在采集超声视频数据之后,方法200以回顾的方式显示每个修改的超声图像,因为在步骤204处从存储器访问先前采集的超声视频数据。
[0066]
根据一个实施方案,处理器116可被配置为针对多个不同位置确定第一连接段与第二连接段之间的运动方向。图13是根据一个实施方案的修改的超声图像950。修改的超声图像950包括多个图标952,以便以图形的方式表示第一连接区域702与第二连接区域704之间的运动方向。图13中所示的图标952中的每个图标均为箭头。箭头的大小表示特定位置的相对移动量,并且箭头的方向表示移动的方向。例如,第一箭头966小于第二箭头968。另外,第一箭头966指向与第二箭头968不同的方向。第三箭头970的大小大体类似于第一箭头966,但指向不同的方向。这表明在由第一箭头966和第二箭头968指示的位置处的运动幅度由于运动在不同方向上而大体类似。在图13所示的实施方案中,箭头962中的每个箭头表示箭头下方组织的第一连接区域702与第二连接区域704之间的相对运动的方向和幅度。箭头也可被着色以传达运动的幅度或方向。例如,图13所示的箭头可基于组织运动的大体方向进行着色。第一连接区域702中的所有箭头都以第一颜色着色,以指示组织大体在从左到右的方向上移动,并且第二连接区域704中的所有箭头都以第二颜色着色,以指示组织大体在从右到左的方向上移动。根据实施方案,箭头952可基于第一连接区域702和第二连接区域704之间的相对移动幅度来着色。应当理解,处理器116可被配置为在将修改的超声图像显示为电影的同时针对每一帧或仅在一定数量的帧之后更新图标(诸如箭头)。虽然图13中示出了箭头,但根据其他实施方案,可使用不同类型的图形图标以图形方式示出在其他实施方案中第一连接区域702与第二连接区域704之间的相对运动的幅度和方向。
[0067]
根据其他实施方案,处理器116可被配置为使用颜色来指示各种连接区域之间的相对运动的方向和幅度。例如,处理器116可使用着色子区域来指示修改的超声图像中的每个超声图像中的运动的方向和幅度。常规彩色血流多普勒成像使用颜色来指示由脉冲波多普勒确定的血流方向和血流幅度。彩色血流多普勒成像使用第一颜色(通常为红色)来指示流向超声探头的血流,并且使用第二颜色(通常为蓝色)来指示远离超声探头的血流。此外,彩色血流多普勒成像中使用的颜色强度指示血流的速度,通常情况下,颜色强度越大(即,
根据惯例,蓝色或红色),速度越高。
[0068]
图14是根据一个实施方案的修改的超声成像980的表示。修改的超声图像980包括在第一连接区域702与第二连接区域704之间的边界线982。修改的超声图像980包括第一着色区域984、第二着色区域986、第三着色区域988、第四着色区域990、第五着色区域992、第六着色区域994和第七着色区域996。以与常规彩色血流多普勒成像中通常使用的方式在一定程度上类似的方式,处理器116可使用颜色来表示第一连接区域702与第二连接区域704之间的移动幅度和方向。例如,第一着色区域984和第二着色区域988均可以相同的颜色显示,并且第二着色区域986可以与由衬里表示的颜色不同的颜色显示。第四着色区域990和第六着色区域994以相同的颜色显示,并且第五着色区域992和第七着色区域996以与由衬里表示的颜色相同的颜色显示。根据一个实施方案,处理器116可确定平行于边界线982的移动方向,并且显示着色区域以表示第一连接区域702内相对于第二连接区域704的相对运动。处理器116可使用不同的颜色(如图14所示)或相同颜色的不同强度来指示第一连接区域702与第二连接区域704之间的不同移动速度。例如,第一着色区域984、第二着色区域986和第三着色区域988均沿着边界线982在第一方向上移动,因为它们都是第一连接区域702的一部分。第四着色区域990、第五着色区域992、第六着色区域994和第七着色区域996均沿着边界线982在第二相反方向上移动,因为它们都是第二连接区域704的一部分。可使用颜色或强度来以图形方式显示着色区域的移动方向和速度。根据一个实施方案,处理器116可仅对图像的在边界线982的特定距离内的一部分着色。在其他实施方案中,边界线982可不与着色区域同时显示。
[0069]
图9、图10、图11、图12、图13和图14各自表示根据用于例示性目的的各种实施方案的基于图8中所示的超声图像700的修改的超声图像的示例。可以预期的是,处理器116将生成多个修改的超声图像以显示为电影或视频。每个修改的超声图像均可基于从不同时间点采集的不同超声图像。可以预期的是,每个修改的超声图像中的连接区域的大小和形状可基于在超声视频数据的采集期间施加到解剖区域的力而不同。将修改的超声图像显示为电影或视频为临床医生提供了关于患者中任何连接区域的大小和形状以及每个连接区域如何相对于正在成像的解剖区域中的其他连接区域移动的反馈。这进而可用于确定患者的患者滑动征。
[0070]
应当理解,以上描述旨在是例示性的而非限制性的。例如,上述实施方案(和/或其方面)可以彼此组合使用。另外,在不脱离本发明的范围的情况下,可进行许多修改以使特定情况或材料适应本发明的教导。虽然本文描述的材料的尺寸和类型旨在限定本发明的参数,但它们决不是限制性的而是示例性实施方案。在回顾以上描述后,许多其他实施方案对于本领域技术人员将是显而易见的。因此,本发明的范围应该参考所附权利要求书以及此类权利要求书所赋予的等同物的全部范围来确定。在所附权利要求书中,术语“包括”和“在
……
中”用作相应术语“包含”和“其中”的通俗中文等同物。此外,在以下权利要求书中,术语“第一”、“第二”和“第三”等仅用作标记,而不旨在对其对象施加数字要求。此外,以下权利要求书的限制不是用装置加功能格式书写的,也不旨在基于35 u.s.c.
§
112(f)来解释,除非并且直到这些权利要求书限制明确地使用短语“用于
……
的装置”,然后是没有其他结构的功能陈述。
[0071]
该书面描述使用示例来公开本发明,包括最佳模式,并且还使本领域技术人员能
够实践本发明,包括制造和使用任何设备或系统以及执行任何包含的方法。本发明的专利范围由权利要求书限定,并且可包括本领域技术人员想到的其他示例。如果此类其他示例具有与权利要求书的字面语言没有区别的结构元素,或者如果它们包括与权利要求书的字面语言具有微小差别的等效结构元素,则此类其他示例旨在落入权利要求书的范围内。
当前第1页1 2 
网友询问留言 已有0条留言
  • 还没有人留言评论。精彩留言会获得点赞!
1