用于减少超声图像中的异常的系统和方法与流程

1.本文公开的主题的实施方案涉及超声成像，并且更具体地涉及用于减少超声图像中的异常的系统和方法。


背景技术：

2.医学超声是采用超声波来探测患者身体的内部结构(例如，器官、组织、骨等)并产生对应图像的一种成像技术。例如，超声机器可包括具有发射超声脉冲的多个换能器元件的探头。脉冲被身体中的结构反射(例如，产生回波)、折射或吸收。超声探头接收反射脉冲，并且该机器处理脉冲以形成图像。在一些情况下，例如，内部结构的超声图像在显示设备上的呈现实时或接近实时地发生，从而在医疗规程期间帮助临床医生。


技术实现要素：

3.在一个实施方案中，提供了一种方法，该方法包括组合多个子带分量以对由该多个子带分量的组合形成的第一超声图像中的异常进行衰减。基于从机器学习模型输出的多个自适应权重来组合该多个子带分量，并且其中该多个自适应权重与该多个子带分量相关联。该方法还包括为显示设备输出该第一超声图像。
4.在单独或与附图联系时，本说明书的以上优势以及其他优势和特征将从以下具体实施方式中显而易见。应当理解，提供以上概述是为了以简化的形式介绍在详细描述中进一步描述的一些概念。这并不意味着识别所要求保护的主题的关键或必要特征，该主题的范围由具体实施方式后的权利要求书唯一地限定。此外，所要求保护的主题不限于解决上文或本公开的任何部分中提到的任何缺点的实施方式。
附图说明
5.通过阅读以下详细描述并且参考附图，可以更好地理解本公开的各个方面，其中：
6.图1示出了超声系统的示例性实施方案的框图；
7.图2是示出根据示例性实施方案的用于处理超声图像的图像处理系统的示意图；
8.图3是根据示例性实施方案的超声图像数据的子带滤波的图形描绘；
9.图4是根据示例性实施方案的用于机器学习模型的训练过程的框图；
10.图5是根据示例性实施方案的超声图像处理序列的框图；
11.图6是根据示例性实施方案的用于处理超声图像的高级方法；
12.图7至图9示出了根据示例性实施方案的更详细超声图像处理方法的不同实施方案；
13.图10和图11示出了根据示例性实施方案的具有识别的异常的两个超声图像；以及
14.图12示出了根据示例性实施方案的被分为局部图像的示例性超声图像。
具体实施方式
15.以下描述涉及用于减少超声图像(诸如频率复合超声图像)中的伪影和其他异常的各种实施方案。超声成像可用于查看患者的内部结构(例如，器官、肌肉骨骼结构、循环结构等)，以有助于执行各种医学规程。频率复合(hd)是部署在某些超声处理策略中的技术，其中发射的超声脉冲的回波被滤波为不同的频率子带。随后，在图像处理链中，基于预先确定的权重来复合不同的子带频率以形成超声图像。选择预先确定的权重的量值可尝试平衡不同子带的声学属性。比如，较低频率子带可更深地穿透到被扫描对象中，而较高频率子带可具有较低穿透但较高分辨率的特性。
16.然而，在实施过程中，由于不同患者的衰减属性的可变性不可预测，图像异常发生在hd超声图像处理中。比如，使用受试者的身高、体重和/或其他外部物理度量来预测受试者的衰减属性可能会产生非常不准确的结果。在一种用例场景中，在谐波成像期间，图像中的雾度或杂波的量可取决于被扫描患者的物理状态，诸如胸部与肋骨之间的距离、肋间隙等，以及扫描期间探头的动作(例如，路径、取向等)。例如，如果散射离开患者肋骨的回响的存在相对较高，则可能期望滤波更大量的较低频率子带。在其他示例中，当较高频率子带未从超声图像中滤波时，可能发生伪影特定状况，诸如增加的信热噪声比，从而导致身体部分结构(例如，心脏和/或其他内部器官)信息的丢失。图像处理期间图像异常形成的机会增加减弱了超声图像用于诊断和其他医学规程的有效性。
17.根据本文所述的实施方案，可使用具有其中识别出异常的多个超声图像的样本数据集来训练机器学习模型(例如，卷积神经网络(cnn))。如本文所述，图像异常是在图像处理期间形成的超声图像(诸如伪影)中的不期望且不准确的图像特性(例如，图像畸变、不准确的结构细节等)。在训练后，将机器学习模型应用于子带分量，其中从超声数据中单独地滤波每个分量。该模型基于图像质量评分和/或识别一个或多个子带分量中的异常来自适应地对每个子带分量进行加权。随后，将加权子带分量组合以形成用于在显示设备上呈现的超声图像。这样，选择性地对子带频率进行衰减以减少并且在一些情况下消除超声图像中的异常。因此，提高了超声图像准确性，从而促进更准确的医学诊断和其他医学规程的改善。
18.根据本文所述的实施方案，全局图像的多个子区域的子带分量可由机器学习模型自适应地加权，从而实现更粒度化的子带频率抑制以进一步改善超声图像质量。
19.图1中示出了一种示例性超声系统，该示例性超声系统包括超声探头、显示设备和成像处理系统。使用超声探头，可采集并处理超声数据以形成具有减少数量的图像异常的超声图像，该图像异常呈现在显示设备上。通过部署受过训练的机器学习模型来实现图像异常的减少，该机器学习模型被设计成自适应地对图像的子带频率分量进行评分和加权。用于训练机器学习模型的模块以及该模型可存储在图像处理系统和/或训练系统中并由其执行，如图2所示。子带滤波技术的示例在图3中以图形方式示出。在一些示例中，可使用图4所示的过程来训练机器学习模型，并且可使用图5所示的并行子带处理序列来处理超声数据以用于图像形成。图6示出了超声图像处理方法的高级示例。图7至图9示出了用于超声图像处理的更详细方法的不同实施方案。图10至图11描绘了具有识别的异常的全局超声图像的示例。图12示出了被分为子区域的超声图像。
20.参见图1，示出了根据本发明的实施方案的超声成像系统100的示意图。超声成像
系统100包括发射波束形成器101和发射器102，该发射器驱动换能器阵列(本文中称为探头106)内的元件(例如，换能器元件)104，以将脉冲超声信号(本文中称为发射脉冲)发射到身体(未示出)中。根据一个实施方案，探头106可以是一维换能器阵列探头。然而，在一些实施方案中，探头106可以是二维矩阵换能器阵列探头。如以下进一步解释的，换能器元件104可包括压电材料。当向压电晶体施加电压时，晶体物理地膨胀和收缩，从而发射超声球波。这样，换能器元件104可将电子发射信号转换为声学发射波束。
21.在探头106的元件104将脉冲超声信号188发射到(患者的)身体中之后，脉冲超声信号从身体内部中的结构(如血细胞或肌肉组织)向后散射，以产生返回到元件104的回波。回波被元件104转换成电信号或超声数据，并且电信号被接收器108接收。表示所接收的回波的电信号穿过输出超声数据的接收波束形成器110。另外，换能器元件104可根据所接收的回波产生一个或多个超声脉冲以形成一个或多个发射波束。
22.根据一些实施方案，探头106可包含电子电路来执行发射波束形成和/或接收波束形成的全部或部分。例如，发射波束形成器101、发射器102、接收器108和接收波束形成器110的全部或部分可位于探头106内。在本公开中，术语“扫描”或“扫描中”可也用于指通过传输和接收超声信号的过程来采集数据。本公开中，术语“数据”可以用于指称用超声成像系统来采集的一个或多个数据集。在一个实施方案中，经由超声成像系统100采集的数据可用于训练机器学习模型和/或由机器学习模型处理。用户界面115可用于控制超声成像系统100的操作，包括用于控制患者数据(例如，患者病史)的输入、用于改变扫描或显示参数、用于启动探头复极化序列等。用户界面115可包括以下项中的一者或多者：旋转元件、鼠标、键盘、轨迹球、链接到特定动作的硬键、可被配置为控制不同功能的软键，以及显示在显示设备118上的图形用户界面。
23.超声成像系统100还包括处理器116，该处理器用以控制发射波束形成器101、发射器102、接收器108和接收波束形成器110。处理器116与探头106进行电子通信(例如，通信地连接)。出于本公开的目的，术语“电子通信”可被定义为包括有线通信和无线通信两者。处理器116可以根据存储在处理器的存储器、和/或存储器120上的指令来控制探头106以采集数据。处理器116控制元件104中的哪些是活动的以及从探头106发射的波束的形状。处理器116还与显示设备118进行电子通信，并且处理器116可将数据(例如，超声数据)处理成图像以用于在显示设备118上显示。处理器116可包括根据一个实施方案的中央处理器(cpu)。根据其他实施方案，处理器116可以包括能够执行处理功能的其他电子部件，诸如数字信号处理器、现场可编程门阵列(fpga)或图形板。根据其他实施方案，处理器116可包括能够执行处理功能的多个电子部件。例如，处理器116可包括从电子部件的列表中选择的两个或更多个电子部件，这些电子部件包括：中央处理器、数字信号处理器、现场可编程门阵列和图形板。根据另一个实施方案，处理器116可还包括解调rf数据并且生成原始数据的复合解调器(未示出)。在另一个实施方案中，解调可以在处理链中较早地执行。处理器116适于根据数据上的多个可选超声模态来执行一个或多个处理操作。在一个示例中，可在扫描会话期间实时处理数据，因为回波信号被接收器108接收并且被传输至处理器116。出于本公开的目的，术语“实时”被定义为包括在没有任何有意延迟的情况下执行的过程。例如，实施方案可以7帧/秒(sec)至20帧/秒(sec)的实时速率采集图像。超声成像系统100可以显著更快的速率采集一个或多个平面的2d数据。然而，应当理解，实时帧速率可取决于采集用于显示的每
帧数据所花费的时间长度。因此，当采集相对大量的数据时，实时帧速率可能较慢。因此，一些实施方案可具有显著快于20帧/秒的实时帧速率，而其他实施方案可具有低于7帧/秒的实时帧速率。数据可在扫描会话期间临时存储在缓冲器(未示出)中，并且在实时或离线操作中以不太实时的方式处理。该系统的一些实施方案可包括多个处理器(未示出)，以处理根据上文所述的示例性实施方案由处理器116处置的处理任务。例如，在显示图像之前，第一处理器可用于解调和抽取rf信号，而第二处理器可用于进一步处理数据(例如，通过如本文详述的那样扩充数据)。应当理解，其他实施方案可使用不同的处理器布置方式。
24.超声成像系统100可以例如10赫兹(hz)至30hz的帧速率(例如，10帧/秒至30帧/秒)连续采集数据。根据数据生成的图像可以在显示设备118上以相似的帧速率刷新。其他实施方案可以不同速率采集并且显示数据。例如，根据帧的大小和预期的应用，一些实施方案可以小于10hz或大于30hz的帧速率采集数据。包括存储器120，用于存储已处理的采集数据的帧。在示例性实施方案中，存储器120具有足够的容量来存储至少几秒钟的超声数据帧。数据帧的存储方式便于根据其采集顺序或时间进行检索。存储器120可包括任何已知的数据存储介质。
25.在本系统的各种实施方案中，处理器116可以不同的模式相关模块(例如，b模式、彩色多普勒、m模式、彩色m模式、频谱多普勒、弹性成像、组织速度成像(tvi)、应变、应变速率等等)来处理数据，以形成2d或3d数据。例如，一个或多个模块可生成b模式、彩色多普勒、m模式、彩色m模式、频谱多普勒、弹性成像、tvi、应变、应变速率以及它们的组合，等等。作为一个示例，一个或多个模块可处理彩色多普勒数据，其可包括传统彩色血流多普勒、功率多普勒、hd流，等等。图像线和/或帧存储在存储器中，并且可包括指示图像线和/或帧存储在存储器中的时间的定时信息。这些模块可包括例如扫描转换模块，用于执行扫描转换操作，以将所采集的图像从波束空间坐标转换为显示空间坐标。可以提供视频处理器模块，该视频处理器模块从存储器读取所采集的图像并且在对患者执行规程(例如，超声成像)时实时显示图像。视频处理器模块可包括单独的图像存储器，并且超声图像可被写入图像存储器以便由显示设备118读取和显示。
26.在各种实施方案中，超声成像系统100的一个或多个部件可包括在便携手持式超声成像设备中。例如，显示器118和用户界面115可以集成到手持式超声成像设备的外部表面中，该手持式超声成像设备可还包含处理器116和存储器120。探头106可以包括与手持式超声成像设备进行电子通信以收集原始超声数据的手持式探头。发射波束形成器101、发射器102、接收器108和接收波束形成器110可以包括在超声成像系统100的相同或不同部分中。例如，发射波束形成器101、发射器102、接收器108和接收波束形成器110可以包括在手持式超声成像设备、探头以及它们的组合中。
27.在执行二维超声扫描之后，生成包含扫描线及其样本的数据块。在应用后端滤波器之后，执行称为扫描转换的过程，以将二维数据块变换为具有附加扫描信息(诸如深度、每条扫描线的角度等)的可显示的位图图像。在扫描转换期间，应用内插技术来填充所得图像中的丢失的孔(即，像素)。出现这些丢失的像素是因为二维块的每个元素通常应该覆盖所得图像中的许多像素。例如，在当前超声成像系统中，应用了双三次插值，其利用了二维块的相邻元素。因此，如果与位图图像的尺寸相比，二维块相对较小，则扫描转换后的图像将包括分辨率差或分辨率低的区域，特别是对于深度较大的区域。
28.可进一步处理由超声成像系统100获取的超声图像。在一些实施方案中，由超声成像系统100产生的超声图像可被传输到图像处理系统，其中在一些实施方案中，超声图像可被分为子带并且使用利用超声图像训练的机器学习模型基于图像质量来加权。来自机器学习模型的加权输出可以是地面实况输出。如本文所用，地面实况输出是指基于到机器学习模型中的给定输入的预期或“正确”输出。例如，如果机器学习模型正在被训练以识别光晕异常，则模型的地面实况输出在被馈送具有光晕异常的图像时识别例如具有标签“光晕异常”的区域。
29.尽管在本文被描述为单独的系统，但应当理解，在一些实施方案中，超声成像系统100包括图像处理系统。在其他实施方案中，超声成像系统100和图像处理系统可包括单独的设备。在一些实施方案中，可使用超声成像系统100所产生的图像用作用于训练一个或多个机器学习模型的训练数据集，其中如下所述，可使用机器学习模型来执行超声图像处理的一个或多个步骤。然而，在其他实施方案中，可从其他来源获得用于模型训练的数据。
30.参见图2，其示出了根据示例性实施方案的图像处理系统202。在一些实施方案中，图像处理系统202结合到超声成像系统100中。在一些实施方案中，图像处理系统202的至少一部分设置在经由有线连接和/或无线连接通信地耦合到超声成像系统的设备(例如，边缘设备、服务器等)处。在一些实施方案中，图像处理系统202的至少一部分设置在单独的设备(例如，工作站)处，该单独的设备可从超声成像系统或从存储超声成像系统所生成的图像/数据的存储设备接收图像/标测图。图像处理系统202可以可操作地/通信地耦合到用户输入设备221和显示设备223。
31.图像处理系统202包括处理器204，该处理器被配置为执行存储在非暂态存储器206中的机器可读指令。处理器204可以是单核或多核的，并且在其上执行的程序可以被配置用于进行并行或分布式处理。在一些实施方案中，处理器204可以可选地包括分布在两个或更多个设备中的单独组件，其可以被远程定位和/或配置用于协调处理。在一些实施方案中，处理器204的一个或多个方面可被虚拟化并由以云计算配置进行配置的可远程访问的联网计算设备执行。
32.非暂态存储器206可存储机器学习模型210和超声图像数据212。另外，训练模块208被示为存储在训练系统232的非暂态存储器230中。机器学习模型210的实例也被示为存储在非暂态存储器230中。训练系统232可包括远离图像处理系统202的交互式计算设备(例如，工作站)、服务器、输入设备、它们的组合等。然而，在其他实施方案中，训练模块208附加地或另选地可存储在图像处理系统202的非暂态存储器206中。例如，在一些示例中，训练系统232的特征可被结合到图像处理系统202中。
33.训练模块208包括用于训练机器学习模型210的指令，诸如训练例程、与机器学习模型相关联的参数等。训练模块中的例程可利用具有超声图像216的样本数据集214。样本数据集可经由便携式驱动器(例如，usb驱动器)、网络(例如，互联网、局域网等等)等上传到训练系统232。因此，训练系统232的非暂态性存储器230可存储从一个或多个外部来源(例如，医学和/或学术数据库、医学和/或学术网络等等)接收的样本数据集214。在一些示例中，样本数据集214附加地或另选地可被发送到图像处理系统202并存储在其中的存储器206中。样本数据集214包括由训练模块用于模型训练的多个超声图像216。比如，样本数据集214可以包括来自多个来源(例如，医院、数据库等)的超声图像。在一个示例中，超声图像
可各自被分为两个或更多个子带。详细来讲，多个超声图像216中的每一个超声图像可被细分为形成全局图像的子带分量。比如，类似于具有三个分量(例如，红色、绿色和蓝色)的彩色图像，在全局超声图像中，子带分量保持共同的空间关系。在一个示例中，用户(诸如专家)可以被给定机会手动调整每个图像的子带，以生成每个图像的与图像的期望图像质量(例如，理想或接近理想的图像质量)相对应的期望权重。较高的图像质量可表示图像中的较少数量的异常(例如，伪影)，而较低的图像质量可表示图像中的较多数量的异常。专家可以是具有例如通过教育和/或专业方式获得的知识的人(例如，临床医生、医疗专业人员、监督人等)，使得他们能够判断超声图像质量和/或确定图像异常。然而，在其他示例中，样本数据集214中的超声图像216可以与其子带已经具有与期望图像质量相对应的权重的图像一起被发送到训练系统和/或图像处理系统。在样本数据集中的图像具有指示期望图像质量的权重之后，训练模块208可使用样本数据集进行机器学习模型训练，如本文更详细地描述。
34.附加地或另选地，当训练系统232接收到样本数据集214时，该数据集可包括预先识别的异常(例如，伪影)。然而，在其他示例中，类似于由系统用户执行的上述子带加权过程，可向训练系统232的用户给定图像以用于异常识别。例如，在异常识别(例如，标记)阶段期间，用户(例如，专家)可通过在伪影周围绘制轮廓或经由预先确定的几何形状(例如，矩形、三角形等)界定伪影来识别伪影。然后将边界(例如，用户绘制的线、矩形等)与识别异常(例如，伪影)的标签一起存储。该标签可由用户选择或以其他方式输入。这样，异常(例如，伪影)也可由系统用户分类。然而，在其他示例中，该数据集可包括预先分类的伪影。异常分类方案可使用以下伪影类别、类型等中的一个或多个进行分类：预期在子带之间显著不同的伪影，诸如：回响或杂波伪影(雾度)、光晕伪影、热噪声伪影(结构信息相对于热噪声的损失/弱化)、波束宽度/旁瓣伪影；以及更间接地受接收频带选择影响的其他类型的伪影，诸如：声音增强、声影(acoustic shadowing)、彗星尾伪影(comet tail artifact)和/或振铃伪影(ring down artifact)。训练模块208可使用样本数据集中的识别的异常进行机器学习模型训练。
35.另外，在一些示例中，样本数据集214中的每个图像均可具有指示与该图像相关联的探头的位置和取向的“视图”。在一个示例中，视图数据可由用户手动指定。然而，在其他示例中，视图数据可由可存储在训练系统232中的单独神经网络(例如，视图检测网络)自动检测。在一个示例中，训练模块208还可以使用与样本数据集214中的多个图像216相关联的视图进行机器学习模型训练。
36.训练模块208包括用于训练机器学习模型210的指令。如先前所讨论的，机器学习模型210的实例也可存储在训练系统232的存储器230中。训练模块208和机器学习模型210被示为不同的存储器组成。然而，在其他示例中，训练模块208可存储在机器学习模型210内。训练模块208可包括指令，该指令在由处理器233执行时使训练系统232进行在下面详细地讨论的过程400的步骤中的一个或多个步骤。一般来讲，该模型被训练以输出由具有较少异常并因此具有较高图像质量的子带形成的复合图像。当样本数据集214包括识别的异常时，在训练阶段中，可训练机器学习模型以识别不同的伪影。在一个示例中，为此可使用对象检测网络(诸如掌中宽带)。然而，已经设想了其他合适的检测网络。
37.应当理解，当完成模型训练时，训练系统232可将受过训练的机器学习模型210发
送到图像处理系统202。具体地，在一些示例中，训练系统232可响应于训练系统更新机器学习模型而将该模型更新发送(例如，周期性地发送)到图像处理系统202。
38.在训练之后，机器学习模型210准备自适应地对图像质量进行评分，并且基于伪影衰减的分数来对子带分量进行加权。详细来讲，评分模块218和加权模块220在该模型中提供评分和加权功能性。随后，将子带重组(如，复合)以形成具有较少异常并提高图像质量的图像。减少异常允许医疗专业人员和超声系统的其他用户提高诊断准确性，以及由于超声图像更接近地类似于受试者的内部结构而实现其他医疗规程的改善。
39.在其他示例中，使用异常识别模块222的机器学习模型210可识别子带分量中的异常(例如，伪影)，并且在一些情况下对异常进行分类，然后使用识别和/或分类的异常自适应地对子带分量进行加权以便对异常进行衰减。比如，在一种用例场景中，如果在图像的右下象限中识别到异常并且该异常与高频率子带相关联。换句话讲，高频率子带形成和/或放大伪影。右下图像象限的高频率子带可被给定相对较小的权重，而左上象限和左下象限将相应地被给定相对较大的权重。
40.在加权后，子带分量可组合(例如，复合)以形成全局超声图像。如本文所述，全局超声图像具体体现了由超声探头接收的回波波场的宽度。
41.为了实现图像评分和加权和/或异常识别功能性，机器学习模型210可包括网络，诸如深度学习网络，包括多个权重和偏差、激活函数、损失函数、梯度下降算法，以及用于实现一个或多个深度神经网络以处理输入超声图像的指令。因此，机器学习模型210可包括受过训练的和/或未受过训练的神经网络以及与存储在其中的一个或多个神经网络模型相关联的参数(例如，权重、评分函数、偏差等)。机器学习模型210可输出与超声图像的图像质量相关联的分数和权重。例如，机器学习模型210可存储用于实现神经网络的指令，该神经网络诸如人工神经网络(例如，卷积神经网络(cnn)(例如，vgg16)、残差神经网络(resnet)(例如，resnet50、resnet18等等)等)。因此，在一些实施方案中，神经网络可穿过卷积层的叠层传递图像，其中将充当线性变换、最大池化操作等的卷积滤波器应用于图像/在图像上执行，并且为每个图像子带提供权重值输出。然而，已经设想了允许输出加权子带值的许多合适的神经网络处理方案。
42.在一些实施方案中，机器学习模型210可响应于超声探头的取向变化和/或与不同患者相对应的新超声图像会话的发起，以更新之间的固定时间间隔连续动态地更新用于不同子带的自适应加权方案。在此类示例中，训练数据集将包括与每个图像相关联的探头位置和取向(例如，超声环境中的“视图”)，并且探头取向变量可被结合到模型中。这样，加权技术可以自适应地更新以考虑患者的内部子结构(例如，内部器官)位置中的不同位置，并且因此考虑不同患者的回波特性，以实现图像质量的更大改善。新成像会话可被定义为系统转换，其中已停止对一个患者进行扫描，并且开始对新患者进行扫描。
43.非暂态存储器206还可存储超声图像数据212，诸如图1的超声成像系统所捕获的超声图像。例如，超声图像数据212可存储超声图像、地面实况输出、子带评分和加权、识别的异常、机器学习模型输出的迭代以及其他类型的超声图像数据。在一些实施方案中，超声图像数据212可以有序格式存储超声图像和地面实况输出，使得每个超声图像均与一个或多个对应的地面实况输出相关联。
44.在一些实施方案中，非暂态存储器206可以包括设置在两个或更多个设备上的组
件，这些组件可以被远程定位和/或配置用于协调处理。在一些实施方案中，非暂态存储器206的一个或多个方面可以包括以云计算配置进行配置的可远程访问的联网存储设备。
45.用户输入设备221可包括触摸屏、键盘、鼠标、触控板、运动感测相机或被配置为使得用户能够与图像处理系统31内的数据交互并操纵该数据的其他设备中的一者或多者。在一个示例中，用户输入设备221可使得用户能够选择超声图像以用于使用受过训练的机器学习模型进行进一步处理。又如，用户输入设备227(例如，触摸屏、键盘、鼠标等)可使得用户能够在模型训练、选择训练模块208所使用的图像等之前手动调整图像的加权。
46.显示设备223可包括几乎利用任何类型技术的一个或多个显示设备。在一些实施方案中，显示设备223可包括计算机监视器，并且可显示超声图像。显示设备223可与处理器204、非暂态存储器206和/或用户输入设备221组合在共享的封装件中，或者可以是外围显示设备，并且可包括监视器、触摸屏、投影仪或本领域已知的其他显示设备，该其他显示设备可使得用户能够查看由超声成像系统产生的超声图像和/或与存储在非暂态存储器206中的各种数据交互。
47.图2所示的图像处理系统202是说明性的，而非限制性的。另一种合适的图像处理系统可包括更多、更少和/或不同的部件。
48.图3示出了用于将由探头检测到的超声数据分为多个子带分量的技术的图形描绘。应当理解，子带分可由分别如图1和图2所示的超声成像系统100、训练系统232和/或图像处理系统200来执行。
49.图形300在横坐标上指示频率，并且频率量值在纵坐标上。曲线图302对应于由探针发射的超声脉冲(例如，宽带超声脉冲)。曲线图304是由探头接收到的回波的第一子带分量，而曲线图306是由探头接收到的波的第二子带分量。因此，第一子带分量和第二子带分量对应于来自从被扫描受试者反射离开的发射脉冲的波的不同频率范围。因此，子带可至少大致覆盖超声脉冲场的范围。在所示实施方案中，第一子带频率范围与第二子带频率范围略微重叠。然而，在其他示例中，子带范围可以不重叠。尽管示出了两个子带分量(例如，较高和较低子带)，但是应当理解，回波可被解析成更多数量的子带。比如，在一个示例中，可存在低子带、中带和高带。在其他示例中，可使用四个或更多个子带。
50.转到图4，示出了用于训练图2所示的机器学习模型210的过程400的实施方案。因此，卷积神经网络(cnn)406是图2所示的机器学习模型210的示例。图4所示的过程400本质上是示例性的，并且应当理解，已经设想了其他模型训练过程，诸如单独识别伪影的训练技术。本文更详细地描述了伪影识别训练过程。
51.过程400被示为包括用于识别模型误差以提高模型的输出的准确性的正向传递402和反向传播误差404。反向传播误差404计算下降梯度以对模型的输出进行加权。然后误差以向后的方式分布于整个网络的层中。
52.在正向传递中，在408处，将图像输入cnn 406或其他合适类型的机器学习模型中。在被馈送图像之后，cnn在410处输出权重。cnn可对图像数据中的子带进行评分，然后使用分数来生成子带的权重。
53.在412处，然后将输出权重馈送到损失函数411中。在414处，损失函数411将来自cnn的输出权重映射到输入该损失函数中的期望的输出权重。期望的输出权重可为由用户通过手动子带加权控制生成的权重。
54.在416处，损失函数的输出可被表达为损失偏差(例如，成本值)。然后在417处，将损失偏差反馈到cnn 418的另一个实例中以执行反向传播误差。因此，cnn可被训练和更新以改善加权方案以便减少图像异常。可使用图4所示的技术来处理样本数据集中的每个图像。
55.图5示出了可在训练机器学习模型后发生的超声图像处理序列的框图500。图5所示的图像处理序列可使用分别在图1和图2中所示的超声成像系统100和/或图像处理系统200来实现。
56.在502处，实现从超声探头获得的图像数据的波束形成。波束形成可包括调整从超声探头接收的回波数据的参数以形成图像。详细来讲，可调整信号的振幅和/或相位以形成期望的干涉图案。可以考虑诸如侧向分辨率和轴向分辨率、景深、对比度、帧速率、它们的组合等参数来形成干涉图案。然而，已经设想了多种波束形成技术。
57.在波束形成后，使用504处的较高频率解调和滤波以及506处的较低频率解调和滤波来分经波束形成的图像数据。这样，经波束形成的图像数据被细分为多个子带。尽管图5中的用例示例仅将图像数据细分为较高子带和较低子带，但是应当理解，在其他示例中，图像数据可被细分为三个或更多个子带。对经波束形成的图像数据进行解调和滤波可包括将数据传递通过高通滤波器、低通滤波器和/或带通滤波器以对图像进行细分。在细分时，较高子带分量和较低子带分量可保持共同的空间关系。比如，在一些情况下，子带分量可共享共同的原点以及共同的空间边界。
58.接下来在508和510处，分别对较高频率子带分量和较低频率子带分量执行检测。具体地，在一个实施方案中，可对较高频率子带图像分量和较低频率子带图像分量两者执行正交(iq)检测。正交检测方法可将同相正弦曲线和正交相位正弦曲线与输入信号(即，对应的子带分量)混合。然而，在其他实施方案中，可利用其他检测处理技术。
59.在512处，使用机器学习模型对较高频率子带分量进行加权。比如，深度学习网络可根据子带分量不具有伪影或其他异常的概率对子带分量进行分类。在514处，使用机器学习模型对较低频率子带分量相应进行加权。同样，对频率子带进行加权可包括使用深度学习网络来生成子带不包括异常的概率。
60.在515处，基于对不同子带分量的加权，将加权子带分量组合(例如，复合)以形成全局超声图像。例如，有较高概率包括异常的子带分量可被给定权重，该权重小于具有较低异常概率的另一个子带分量的权重。这样，可抑制有表现出异常的更多机会的子带以改善图像质量。组合子带分量还可包括将子带分量布置在共同的空间位置中。
61.在515后，该过程可输出超声图像以供显示。接下来，在516处，在显示设备上呈现全局超声图像。
62.图6示出了用于操作超声系统的高级方法600。方法600以及本文的其他方法可由以上参照图1至图2所述的系统、部件、设备等中的任一者来实现。然而，在其他示例中，方法600可由其他合适的系统、部件、设备等执行。用于执行方法600和/或本文所述的其他方法的指令可至少部分地由处理器基于存储在存储器(例如，非暂态存储器)中的指令来执行。此外，方法600和本文所述的其他图像处理方法、技术等可以实时或接近实时地执行，以使得成像诊断或其他成像插值能够与受试者扫描协同地发生。此外，方法600也可在机器学习模型的训练(诸如图4所示的训练过程)之后发生。
63.在602处，该方法包括使用超声探头发射超声脉冲。比如，用户(诸如医疗专业人员)可操纵超声探头以在患者或其他合适的受试者的方向上发射脉冲。在某些实施方案中，超声探头可具有由系统确定的特定空间取向和位置(例如，视图)。
64.接下来在604处，该方法包括生成与由超声系统并且具体地由探头检测到的反射(例如，回波)超声脉冲相对应的超声数据。比如，指示由超声探头检测然后生成的回波脉冲的信号可被波束形成以产生超声图像数据。
65.在606处，该方法包括将超声数据滤波为多个子带分量。比如，可使用滤波器或其他合适的技术将图像数据分为具有公共的空间位置的两个或更多个子带分量。
66.接下来，在608处，该方法包括组合(例如，复合)多个子带分量以由多个子带分量形成超声图像以便减少图像异常。比如，该模型可输出加权子带，该加权子带有利于具有较少伪影的子带，同时抑制被识别为具有更多数量伪影的子带。子带具有公共的空间位置，并且因此被组合，同时保持预定义的空间定位。在用例示例中，在扫描中，随着超声波横穿受试者，较高频率脉冲分量逐渐耗尽。因此，在图像复合期间，该模型可对近场(例如，较浅深度)中的较低频率分量进行衰减，其中由回响引起的雾度将是更可能的，同时增强远场(例如，较大深度)中的低频分量，其中较高频率分量将没有足够的穿透并且反而显露伪影。图7至图9中示出了超声图像形成中的异常抑制的更详细方法，这在本文更详细地描述。
67.在610处，该方法包括响应于超声探头的取向(例如，视图)的变化和/或新超声图像会话的发起，以更新之间的固定时间段(例如，每秒)连续动态地更新机器学习模型。比如，当新超声成像会话开始时或者当医疗专业人员调整探头的位置和取向以获得新视图时，可动态地调整机器学习模型中的权重。应当理解，在其他示例中，步骤610可从该方法中省略。
68.在612处，该方法包括输出超声图像以呈现在显示设备上。比如，系统可输出有线和/或无线信号，以用于由医疗专业人员或其他合适的用户监视的显示器。方法600使得能够由系统生成更准确的超声图像，从而允许由医疗专业人员执行更可信诊断。
69.图7示出了详细方法700，其中处理全局超声图像的子带以用于异常减少。在702处，该方法包括将超声数据滤波为多个子带分量。超声数据对应于由超声探头接收到的回波数据的宽度。同样，子带(诸如较高频率子带和较低频率子带)可用作细分方案，并且该分量可具有共同的空间关系。
70.在704处，该方法包括使用机器学习模型自适应地对多个子带分量中的每个子带分量的图像质量进行评分。子带分量分数指示子带分量中存在一个或多个异常的可能性。因此，较高的图像质量分数可指示较少数量的图像异常，而较低的图像质量分数可指示较多数量的图像异常。
71.在706处，该方法包括使用机器学习模型基于经评分的图像质量对子带分量进行加权。例如，可比较来自步骤704的分数以生成被分配给每个频率子带分量的权重。例如，权重可以是分数的求和的比率。
72.在708处，该方法包括使用子带分量权重来复合多个子带分量以形成全局超声图像。因此，具有较小权重的分量被衰减以减少全局图像中的异常的实例。方法700允许图像中的图像异常整体地减少以再次改善诊断和采用超声成像的其他医学规程。
73.图8示出了用于处理不同空间部分中的超声图像的详细方法800。在802处，该方法
包括将超声图像数据细分为多个空间区域(例如，局部图像)。比如，超声数据可以被细分为多个矩形图块。在此类示例中，比如类似于位图索引，连续图块可以彼此相邻布置。然而，已经设想了用于几何分图像的其他方案，诸如三角形子图像、具有变化的形状的子图像等。图12示出了在显示器1202上呈现的已被细分为子图像1204的全局图像1200的示例。尽管在图12中示出了四个子图像，但是应当理解，已经设想了具有较大数量的子图像的图像。
74.在804处，该方法包括将每个空间区域滤波为多个子带分量。同样，子带对应于不同的频率范围。在806处，该方法包括针对每个空间区域使用机器学习模型自适应地对子带分量中的每个子带分量进行评分。同样，分数可指示该分量含有或以其他方式表现出一个或多个图像异常的机会。
75.在808处，该方法包括针对每个空间区域使用机器学习模型对经评分的子带分量中的每个子带分量进行加权。同样，可比较经评分的子带(例如，对其求和)以生成比较权重。在810处，该方法包括针对每个空间区域组合相关联的子带分量以形成区域图像。比如，区域图像可为图12所示的子图像1204(例如，象限)中的一个子图像。
76.继续图8，在812处，该方法包括在空间上布置多个图像以形成全局超声图像。例如，当空间区域的形状为矩形时，相邻矩形可彼此相邻放置以形成聚合图像。同样，例如参见图12，全局图像可由子图像1204的组合形成。这样，可形成聚合图像。
77.图9示出了用于超声图像处理的方法900，其中异常(例如，伪影)以目标方式被识别和衰减。类似于步骤802和804，在902处，该方法包括将超声图像数据细分为多个空间区域(例如，子图像)，并且在904处，该方法包括将每个空间区域滤波为多个子带分量。
78.接下来在906处，该方法包括使用机器学习模型来识别多个空间区域中的一个或多个空间区域中的异常。详细来讲，在一个示例中，机器学习模型可用概率值识别一个或多个不同的伪影，然后该值可用于确定子带的权重。如先前所讨论的，当训练数据集包括预先识别的伪影时，在机器学习模式的训练期间，可经由合适的网络(诸如掌中宽带)训练该模型。
79.识别异常可包括在908处对异常进行分类。在分类中使用的伪影的类型可包括光晕伪影、回响伪影和/或相对于热噪声减少的结构信号，以及次级效应(如声音增强伪影、声影、波束宽度/旁瓣伪影和/或彗星尾伪影)。
80.在910处，该方法包括自适应地对在其中识别出异常的一个或多个区域以与被确定为不存在异常的剩余空间区域的方式进行加权。例如，可在全局图像的左下象限中识别出异常。该异常可被分类为由较高频率分量加剧的伪影(例如，光晕伪影)。在此类示例中，左下象限中的较高频率分量可被给定权重，该权重比左下象限中的较低频率分量低得多。又如，左下图像象限中的子带可被确定为比左下图像象限中的另一个子带具有较多多数量的异常。在此类示例中，具有较多数量的异常的子带可被给定权重，该权重比具有较少异常的其他子带更小。
81.在912处，该方法包括基于权重在空间区域中的每个空间区域中的子带分量复合。因此，将子带与衰减的异常进行重组。在914处，该方法包括在空间上布置多个图像以形成全局超声图像。例如，类似于步骤812，当空间区域的形状为矩形时，相邻矩形可彼此相邻放置以形成聚合图像。方法900允许以区域方式执行更有针对性的异常抑制，从而能够进一步获得图像质量增强并且能够具体地实现成像准确性。
82.图10和图11描绘了呈现在显示器1002上的超声图像1000和1100的用例示例，其举例说明伪影和超声图像中可能存在的其他异常。可通过本文所述的图像处理技术来抑制图像中的伪影。显示器1002是图1所示的超声成像系统100中的显示设备118的示例。
83.具体地，图10示出了低频子带权重设置过低从而在1003处导致患者的子结构周围雾度的图像1000。因此，患者子结构看起来有脂肪并且没有特征。低频子带不足还会造成在1004处回响和雾度覆盖顶点。因此，采用本文所述的受过训练的机器学习模型的图像处理技术可增加图10所示的图像1000中的低频子带的权重，以减少图像中的雾度和回响。
84.图11示出了高频率子带权重设置过高从而导致在1102处一些患者的结构在波动噪声中部分不可见的图像1100。高频率子带的强反射器也会造成1104处所指示的光晕伪影。采用本文所述的受过训练的机器学习模型的图像处理技术可减小高频率子带的权重以对光晕伪影进行衰减(例如，消除)，并且提供受试者的结构的更多可见性。
85.使用机器学习模型来减少由超声系统生成的超声图像中的异常(例如，伪影)的技术效果是经由减少伪影来提高图像的关于受试者的底层结构的描绘的准确性。提高图像准确性使得系统用户(诸如医疗专业人员)能够执行更可信诊断。
86.在另一种表示中，提供了一种超声图像处理方法，该超声图像处理方法包括在处理序列中，在波束形成后使用卷积神经网络分析多个超声图像频率子带以确定频率子带包括伪影的概率，并且使用概率之和重组多个被分析的频率子带以形成超声图像输出以便呈现在超声系统中的显示器上。
87.当介绍本公开的各种实施方案的元件时，词语“一个”、“一种”和“该”旨在意指存在这些元件中的一个或多个元件。术语“第一”、“第二”等不表示任何顺序、量或重要性，而是用于将一个元件与另一个元件区分开。术语“包含”、“包括”和“具有”旨在是包含性的，并且意指除了列出的元件之外还可存在附加元件。如本文使用术语“连接到”、“耦合到”等，一个对象(例如，材料、元件、结构、构件等)可以连接到或耦合到另一个对象，而无论该一个对象是否直接连接或耦合到另一个对象，或者在该一个对象和另一个对象之间是否存在一个或多个介入对象。此外，应当理解，对本公开的“一个实施方案”或“实施方案”的引用不旨在被解释为排除也包含所引用特征的附加实施方案的存在。如本文所述，除非另外指明，否则“大约”是指在
±
5％内的值。
88.除了任何先前指示的修改之外，本领域技术人员可以在不脱离本描述的精神和范围的情况下设计出许多其他变型和替换布置，并且所附权利要求书旨在覆盖此类修改和布置。因此，尽管上面已经结合当前被认为是最实际和最优选的方面对信息进行了具体和详细的描述，但对于本领域的普通技术人员将显而易见的是，在不脱离本文阐述的原理和概念的情况下，可以进行许多修改，包括但不限于形式、功能、操作方式和使用。同样，如本文所使用的，在所有方面，示例和实施方案仅意图是说明性的，并且不应以任何方式解释为限制性的。