自动超声波束操纵和探针伪影抑制的制作方法

本申请要求享有于2013年12月20日递交的美国临时专利申请No.61/918,912的权益，将其通过引用并入本文。

技术领域

本发明涉及在超声图像中分割医学仪器，更具体地涉及动态地响应于采集图像而执行分割。在本专利申请中，给定系统的处理限制和准确测量完成任务所需要的数据所要求的时间，将“动态地”或“实时”执行解释为在没有故意延迟的情况下完成数据处理任务。

背景技术：

超声(US)图像引导通过使得能够对解剖背景内的探针位置进行实时可视化来提高探针引导过程的安全性和效率。在过去几年里，使用超声方法(例如，电子波束操纵)来增强在超声引导过程中探针的可见性已经成为有重要竞争力的领域。

虽然实时3D超声是可用的，但是2DUS由于其增加的可用性和简化的可视化能力而被更广泛地用于基于探针的临床过程。

利用2DUS，可以在与探针取向垂直的横向方向上电子地操纵US波束，从而产生剧烈地增强探针可视化的强镜面反射。

因为通常开始并不知道探头相对于探针的当前取向，所以实现关于探针的常态(normality)所需要的波束操纵角也是未知的。

另外，当探针在US成像平面内并未直接对准时和/或背景组织包含其他线性镜面反射器(例如，骨头、筋膜或组织边界)时，难以进行可视化。

另外，由于各种原因而在图像中出现伪影，例如，由以较大角度操纵线性阵列而摩擦叶以及来自上述线性和其他镜面反射器的镜面回声对以90度或接近90度的超声入射引起剧烈的衰减变化。

Cheung等人的“Enhancement of Needle Visibility in Ultrasound-Guided Percutaneous Procedures”(下文称作“Cheung”)公开了在超声图像中自动分割探针并确定最佳波束操纵角。

问题在于类似探针的镜面结构干扰探针检测。斑点噪声和成像伪影还会妨碍检测。

Cheung中的解决方案是用户轻摇探针，由此基于差值图像来辅助分割。

另外，Cheung要求在关于搜索探针的范围不同的模式之中进行切换的用户交互。例如，当探针不在视场内时需要用户重置搜索范围。

Cheung分割还依赖于采用具有窄范围效力的阈值的基于强度的边缘检测。

技术实现要素：

本文提出的内容解决了上述关注中的一个或多个。

除了上述可视化困难外，当探针尚未深度插入到组织中时可视化也是有问题的。Cheung在区分探针和“探针状”镜面反射器中的困难在检测探针的小部分时加剧，如当探针插入仅是刚进入视场时。特别地，Cheung对超声图像的边缘检测输出应用Hough变换。与探针部分形成竞争的镜面结构可能出现地更长，尤其在探针进入视场中的开始时。因此，它们在Hough变换中累积了更多投票，由此被识别为在超声图像中最突出的直线特征，即，探针。

另外，当要确定探针的姿势时，探针检测的临床值是有问题的，需要等待直到探针被更深度地插入。如果能够在插入过程中更早地检测到探针则会更好，这时医生能够评估其轨迹并改变进程而不会引起更多损害和疼痛。

可靠地探针分割将允许自动设置最佳波束操纵角、时间增益补偿以及图像处理参数，从而导致可能增强的可视化和临床工作流程。

另外，对探针的分割和检测可以允许对超声图像与手术前模态(例如计算机断层摄像(CT)或磁共振(MR)成像)的融合，从而使得能够实现用于基于探针的过程的专门化图像融合系统。

需要一种技术方案来自动进行探针分割，而不依赖于探针是图像中最亮的线性对象的假设。

在本文提出的方面中，一种基于分类的医学图像分割装置包括：超声图像采集设备，其被配置用于根据超声来采集描绘医学仪器的图像；以及基于机器学习的分类电路，其被配置用于使用基于机器学习的分类来动态地响应于所述采集通过对根据所述图像导出的信息进行操作而分割所述仪器。

在子方面或相关方面中，采用US波束操纵来增强镜面反射器在图像中的外观。接下来，采用根据先前采集的地面真值数据的单像素探针分类器来分割探针与组织背景。最后，使用Radon或Hough变换来检测探针姿势。经由对小波特征的统计提升来完成分割。采集图像、分割探针并显示具有经视觉增强的且无伪影的只有探针叠加的图像的整个过程可以被自动执行并且无需用户介入。

使用间接体内和临床数据集的验证结果示出在具有挑战性的间接体内和临床数据集中的增强检测，其中次优的探针位置和组织伪影引起基于密度的分割失败。

下面借助于并未按比例绘制的附图进一步阐述新颖的、实时的基于分类的医学图像分割的细节。

附图说明

图1是根据本发明的示例性的实时的基于分类的医学图像分割装置的示意图和概念图；

图2是例示根据本发明的经统计提升的分类器的训练和临床性能及其用途的概念图；

图3是根据本发明的一种类型的探针定位的概念图；

图4是能用于本发明的版本中的子例程的流程图对；以及

图5是根据本发明的说明临床操作的主例程的流程图。

具体实施方式

通过说明性而非限制性范例，图1描绘了实时的基于分类的医学图像分割装置100。其包括超声图像采集设备104，例如扫描器。设备104包括波束形成器108以及超声成像探头112。探头112可以是线性阵列探头。其能够被设置有在身体组织120中的视场116，该视场由在任意给定成像深度128处的横向跨度124限定。装置110能够使用探头112来实时监测医学探针136的至少一部分132到视场116中的进入。视场116由两个边界线140、144限定。能够在探针136被插入到视场116中仅仅2.0毫米的情况下发生对探针136的检测。这允许比根据现有方法可获得的更早地检测到探针。为了改善探针136的图像，当前视场116可以改变到新的视场148，用于操纵超声波束152以90度的角入射到探针136上。该受操纵的视场148在图1中被示出具有两个边界线156、160。实现关于探针136的常态的波束操纵不总是需要改变视场116。改善的探针的图像能够被转移到原始视场116的整幅图像。这可以完成是因为实现关于探针136的常态的操纵稍微削弱得到的图像整体的成像质量，但是增强了尤其是探针的可视化。装置100被设计用于在医学处置和医学诊断中的至少一个中使用。探针136例如可以用于递送在如箭头所示的体内方向164上被注射到体内中的药剂。活组织检查、神经阻滞和流体吸入是同样实时监测探针姿势、位置和移动的其他过程的范例。

装置100还包括基于机器学习的分类电路168，其实现提升分类器172，例如Adaboost^TM，其是最公知的统计提升算法。

为了经由实况成像进行监视的用户交互，该装置还包括显示器176和用户控制180。

图2概念性地示出了提升分类器172的训练和临床性能的示例性版本及其用途。为了训练分类器172，对探针图像208应用二维Log-Gabor小波(或“滤波器”)204。可以经由如在下文更详细讨论的波束操纵并通过利用低于通常在B模式成像中使用的超声频率的超声频率来采集探针图像208。来自应用小波204的输出是探针图像208的各自的小波特征F_i的小波特征参数F_i,x,y212和各自的像素(x,y)216的集合。确定或已经确定每个像素216的地面真值GT_x,y是探针的部分还是背景的部分。F_1,x,y和GT_x,y是“弱分类器”WK₁的部分。多个弱分类器被组合(即，提升220)以提供强的或“经提升的”分类器。对这种技术的备选将是使用像素强度来判定像素216是探针还是背景。然而，由于探针图像208中的伪影，基于强度的阈值不够健壮以有效地对探针136进行分类。为训练数据集中的探针图像208中的每幅重复训练经提升的分类器172的上述步骤，如在图2中由向下的虚线224表示的。通过使用每个都标记有其各自的地面真值GT_x,y的特征参数F_1,x,y来构建上述弱分类器WK₁。特别地，对于F_1,x,y之中的参数，发现在GT_x,y的视图中递送最小分类误差的最佳阈值T₁。将要被阈值化的参数基本上并入关于探针的形状、探针的角度、纹理以及强度的信息。另外，训练阶段还提供关于探针看起来不像什么的信息，即，背景图像和肌肉纹理的特性。为每个特征F₂到F_I重复所有上述处理，如图2中由向下的点划线225所示。这么做得到弱的分类器WK₂到WK_I，如图2中由向下的虚线226所示，并对应地得到最佳阈值T₂到T_I。通过适当的加权组合弱分类器WK_i以形成强的分类器SC，其在临床过程期间得到针对像素(x,y)216的二元输出，即“探针”228或“背景”232。实际上，将一组弱的假设组合为强的假设。

在临床过程中，小波204在作为扫掠角度范围的部分的不同角度方向上递增地进行取向，因为2D Log-Gabor滤波器能够被取向以对在不同方向上的空间频率做出响应。在每个增量处，在当前波束角236处采集各自的探针图像208；应用所取向的小波204，由此对图像进行操作，以根据图像来导出信息，即F_i,x,y212；并且对导出的信息操作上述分割。在后面的步骤中，经提升的分类器172输出二元像素图240M_x,y，其条目分配在探针像素与背景像素之间。取决于由操作员选择的提取模式，或取决于实现方式，图240的探针部分能够被提取244a并被直接叠加252到B模式图像上，或者能够使用线检测算法(例如，Radon变换或Hough变换(HT))248来导出探针136的位置和角度。在该后一情况下，能够采集新的探针图像，背景则被遮掩掉，并且得到所提取244b的“只有探针”的图像叠加256到当前B模式图像上。因此，能够为“像素图”或“超声图像”设置提取模式。这被反映在下面结合图4和图5进行讨论的步骤S432、S456和S556中。尽管上文描述了Log-Gabor滤波器，但是能够替代地使用诸如Gabor滤波器的其他成像滤波器。

图3还示出了临床过程上的示例性细节。在显示的范例中，上述递增扫掠304通过角度的范围308。在图3中示出了每个增量312，挨着在对应的波束角处采集的探针图像208。由于本文提出的分割的健壮性，所以可以将图像208中的任何细长的、线性的且镜面的对象314与探针136区分开。通过经提升的分类器172，在每幅探针图像208上运行分割136，从而生成各自的像素图240。对每幅像素图240应用Hough变换248。如对角度/偏移箱(bin)进行相加中将得到的线输出320进行相加。这确定与探针136的位置相对应的偏移的估计。还确定探针136的角度328。如本文以上所述，能够将探针位置和角度使用在形成具有“只有探针”叠加的可显示B模式图像中，或者备选地，能够使用像素图240的探针部分来提供探针像素作为叠加。

在图4中的示例性实现方式中示出了用于执行临床过程的可调用子例程。

在第一子例程400中，针对当前波束角度236对小波204进行取向(步骤S404)。采集探针图像208(步骤S408)。对探针图像208应用小波204(步骤S412)中。通过经提升的统计分类器172来处理输出(步骤S416)。形成针对探针图像208的二元像素图240(步骤S420)。

在第二子例程410中，波束角度236被初始化为5°(步骤S424)。调用第一子例程400(步骤S428)以在图4的入口点“A”处开始。如果像素图240被直接叠加(步骤S432)，则存储探针像素和针对探针像素的像素特异性置信度值(步骤S436)。基于是否满足阈值T_i，每个弱分类器WK_i返回-1表示背景，或返回+1表示探针。强分类器SC计算这些值的加权和。如果和是正的，则像素216被视为探针136的部分。否则，像素216被视为背景的部分。然而，该和还指示强假设的置信度。和越接近+1，则“探针”的判定越符合置信度。此时记录探针像素以及它们的对应置信值以供后续基于置信度值来生成健壮的像素图。备选地，像素图240可以不被直接叠加(步骤S432)。在一个实施例中，例如，像素图240的直接叠加可以被认为是替代叠加只有探针的超声图像的主过程的显示选项。因此，如果像素图240未被直接叠加(步骤S432)，则将在当前波束角236处的Hough变换248的输出添加到在先前波束角度处的输出(如果有的话)，以创建变换输出的累积和(步骤S440)。在任一事件中，即，无论像素图叠加与否，如果当前波束角度236小于90°(步骤S444)，则递增当前波束角(步骤S448)，并且返回到分割步骤S428(步骤S452)。否则，如果当前波束角度236是90°(步骤S444)，则处理再次依赖于像素图240是否被直接叠加(步骤S456)。如果像素图240被直接叠加(步骤S456)，则导出最佳探针图(步骤S460)。特别地，在步骤S436中对迭代地存储的置信值进行组合。例如，能够使每个负的置信度值为零。将针对各自的波束角度236生成的置信度图相加，以创建总计图。然后，将置信度值正规化为像素亮度值的范围。在另一方面，如果像素图240未被直接叠加(步骤S456)，则对来自步骤S440的输出324求和的Hough变换给出探针偏移(步骤S464)。其还给出了探针136的角度328(步骤S468)。

在当前范例中，图5是临床过程的主例程。初始化(即，清除)探针存在标记(步骤S504)。调用第二子例程410(步骤S508)。确定探针是否存在于当前视场116中(步骤S512)。例如，在显示像素图240的情况下，可以对探针像素的数量以及可选地其置信度水平进行阈值化以确定探针136是否存在。如果确定探针136不存在(步骤S512)，并且如果未设置探针存在标记(步骤S516)，则采集B模式图像(步骤S524)。对其进行显示(步骤S528)。如果成像继续(步骤S532)，则返回分割步骤S508。在另一方面，如果设置了探针存在标记(步骤S516)，则对其进行清除(步骤S536)。通知用户探针136不再在屏幕上(步骤S540)，并且处理分支回到B模式采集步骤S524。在确定探针存在(步骤S512)并且未设置探针存在标记(步骤S544)的情况下，通知用户探针进入到所显示的图像中(步骤S548)并且设置探针存在标记(步骤S552)。此时，不管探针存在标记是否或已经被设置(步骤S544、S552)，处理路径都取决于像素图240是否要被用作叠加(步骤S556)。如果像素图240未被用作叠加(步骤S556)，则将由总计Hough变换324确定的探针角度328用于操纵波束152以达到关于探针136的常态，由此提供探针的更好的可见性(步骤S560)。经由受操纵的波束152，采集探针图像208(步骤S564)。不管像素图240是否要被用作叠加，都采集B模式图像(步骤S568)。根据B模式图像和叠加的从探针图像208提取出的只有探针图像或者在像素图叠加的情况下根据来自步骤S456或像素图240的其他演示的所提取和叠加的经正规化的置信度值的集合来形成复合图像(步骤S572)。显示复合图像(步骤S576)。应当周期性地，即，在均等或非均等间隔的时间周期之后迭代地，随着探针136的位置和取向的更新再次分割所述探针。如果探针136现在被再次分割(步骤S580)，则处理返回到分割步骤S508。否则，如果探针136现在不要被再次分割(步骤S580)，但是成像要继续(步骤S584)，则返回到步骤S556。

在步骤S540和S548中的用户通知可以是感觉的，例如，听觉的、触觉的或视觉的。例如，在“开启”状态下在面板或显示屏幕上的照明可以指示操作的各自的模式是活动的。

操作的探针存在检测模式588例如对应于步骤S512-S532。

探针插入检测模式592例如对应于步骤S512和S544-S552。

探针可视化模式596例如对应于步骤S556-S564。能够离开探针可视化模式596，但是仍保留在探针插入检测模式592中。如果在后续某个时间探针插入检测模式592检测到探针136再次进入视场116中，则探针可视化模式596自动地被再次激活，而无需用户介入。在即时范例中，探针存在检测模式588使得能够进行探针插入检测模式592并因此在该模式592期间总是活动的。

可以通过用户控制件180共同地或个体地启用或停用上述模式588、592、596，并且其每个可以被并入到较大的整体模式中。

上述模式588、592、596中的每个模式可以存在作为装置100的选项，例如用户可启动的选项，或者备选地，可以是装置的部分，而没有关闭模式的任何选项。

这是本文上述提出的探针分割的质量和可靠性使得能够进行模式588、592、596。

尽管所提出的方法能够有利地应用于对人或动物对象提供医学处置，但是本发明的范围并不受如此限制。更广泛地，本文公开的技术涉及体内或间接体内的基于机器学习的图像分割。

一种基于分类的医学图像分割装置包括：超声图像采集设备，其被配置用于根据超声来采集描绘诸如探针的医学仪器的图像；以及基于机器学习的分类电路，其被配置用于使用基于机器学习的分类来动态地响应于所述采集通过对根据所述图像导出的信息进行操作而分割所述仪器。能够经由对小波特征的参数的统计提升来完成所述分割。所述图像的每个像素被识别为“探针”或“背景”。采集图像、分割探针并显示具有经视觉增强的且无伪影的只有探针叠加的图像的整个过程可以被自动执行并且无需用户介入。可靠的探针分割提供对最佳波束操作角的自动设置、时间增益补偿、以及图像处理参数，从而得到增强的可视化和临床工作流程。

尽管已经在附图和前面的描述中详细说明并描述了本发明，但是这样的说明和描述应被认为是说明性的或示范性的而非限制性的；本发明不限于所公开的实施例。

例如，当探针的仅7毫米已经插入到身体组织中时，并且如上所述，在超声视场内2.0mm时，探针插入检测模式592能够检测探针136的至少部分。

通过研究附图、说明书以及随附权利要求书，本领域技术人员在实践要求保护的本发明时可以理解并实现所公开的实施例的其他变型。在权利要求中，词“包括”不排除其他元件或步骤，并且词语“一”或“一个”不排除多个。权利要求中的任何附图标记不应当被解释为对范围的限制。

计算机程序可以暂时地、临时地或较长时期地被存储在适当的计算机可读介质(例如光学存储介质或固态介质)上。仅在非瞬态传播信号的意义而言，这种介质是非瞬态的，但是包括其他形式的计算机可读介质，例如寄存器存储器、处理器缓存和RAM。

单个处理器或其他单元可以实现在权利要求中记载的若干项目的功能。在互不相同的从属权利要求中记载了特定措施的仅有事实并不指示不能有利地利用这些措施的组合。