专利名称：标记超声成像系统的2d显示器上的3d体积图像的系统和方法
标记超声成像系统的2D显示器上的3D体积图像的系统和方法
001本发明涉及一种用于标记医疗成像系统中的2D显示器上的3 维体积图像的系统和方法。
002通用超声成像系统是用于提供能够使用超声来进行成像的解剖 特征的图像。通常，这样的系统提供扫描到的解剖特征的2D横截面视图。 但是，随着超声诊断己经变得更复杂并且技术变得更精细，超声成像系统 现在能够显示在身体中的整个器官或其他区域的虚拟3D体积。例如，可以 通过将心脏或心室显示为体积来容易的实现人类心脏的可视化。在现代超 声成像系统中，可以在屏幕上实时地操纵这样的图像。例如，这样的操纵 能力允许声谱仪操作者通过手动的操纵超声成像系统的控制器而旋转屏幕 上的虚拟3D图像。这允许通过简单的旋转3D绘制而不是选择可能不那么 详细的不同2D横截面视图来有效地检查感兴趣体积的所有区域。这消除了 选择、显示和分析许多这样的2D图像以便集合这样的信息的需要，该信息 与能够以相同区域的单一 3D体积图像显示的信息相同。
003在3D超声图像的分析期间，声谱仪操作者和其他临床医生通 常希望将标记或注释附加到显示的解剖体上的感兴趣的解剖特征处。例如， 声谱仪操作者可能希望用文本注释"左心室"来标记心脏3D图像的左心室。 现有超声成像系统允许附加这样的标记，但具有一些缺点。这样的现有技 术的系统直接将标记和注释附加至3D图像本身。该标记或注释则束缚在 3D图像上并且3D体积图像的任意移动或旋转导致标记或注释也移动。换 言之，在3D体积上的感兴趣点与标记或注释相连，使得它们一致并保持一 致。遗憾的是，如果3D体积旋转，使得感兴趣点在被显示的3D图像的背 面，则标记或注释在屏幕上将不可见。
004因此，需要一种超声成像系统，其允许创建总是可见而与体积 图像的取向无关的标记和注释。005图l是根据本发明一个示例的超声成像系统的等比例视图；006图2是
图1的超声系统的主要子系统的方框图；007图3a是使用超声成像系统产生的3D体积图像的例子；008图3b图示图3a的3D体积图像的一个可能2D横截面；009图4a和4b示出根据本发明的实施例注释的3D体积图像；010图5是根据本发明实施例的用于创建注释的方法的流程图；011图6a是用于从3D体积的2D横截面视图中选择用于注释的特 征的方法的流程012图6b是用于直接从3D体积中选择用于注释的特征的方法的流程图。
013图1示出根据本发明的一个例子的超声系统10。该超声成像系 统仅用于说明目的，并且在本发明的其他实施例中可以使用其他类型的医 疗成像系统。系统10包括底盘12，该底盘12包含用于系统10的大部分电 子电路。底盘12可以安装在手推车14上，并且显示器16可以安装在底盘 12上。成像探头20可以通过电缆22连接至在底盘12上的三个连接器26 中的一个。底盘12包括通常用标号28指示的键盘和控制器，以允许声谱 仪操作者操作超声系统10并且输入关于患者的信息或者正在进行的检查的 类型。在控制面板28的后部是触摸屏显示器18，在该触摸屏显示器18上 显示可编程的软键，用于补充键盘和控制器28对系统10的控制操作。控 制面板28还包括指示设备(靠近控制面板边缘的跟踪球)，该指示设备可 以用于操纵屏幕上指针。控制面板还包括一个或多个按钮，可以在操纵屏 幕上指针之后按下或者点击所述按钮。这些操作与计算机中使用的鼠标类 似。
014在操作中，成像探头20与患者的皮肤(未示出)相抵放置并 且保持静止以获取皮肤下面体积区域中的血液和/或组织的图像。体积图像 呈现在显示器16上并且其可以被放置在两个附件架30中的一个上的记录 器(未示出)记录。系统IO还可以记录或打印包含文本和图像的报告。还 可以通过诸如因特网或局域网的合适的数据链路下载与图像相应的数据。除了使用探头20来在显示器上示出体积图像之外，超声成像系统还可以使
用探头20提供其他类型的图像，例如由体积数据得到的二维图形，称为多 平面重定格式图像，并且系统可以接受其他类型的探头(未示出)来提供 附加类型的图像。
015在图2中示出超声系统10的主要子系统。如上所提到的，超 声成像探头20通过电缆22耦合至连接器26中的一个，所述连接器26被 耦合至传统设计的超声信号路径40。如在本领域中所熟知的，超声信号路 径40包括发射器(未示出)，其将电信号耦合至探头20以控制超声波的 发射；采集单元，其从探头20接收与超声回波相对应的电信号；波束形成 器，用于将来自探头的单个换能器元件的信号处理成相干回波信号；信号 处理单元，其处理来自波束形成器的信号以执行各种功能，例如探测来自 特定深度的回应或者来自通过血管的血流的多普勒处理回应；以及扫描转 换器，其对来自信号处理单元的信号进行转换使得它们适于以期望的图像 格式被显示器16使用。在该例子屮，处理单元能够处理B模式(结构组织) 和多普勒(流动或运动)信号，以产生各种B模式和多普勒体积图像，包 括灰度和色流体积图像。根据本发明的优选实现方式，信号处理路径40的 后端还包括体绘制处理器，其处理体积区域的3D数据集以产生3D体绘制 图像。用于3D超声成像的体绘制是公知的并且在例如美国专利5,720,291 (Schwartz)中描述，其中组织和流动数据均被绘制成分离或复合的3D图 像。超声信号路径40还包括与处理单元50连接以控制上述单元的操作的 控制模块44。当然，超声信号路径40可以包含除了上述那些之外的部件， 并且在合适的情况下，上述部件的一些可以被省略。
016处理单元50包含许多部件，包括中央处理单元("CPU") 54， 随机存取存储器("RAM") 56，以及只读存储器("ROM") 58，仅举以上 几例。如在本领域中所熟知的，ROM58储存由CPU54执行的程序指令， 以及由CPU 54使用的初始化数据。RAM 56提供由CPU 54使用的数据和 指令的临时存储。处理单元50与诸如用于永久存储数据的磁盘驱动60的 大容量存储设备连接，该数据例如为系统控制程序和与由系统io获得的超 声图像对应的数据。然而，可以将这样的图像数据最初存储在耦合至信号 路径66的图像存储设备64中，该信号路径66耦合在超声信号路径40和处理单元50之间。磁盘驱动60还可以存储协议，这些协议可以被调出并 启动以引导声谱仪操作者完成各种超声检査。
017处理单元50还与键盘和控制器28连接用于由临床医生控制超 声系统。键盘和控制器28还可以由声谱仪操作者操纵，以使得医疗系统IO 改变被显示的3D体积的取向。键盘和控制器28还用于创建标记和注释并 将文本输入到该标记和注释中。处理单元50优选地与打印包含文本和一幅 或多幅图像的报告打印机80连接。由打印机80提供的报告的类型取决于 通过特定协议的执行而实施的超声检查的类型。最后，如上面提及的，对 应于图像的数据可以通过诸如网络74或调制解调器76的合适的数据链路 下载到临床信息系统70或其他设备。
018图3a是人类心脏的左心室的3D体积图像的例子。左心室周围 的心肌的体积图像301由超声成像系统创建。在示例性超声成像系统中， 体积301可以利用合适的处理装备通过沿着诸如在轴302上描绘的z轴线 收集一系列2D切片生成。 一个这样的切片可以通过将超声能量沿着平面 303指向到左心室而创建。为了说明的目的，在图3a中图示出平面303而 医疗系统通常不会显示平面303。图3b图示通过沿着平面303扫描或者沿 着该平面重建2D图像而创建的左心室305的横截面视图。可以沿着如在图 3a的轴302中所图示的z轴线一个接一个地创建许多2D切片。如在本领域 中所已知的，在医疗系统中合适的处理装备可以将2D切片数据集合以绘制 整个左心室的3D体积图像。在优选的实现方式中，图像数据是通过矩阵阵 列探头采集的，该矩阵阵列探头包括由微波束形成器控制的换能器元件的 二维阵列。利用该矩阵阵列探头，可以通过电子束引导而在三维中引导超 声束以从体积区域中采集图像数据。例如参见，美国专利6,692,471 (Poland) 和美国专利7，037，264 (Poland)。所采集的3D图像数据可以如上所述地被 体积绘制或者重定格式成体积区域中的一个或多个2D图像平面，或者可以 仅由探头引导并且采集单一 的图像平面。
019图4a示出根据本发明实施例的具有注释的左心室的3D体积绘 制。可以通过聚集体积区域的2D切片或如上面所讨论的在体积区域上电子 引导波束并创建体素集来创建3D体积401并将其显示在医疗系统上。如在 本领域中己知的，体素是对应于在3D图像中所图示的最小元素的体积的显示单元。换言之，体素是像素的3D等价物。各种3D绘制技术使用体素数 据来在诸如图1和图2的医疗系统10的显示器16的2D屏幕上绘制3D景 象。这样的技术可以利用各种编程API，例如DirectX或者OpenGL。图4 还图示两个注释标记，即目标1 403和目标2407。目标1注释是指在体401 的前表面上的特征409，其由在链路曲线404的端部处的圆点表示并且因此 在图4a中可见，其中链路曲线404在目标1标记403和特征409之间。特 征409通过链路曲线404链接至目标1注释403。类似的，目标2注释403 是指在体积401的后表面上的特征。然而，在该图示中，体积401的后面 的特征在图4a中不可见。尽管如此，仍然将该特征通过链路曲线405链接 至目标2标记407。
020在图4b中，临床医师使用跟踪球或超声系统10的控制面板28 的其他控制器在二维中旋转左心室的3D体积绘制的图像401。 3D体积图 像被从前旋转到后，从上旋转到下。在该体积图像的取向中，可以看到由 目标2标记407所指示的特征411现在在所显示的体积区域401的前面。 注释407依然通过动态链路曲线4〗1连接至特征411，随着体积401旋转该 动态链路曲线411移动并延伸以连续的链接标记407和特征411 。类似的， 动态链路曲线404连续连接目标1标记403和其所指示的特征409。然而， 在体积图像的该取向中，特征409在体积的后表面上并且不再可见。目标l 注释标记403保持在体积图像401的周界之外，其继续示出已经被标记的 特征409并且其继续通过动态链路曲线404被链接至特征409，即使该特征 在3D图像的该取向中不可见。
021在本发明的实施例中，在所绘制的图像中最前面的2D平面一 一可视显示平面中创建目标1 403和目标2 407注释。为此，它们总是保持 可见，与3D体积401的取向无关。在一些实施例中，在最前面的平面中的 注释标记能够覆盖体401，但仍将可见，因为它们实际上将在体积401的显 示平面之上。在另一实施例中，当3D体被操纵时，动态的重新绘制链路曲 线404和405，以继续维持目标1 403和目标2 407注释和它们各自在3D 体积的表面上的特征之间的可视链路。同样，如果目标1 403或目标2 407 注释的任一个移动，链路曲线405和411类似的被重新绘制以将标记同它 们的特征相连。本发明的实施例可以通过以下步骤维持并重新绘制这些链路曲线首先，将现有链路曲线投影到2D可视平面上；第二，重新计算注 释框(其本身已经在2D可视平面中)和解剖特征之间的链路曲线的合适位
置；第三，将链路曲线向后投影在3D体积上，使得其可以连同3D体积被 恰当地绘制。应该说明，链路曲线可以是任意类型的曲线(例如，贝塞尔 曲线)或者链路曲线可以是如在该例子中所示的直线。
022在另一实施例中，导航行为可以与每个注释相关联，使得例如 通过双击注释进行的对注释的选择导致旋转3D体积以将相关的解剖特征 带到前景并且因此进入视野。这样的旋转是通过首先确定与被点击的注释 相关联的特征的3D体素坐标来完成的。然后，3D体积可以在轴线上旋转 直到体素和2D可视平面上的中点距离最小。然后，3D体积可以同样的轮 流在其他两个轴中的每个上旋转。当这些操作完成时，与注释相关的解剖 特征将在最前面并且在显示器上可见。
023图5图示根据本发明实施例的用于创建注释的方法的示例性流 程图。假定超声系统己经显示3D体积图像和该体积的至少一个横截面图 像，处理流程从在501声谱仪操作者例如通过选择注释按钮而启动注释创 建开始。当然，注释按钮的使用仅是将声谱仪操作者希望创建注释信号化 的一种方式，并且存在用于将该输入传递给医疗系统的其他选项，例如以 创建注释开始的诊断协议。在超声系统进入注释创建模式之后，允许声谱 仪操作者在图5的步骤503从2D横截面视图或从3D体积图像中选择特征。 这可以例如通过使用定点设备来将屏幕上的光标导航到感兴趣特征并且点 击或按压下按钮来完成。这些选择过程的细节将在下面更详细讨论。在选 择特征以后，在步骤505超声系统提示用户输入注释文本。然后，超声系 统在步骤507将2D注释框放置在可视显示平面上。最后，在步骤509，超 声 系统将绘制并动态维持在3D体积上的注释框和所选择的特征之间的链 路。 一旦将2D注释框放置在可视平面上，本发明实施例的超声系统将允许 注释框被重新定位在屏幕中同时保证注释框不放置在另一注释框上并且不 放置在3D体积本身上。
024图6a图示当声谱仪操作者例如在图5的步骤503中从3D体积 的2D横截面视图中选择解剖特征时可以使用的示例性处理流程。该处理流 程以在步骤601声谱仪操作者在显示器的横截面区域上导航指针开始。声谱仪操作者随后点击以选择感兴趣的特征，记录所点击的位置的(x， y) 屏幕坐标，并且处理流程转到步骤603。在步骤603，本发明的实施例可以 检査以査明由(x， y)所指定的点是否有效。只有当该点位于横截面的周 界上时通常该点才有效，因为在该例子中，所注释的是表面上的特征。如 果该点无效，则要求声谱仪操作者选择不同的点并且流程返回到步骤601。 或者，本发明的实施例可以通过仅允许光标沿着体积的横截面的周界移动 来阻止无效点的选择。也可以使用阻止选择无效点的其他方法。 一旦在步 骤603确定点的(x， y)坐标有效，流程转到步骤607。在步骤607， 2D (x， y)屏幕坐标通过使用如上讨论的合适的3D绘制API被映射到3D (x， y， z)体素上。 一旦识别到感兴趣的3D体素，超声系统可以在步骤609通过 将3D体积投影到2D可视平面上来绘制和显示该体积，使得映射的体素坐 标是最前面的坐标。
025图6b图示当声谱仪操作者例如在图5的步骤503中直接从3D 视图中选择解剖特征时可以使用的示例性处理流程。该处理流程以在步骤 611声谱仪操作者在3D体积上导航指针开始。在步骤613，本发明的实施 例可以继续并且动态地计算3D (x， y， z)体素位置，该3D (x， y， z)体 素位置对应于在可视平面上的(x， y)像素位置(例如，指针位置)。当声 谱仪操作者点击以指示对被注释的特征的选择时，在步骤614使用最后计 算的体素位置以将3D体积投影到2D可视平面上，使得所识别的体素坐标 是最前面的坐标。
权利要求
1、一种用于标记诊断成像系统显示器上的3维体积的方法，包括创建3维体积图像；识别所述体积图像上的感兴趣点；创建针对所述感兴趣点的标记；利用曲线将所述标记与所述感兴趣点连接；绘制所述标记、曲线和3维体积以用于在所述成像系统显示器上显示，所述曲线动态地链接至所述标记，从而使得随着所述成像系统显示器上的所述3维体积图像的取向改变，所述曲线基本在在所述成像系统显示器上的所述感兴趣点和所述标记之间延伸。
2、 根据权利要求1所述的方法，其中，创建3维体积图像包括组合表 示被成像的解剖特征的多个体素。
3、 根据权利要求2所述的方法，其中，创建针对所述感兴趣点的标记包括接收作为输入的标记文本；将包括所述标记文本的标记定位在2维前景平面中；以及将所述2维前景平面投影到所述3维体积图像上以提供标记投影。
4、 根据权利要求3所述的方法，其中，利用曲线将所述标记与所述感 兴趣点连接包括使用所述标记投影来创建所述标记和所述感兴趣点之间的 计算出的曲线。
5、 根据权利要求4所述的方法，其中，绘制所述标记、曲线和3维体 积包括绘制下列的组合所述2维前景平面； 所述计算出的曲线；以及 所述多个体素。
6、 根据权利要求5所述的方法，其中，将标记定位在2维前景平面中 包括定位与任意其他标记不重叠并且与所述3维体积图像不重叠的标记。
7、 根据权利要求6所述的方法，其中，识别所述3维体积图像上的所 述感兴趣点包括从所述多个体素中选择至少一个体素。
8、 根据权利要求7所述的方法，其中，所述曲线包括贝赛尔曲线和直 线中的至少一个。
9、 根据权利要求1所述的方法，还包括 选择所述成像系统显示器上的标记；以及重新绘制所述标记、曲线和3维体积，从而使得通过所述曲线连接至 所述标记的所述感兴趣点在所述成像系统显示器上可见。
10、 一种医疗诊断成像系统，包括处理器，其耦合至所述显示器； 用户接口，其耦合至所述显示器；以及分析包，其存储在计算机可读介质上并且可操作地连接至所述处理器， 所述分析包为用户提供标记所述显示器上的3维体积的能力，所述分析包 被配置为创建针对所述3维体积的图像中的感兴趣点的标记； 利用曲线将所述标记与所述感兴趣点连接；以及在所述显示器上绘制所述标记、曲线和3维体积，所述分析包绘制所 述曲线，从而使得随着在所述显示器上绘制的所述3维体积的取向改变， 所述曲线基本上在所述感兴趣点和所述标记之间延伸。
11、 根据权利要求10所述的医疗系统，其中，还将所述分析包配置为 通过组合表示被成像的解剖特征的多个体素来创建3维体积图像。
12、 根据权利要求ll所述的医疗系统，其中，还将所述分析包配置为通过下列来创建针对来自所述3维体积的感兴趣点的标记接收作为输入的对所述3维体积图像上的感兴趣点的选择； 接收作为输入的标记文本；将包括所述标记文本的标记定位在2维前景平面中；以及将所述2维前景平面投影到所述3维体积图像上以提供标记投影。
13、 根据权利要求12所述的医疗系统，其中，还将所述分析包配置为通过使用所述标记投影以创建所述标记和所述感兴趣点之间的计算出的曲 线来利用曲线将所述标记与所述感兴趣点连接。
14、 根据权利要求13所述的医疗系统，其中，还将所述分析包配置为 通过绘制下列的组合来绘制所述标记、曲线和3维体积所述2维前景平面；所述计算出的曲线；以及所述多个体素。
15、 根据权利要求14所述的医疗系统，其中，还将所述分析包配置为 通过定位与任意其他标记不重叠的标记来将标记定位在2维前景平面中。
16、 根据权利要求15所述的医疗系统，其中，还将所述分析包配置为 通过定位与所述3维体积的所述图像不重叠的标记来将标记定位在2维前 景平面中。
17、 根据权利要求16所述的医疗系统，其中，曲线包括贝赛尔曲线和 直线中的至少一个。
18、 根据权利要求17所述的医疗系统，其中，还将所述分析包配置为 允许选择被显示的现有标记；以及重新绘制所述标记、曲线和3维体积，从而使得通过所述曲线连接至 所述标记的所述感兴趣点在所述成像系统显示器上可见。
全文摘要
公开了一种超声诊断成像系统，其用于标记显示在2维图像显示器上的3维体积。创建解剖结构的3维体积图像。创建针对3维体积图像上的感兴趣点的标记。在2维可视平面中创建将该标记连接至在3维体积上的感兴趣点的曲线，使得标记在3维体积图像上的投影不与3维体积一致。绘制标记、曲线和3维体积以用于显示在图像显示器上，使得曲线在感兴趣点和标记之间延伸并且使得当3维体积响应于3维体积的取向改变而重新绘制时将曲线重新绘制。
文档编号G06T17/40GK101681516SQ200880021306
公开日2010年3月24日 申请日期2008年6月19日 优先权日2007年6月22日
发明者M·维翁, R·古拉恩 申请人:皇家飞利浦电子股份有限公司