流动模式的可视化系统、方法及装置与流程

本发明涉及将3维流动或向量场模式可视化。具体地，本发明涉及基于时间序列的图像数据集，将流动或向量场模式可视化。

背景技术：

流动可视化是在过去已得到大量关注的话题。已开发出许多将流动数据可视化的方法，包括例如，直接流线可视化(AlexanderJan Klein、 Florian Weiler、Heinz-Otto Peitgen，“A GPU-based Fiber Tracking Framework using Geometry Shaders”，Proc.SPIE，7261卷，72611J，2009年)、光线投射流线(Thomas Frühauf，“Raycasting vector fields”，IEEE Visualization Proceedings，1996年)，或者粒子追踪(Jens Krüger、Peter Kipfer、Polina Kondratieva、Rüdiger Westermann，“A Particle System for Interactive Visualization of 3D Flows”，IEEE Transactions On Visualization And Computer Graphics，11卷，No.6，2005年11月)。这些方法生成能够通过常规计算机图形技术可视化的几何基元，例如点或路径、流动向量场或粒子路径。

目前方案的主要缺点在于，它们不提供直观地将特定流动模式可视化的方式。通常，许多不同的流动模式混合在相同图像中，从而造成用户混淆，尤其是当用户不熟悉在流动分析中涉及的数学运算时。

技术实现要素：

具有能够直观地将流动模式可视化的系统将是有利的。

因此，在一个方面中，本发明提供了一种用于将3维(3D)图像的体积内的流动可视化的系统，所述系统包括：

-第一转移单元，其适于借助第一转移函数基于被分配到所述体积内的第一多个位置的每个位置的流动模式，将能绘制属性分配到所述位置，从多个流动模式类别分配所述流动模式类别以用于分类所述位置的流动，其中，所述流动模式类别是基于与所述位置的流动相关联的流动曲线的曲率和挠率而定义的，并且其中，被分配到所述第一多个位置的每个位置的所述流动模式类别是基于针对所述第一多个位置的每个位置计算的曲率和挠率值而被分配的；

-第二转移单元，其适于借助第二转移函数基于被分配到所述体积内的第二多个位置的每个位置的所述3D图像的值，将能绘制属性分配到所述位置；以及

-混合单元，其用于基于被分配到所述第一多个位置的每个位置的所述能绘制属性以及基于被分配到所述第二多个位置的每个位置的所述能绘制属性，计算2D图像，其中，所述2D图像将所述流动模式和所述3D图像可视化。

被分配到所述第一多个位置的每个位置的所述流动模式能够，例如，从输入文件获得。或者，它们能够借助于微分几何学，例如使用梯度算子或结构张量算子，从图像数据，特别是4D图像数据，推导出。所述混合单元能够适于基于被分配到所述第一多个位置和所述第二多个位置的每个位置的所述能绘制属性，计算所述体积内的第三多个位置的每个位置的能绘制属性，以及适于基于在所述第三多个位置的每个位置处计算的所述能绘制属性，使用本领域已知的任意合适的体积绘制技术，例如，直接体积绘制技术，计算所述2D图像。或者，所述系统可以适于基于被分配到所述第一多个位置的每个位置的所述能绘制属性计算第一2D图像，并且基于被分配到所述第二多个位置的每个位置的所述能绘制属性计算第二2D图像，以及适于交替地显示所述第一2D图像和所述第二2D图像或者适于融合所述第一2D图像和所述第二2D图像。

在实施例中，所述系统还包括模式单元，所述模式单元用于计算所述第一多个位置的每个位置的所述流动模式。

在所述系统的实施例中，在所述第一多个位置的每个位置处，基于与所述位置的流动相关联的流动曲线的曲率和/或挠率，计算所述流动模式。所述曲率和挠率唯一地确定所述曲线的几何形状，因为它们相对于曲线重新参数化为不变量。

在所述系统的实施例中，所述流动模式假设有限个数的模式中的一个，所述有限个数的模式也称作模式类别。使用模式类别帮助用户专注于感兴趣的流动模式，所述感兴趣的流动模式例如，由曲率和挠率值的范围定义。

在所述系统的实施例中，被分配到所述第一多个位置或所述第二多个位置的每个位置的所述能绘制属性包括颜色，以及不透明度或透明度。

在实施例中，所述系统还包括用户接口，所述用户接口适于接收用于定义所述第一转移函数和/或所述第二转移函数的用户输入。因此，用户能够定义将在所述2D图像中可视化的感兴趣的流动模式和组织。

本领域技术人员将认识到，本发明所述的系统能够用于将与所述流动相关联的速度向量场可视化。这是由于如下事实：由流动曲线描述的每个流动定义唯一的向量场，并且反之亦然，每个向量场定义由流动曲线描述的唯一流动。

在另一方面中，提供了一种包括本发明所述的系统的工作站。

在另一方面中，提供了一种包括本发明所述的系统的图像采集设备。

在另一方面中，提供了一种将3维(3D)图像的体积内的流动可视化的方法，所述方法包括：

-第一转移步骤，其用于借助第一转移函数基于被分配到所述体积内的第一多个位置的每个位置的流动模式，将能绘制属性分配到所述位置，从多个流动模式类别分配所述流动模式类别以用于分类所述位置的流动，其中，所述流动模式类别是基于与所述位置的流动相关联的流动曲线的曲率和挠率而定义的，并且其中，被分配到所述第一多个位置的每个位置的所述流动模式类别是基于针对所述第一多个位置的每个位置计算的曲率和挠率值而被分配的；

-第二转移步骤，其用于借助第二转移函数基于被分配到所述体积内的第二多个位置的每个位置的所述3D图像的值，将能绘制属性分配到所述位置；以及

-混合步骤，其用于基于被分配到所述第一多个位置的每个位置的所述能绘制属性以及基于被分配到所述第二多个位置的每个位置的所述能绘制属性，计算2D图像。

在实现方式中，所述方法还包括模式分类步骤，所述模式分类步骤用于计算所述第一多个位置的每个位置的所述流动模式。

在所述方法的实现方式中，在所述第一多个位置的每个位置处，基于与所述位置的流动相关联的流动曲线的曲率和/或挠率，计算所述流动模式。

在另一方面中，本发明提供一种由计算机装置加载的计算机程序产品，所述计算机程序产品包括用于将3维(3D)图像的体积内的流动可视化的指令，所述计算机装置包括处理单元和存储器，所述计算机程序产品在被加载之后，向所述处理单元提供执行本发明所述的方法的步骤的能力。

本领域技术人员将认识到，可以以任意认为有用的方式组合上文提及的本发明的实施例、实现方式、和/或方面中的两个或更多个。

本领域技术人员能够基于本描述，进行与所描述的所述系统或所述方法的修改和变化对应的，所述系统、所述工作站、所述图像采集设备、所述方法和/或对所述计算机程序产品的修改和变化。

本发明在独立权利要求中定义。有利的实施例在从属权利要求中定义。

附图说明

借助下文描述的实现方式和实施例并且参考附图，本发明的这些和其他方面将变得显而易见，并且将得以阐明，其中：

图1示出了所述系统的示范性实施例的框图；

图2示出了八种示范性流动曲线，每种流动曲线代表不同的流动模式类别；

图3图示了将颜色分配到所述流动模式类别的示范性的第一转移函数；

图4示出了通过根据本发明所述的系统计算的2D图像；

图5概要示出了所述方法的示范性流程图；

图6概要示出了所述图像采集设备的示范性实施例；以及

图7概要示出了所述工作站的示范性实施例。

在全部附图中，相同的附图标记用于指代相似的部分。

具体实施方式

图1概要示出了用于将3维(3D)图像的体积内的流动可视化的系统 SYS的示范性实施例的框图，所述系统包括：

-用于应用第一转移函数的第一转移单元U30，其基于被分配到所述体积内的第一多个位置的每个位置的流动模式，将能绘制属性分配到所述位置；

-用于应用第二转移函数的第二转移单元U40，其基于被分配到所述体积内的第二多个位置的每个位置的所述3D图像的值，将能绘制属性分配到所述位置；以及

-混合单元U50，其用于基于被分配到所述第一多个位置的每个位置的所述能绘制属性以及基于被分配到所述第二多个位置的每个位置的所述能绘制属性，计算2D图像。

系统SYS的所述示范性实施例还包括：

-模式单元U20，其用于计算所述第一多个位置的每个位置的所述流动模式；

-控制单元U60，其用于控制系统SYS的运行；

-用户接口U65，其用于在用户与系统SYS之间通信；以及

-存储器单元U70，其用于存储数据。

在系统SYS的实施例中，有三个针对引入数据的输入连接器U81、U82 和U83。第一输入连接器U81被布置为接收从数据存储器件引入的数据，所述数据存储器件诸如，但不限于硬盘、磁带、闪存、或光盘。第二输入连接器U82被布置为接收从用户输入装置引入的数据，所述用户输入装置诸如，但不限于鼠标或触摸屏。第三输入连接器U83被布置为接收从诸如键盘的用户输入装置引入的数据。输入连接器U81、U82和U83被连接到输入控制单元U80。

在系统SYS的实施例中，有两个针对传出数据的输出连接器U91和 U92。第一输出连接器U91被布置为向数据存储器件输出数据，所述数据存储器件诸如硬盘、磁带、闪存、或光盘。第二输出连接器U92被布置为向显示器装置输出数据。输出连接器U91和U92经由输出控制单元U90 接收各自的数据。

本领域技术人员将理解，存在许多方式将输入装置连接到系统SYS的输入连接器U81、U82和U83，以及将所述输出装置连接到系统SYS的输出连接器U91和U92。这些方式包括，但不限于，有线和无线连接、诸如但不限于局域网(LAN)和广域网(WAN)的数字网络、互联网、数字电话网络以及模拟电话网络。

在实施例中，系统SYS包括存储器单元U70。系统SYS被布置为经由输入连接器U81、U82和U83中的任意输入连接器从外部装置接收输入数据，并将所接收的输入数据存储在存储器单元U70中。将所述输入数据载入到存储器单元U70中允许由系统SYS的单元快速访问相关数据部分。所述输入数据包括所述3D图像。任选地，所述输入数据可以包括例如，用于定义所述第一转移函数和/或所述第二转移函数的用户输入。存储器单元 U70可以由诸如但不限于CPU的寄存器文件、高速缓冲存储器、随机存取存储器(RAM)芯片、只读存储器(ROM)芯片和/或硬盘驱动器及硬盘的装置实施。存储器单元U70还可以被布置为存储所述输出数据。所述输出数据包括将所述感兴趣的流动模式可视化的所述2D图像。存储器单元 U70也可以被布置为经由存储器总线U75，从系统SYS的单元接收数据和 /或向系统SYS的单元传送数据，系统SYS的单元包括模式单元U20、第一转移单元U30、第二转移单元U40、混合单元U50、控制单元U60以及用户接口U65。存储器单元U70还被布置为经由输出连接器U91和U92 中的任意输出连接器，使外部装置可得到所述输出数据。将来自系统SYS 的单元的数据存储到存储器单元U70中可以有利地改进系统SYS的单元的性能，以及改进所述输出数据从系统SYS的单元到外部装置的转移速率。

在实施例中，系统SYS包括用于控制系统SYS的控制单元U60。控制单元U60可以被布置为从系统SYS的单元接收控制数据以及向系统SYS 的单元提供控制数据。例如，在计算所述体积内的所述第一多个位置的所述流动模式之后，模式单元U20可以被布置为向控制单元U60提供控制数据“计算所述流动模式”，并且控制单元U60可以被布置为向第一转移单元 U30提供控制数据“使用所述第一转移函数以计算在所述体积内的所述第一多个位置的所述能绘制属性”。或者，控制函数可以在系统SYS的其他单元中实施。

在系统SYS的实施例中，系统SYS包括用于实现用户与系统SYS之间的通信的用户接口U65。用户界面U65可以被布置为接收用户输入，所述用户输入包括：包括所述3D图像数据的文件的名称以及包括所述体积内的所述第一多个位置的每个位置的所述流动模式的文件的名称。任选地，所述用户接口可以接收这样的用户输入：所述用户输出用于选择所述系统的操作模式，诸如，例如用于选择或修改所述第一转移函数和/或所述第二转移函数。所述用户接口还可以被布置为显示所述2D图像。本领域技术人员将理解，可以在系统SYS的用户接口U65中有利地实施更多函数。

系统SYS可以被布置用于接收所述体积内的所述第一多个位置和/或所述第二多个位置。或者，系统SYS可以被布置为定义所述第一多个位置和/或所述第二多个位置。所述体积内的所述第一多个位置和/或所述第二多个位置可以基本上相同于基本上包括在所述体积中的多个体素。或者，所述体积内的所述第一多个位置和/或所述第二多个位置可以包括基本上包括在所述体积中的体素的子集。系统SYS还能够被布置用于使用，例如插值或回归技术，基于所述第一多个位置和/或所述第二多个位置的每个位置的所述能绘制属性的值，计算所述体积内每个体素的，即，示范性的第三多个位置的每个位置的，所述能绘制属性。

本领域技术人员将了解定义所述体积内的多个位置以及计算不确定性的许多方法。权利要求的范围不应解释为限制在使用任何特定方法。

在实施例中，系统SYS包括用于计算所述第一多个位置的每个位置的所述流动模式的模式单元U20，所述第一多个位置包括所述3D图像的体积内所有体素的，例如体素中心的，位置。通过由所述流动唯一定义的向量场，描述了所述流动。所述向量场定义了针对所述体积内的每个体素的流动场向量。在医学中，血液流动场向量能够从使用超声多普勒向量断层摄影、MR断层摄影或PET测量的血液流动来计算。或者，心脏或血管树中的血液流动能够使用血液流动模型来模拟(参见，例如，Three-dimensional finite element modeling of blood flow in the coronary arteries，Kim,Hyun Jin 的博士论文，斯坦福大学，2009年)。一旦针对每个体素获得了所述流动向量场，穿过体素中心的流动曲线的曲率和挠率就得以计算。所计算的曲率和挠率的值用于定义流动模式类别。

或者，系统SYS可以被布置为接收包括所述第一多个位置的每个位置的所述流动模式的描述符(例如，曲率和挠率)的输入。

在实施例中，基于曲率值和挠率值，定义了所述流动模式类别。可以使用以下九种流动模式类别：

A：恒定曲率、零挠率(流动曲线为环形)；

B：恒定正曲率、恒定非零挠率(流动曲线为恒定半径的螺旋线)；

C：恒定负曲率、恒定非零挠率(流动曲线为恒定半径的螺旋线，相对于B 中的螺旋线是反向的)；

D：恒定曲率、可变挠率(螺旋流动在z轴上“加速”)；

E：增大的曲率、零挠率(在一个平面中流动，但朝着点汇聚)；

F：减小的曲率、零挠率(在一个平面中流动，但从点发散)；

G：增大的曲率、非零挠率(流动曲线为变化半径的螺旋线)；

H：减小的曲率、非零挠率(流动曲线为变化半径的螺旋线)；以及

I：任意其他曲率和挠率。

借助于也称作流动模式转移函数的第一转移函数，向每种类别分配能绘制属性。图3图示了这样的示范性流动模式转移函数。使用具有256种颜色值的RGB颜色编码，所述函数将绿色(0,255,0)分配到类别A、将水绿色(0,255,255)分配到类别B，以及将(0,0,0)分配到每个其他类别。而且，所述函数将不透明度100％分配到两个类别A和B，并且将不透明度0％分配到每个其他类别。因此，所述流动模式转移函数将示出类别A 和B的可视化流动模式，并且将不示出任何其他类别的流动模式。通过重新定义所述转移函数，能够显示其他流动模式类别。

或者，所述流动模式转移函数可以连续地将曲率值k∈[k₁,k₂]映射到绿色值(0,C(k),0)和100％的不透明度值，和/或将挠率值t∈[t₁,t₂]映射到蓝色值(0,0,T(k))和100％的不透明度值，其中k₁＝k₂，k₁<k₂，以及 t₁、t₂，t₁<t₂，指代用于可视化的曲率和挠率值的区间端值，并且100％指代不透明度。如果或者则通过所述流动模式转移函数将颜色值(0,0,0)和0的不透明度值分配到这样的对(k,t)。或者，所述流动模式的不透明度可以线性依赖于所述第一多个位置的幅度图像梯度向量。图像梯度向量是基于由所述3D图像体积内的图像强度定义的标量场计算的。在该情况中，所述流动模式将仅在所述3D体积内的结构的边缘处，例如血管的边缘处，是可视的，而非所述结构的内侧或外侧，因为在所述结构的外侧或内侧，梯度接近于零，并且因此，对应的流动模式的不透明度也接近于零。本领域技术人员将了解定义对本发明的系统SYS有用的流动模式转移函数的其他方式。

第二转移单元U40被布置用于计算所述3D图像的体积内的第二多个位置的每个位置的能绘制属性。借助于也称作图像转移函数的第二转移函数，基于被分配到所述位置的所述3D图像的值，计算所述能绘制属性。如果体素的集与所述第二多个位置不同，则将在所述第二多个位置的每个位置处计算的所述能绘制属性的值，使用例如插值或回归技术，用于推导所述3D图像的每个体素的所述能绘制属性。本领域技术人员将了解如何构建和/或在哪里找到适合计算所述3D图像体积内的所述第二多个位置的每个位置的能绘制属性的其他转移函数。这样示范性的转移函数能够发现于，例如Joe Kniss等人的Multidimensional Transfer Functions for Interactive Volume Rendering，IEEE Transactions on Visualization and Computer Graphics，8卷，No.3，2002年7-9月，270-285页。

使用由所述流动模式和图像转移函数计算的所述能绘制属性的直接体积绘制(DVR)被应用于计算用于在显示器上显示的最终2D图像。本领域技术人员将了解如何实施DVR。DVR的概要能够发现于，例如在http://www.cse.ohio-state.edu/～hwshen/788/volume.ppt处可获得的PowerPoint 演示文稿。

在一个实施例中，系统SYS的混合单元U50可以适于基于从每个体素的流动模型得到的所述能绘制属性计算第一2D图像，以及基于从每个体素的图像值得到的所述能绘制属性计算第二2D图像。所述第一2D图像和所述第二2D图像可以，使用例如2D图像混合，而彼此融合。或者，所述第一2D图像和所述第二2D图像可以在预确定的时间段上交替地显示，例如 0.1到1.0秒间的时间段。这种实施例针对图示时间序列的图像的不确定性尤其有用。

在实施例中，在每个体素处将使用所述流动模式转移函数计算的所述能绘制属性和使用所述图像转移函数计算的所述能绘制属性混合。然后使用DVR以基于得到的所混合的能绘制属性计算所述2D图像。

在实施例中，通过相加对应的能绘制属性值，将包括体素坐标以及使用所述流动模式转移函数计算的对应能绘制属性的3D阵列，与包括体素坐标以及使用所述图像转移函数计算的对应能绘制属性的3D阵列相融合。然后使用DVR以基于得到的能绘制属性计算所述2D图像。图4示出了使用这种方法由系统SYS计算的2D图像。将图2中所示的所述流动模式类别和图3中图示的并且在上文描述的所述流动模式转移函数用于计算所述2D 图像。通过应用于颈动脉杈40的解剖学MRI数据集的常规体积绘制，绘制了橙色表面。这种图像将重要的解剖学背景加入到所述流动模式可视化。根据系统SYS的实施例的流动模式体积绘制产生了以蓝色(类别A)和绿色(类别B)描绘的云形图像的集。

本领域技术人员将认识到，本发明所述的系统可以是用于在医生的工作的许多方面中帮助他/她的宝贵工具。而且，虽然使用所述系统的医学应用图示了所述系统的实施例，也考虑所述系统的非医学应用。

本领域技术人员还将理解，系统SYS的其他实施例也是可行的。除其他以外，也可以重新定义所述系统的单元，并且重新分配它们的函数。虽然所描述的实施例应用于医学图像，但是所述系统与医学应用不相关的其他应用也是可行的。

可以使用处理器实施系统SYS的单元。通常，在软件程序产品的控制下执行它们的功能。在运行过程中，所述软件程序产品通常被加载到类似 RAM的存储器中，并从所述存储器运行。可以从背景存储器加载所述程序，所述背景存储器诸如ROM、硬盘、或磁性和/或光学存储，或者可以经由类似互联网的网络加载所述程序。任选地，专用集成电路可以提供所描述的功能。

图5示出了将3维(3D)图像的体积内的流动可视化的方法M的流程图。方法M开始于模式步骤S20，模式步骤S20用于计算所述第一多个位置的每个位置的所述流动模式。在模式步骤S20之后，方法M继续进行到用于应用第一转移函数的第一转移步骤S30，其基于被分配到所述体积内的第一多个位置的每个位置的流动模式，将能绘制属性分配到所述位置；并且方法M继续进行到用于应用第二转移函数的第二转移步骤S40，其基于被分配到所述体积内的第二多个位置的每个位置的所述3D图像的值，将能绘制属性分配到所述位置。能够彼此独立地、同时地或以任何其他顺序执行所述第一转移步骤和所述第二转移步骤。在两个转移步骤S30和S40 之后，方法M继续进行到混合步骤S50，混合步骤S50用于基于被分配到所述第一多个位置的每个位置的所述能绘制属性以及基于被分配到所述第二多个位置的每个位置的所述能绘制属性，计算2D图像。在计算所述2D 图像之后，所述方法结束。

本领域技术人员可以改变一些步骤的顺序，增加一些任选的步骤(例如，用于交互地确定所述第一转移函数和/或所述第二转移函数的步骤)，或使用线程模型、多处理器系统或多个处理同时执行一些步骤，而不偏离本发明所意图的概念。任选地，方法M的两个或更多个步骤可以结合为一个步骤。任选地，方法M的步骤可以被分成多个步骤。

图6概要示出了采用本发明所述的系统SYS的图像采集设备IAA的示范性实施例，所述图像采集设备IAA包括经由内部连接与系统SYS连接的图像采集单元IAA10、输入连接器IAA01、以及输出连接器IAA02。这种布置有利地增加了图像采集设备IAA的功能，从而向所述图像采集设备 IAA提供了系统SYS的有利功能。

图7概要示出了工作站WS的示范性实施例。所述工作站包括系统总线WS01。处理器WS10、存储器WS20、磁盘输入/输出(I/O)适配器WS30 以及用户接口WS40操作性地连接到系统总线WS01。磁盘存储装置WS31 操作性地耦合到磁盘I/O适配器WS30。键盘WS41、鼠标WS42和显示器 WS43操作性地耦合到用户接口WS40。被实施为计算机程序的本发明的系统SYS存储于磁盘存储装置WS31中。工作站WS00被布置为将所述程序和输入数据加载到存储器WS20中，并且在处理器WS10上运行所述程序。用户能够使用键盘WS41和/或鼠标WS42向工作站WS00输入信息。所述工作站被布置为向显示器装置WS43和/或磁盘WS31输出信息。本领域技术人员将理解，存在本领域中已知的工作站WS的许多其他实施例，并且本实施例起到说明本发明的目的，并且不能被理解为将本发明限制在这个具体实施例。

应注意，上文提及的实施例说明而非限制本发明，并且本领域技术人员将能够设计备选的实施例，而不偏离所附权利要求的范围。在权利要求中，置于括号间的任何附图标记不应被解释为限制权利要求。词语“包括”不排除未在权利要求或描述中列出的元件或步骤的存在。元件前的词语“一”或“一个”不排除多个这样元件的存在。本发明能够借助于包括若干不同元件的硬件以及借助于程序计算机得以实施。在列举了若干单元的系统权利要求中，这些单元中的若干能够由硬件或软件的一个且相同的记录具体实现。词语第一、第二、第三等的使用不指示任何排序。许将这些词语解释为名称。