专利名称：用于图像配准的交互式图集的制作方法
用于图像配准的交互式图集 本申请特别应用于医学成像系统中。然而，应了解到所描述的技术也可运用于其
它类型的成像系统、扫描系统、和/或其它医学应用。 在许多应用中都需要有效的交互式工具来使3-D解剖图集的初始化和精化变得 简单。一个特殊的应用是在放射治疗规划中。由于自动算法常常因为多种原因(图像伪迹、 病理等等)而易有误差，因此另一应用是自动分割算法结果的精化。 在常规技术中，当用户将器官的外形与患者实际器官的图像匹配时，显示穿过该 器官的平面切片。例如，可显示三个正交切片。在当前系统中，用户只可以修改切片中的轮 廓。这对于体积修改是费力的。另一方面，对于3D表面交互，切片中的改变导致邻近切片 中不能被看到的改变。当使用常规系统时，这是非直观的并需要高级的专门技能。最终，对 于表面网格表示，当执行多个用户交互时该网格将会恶化。
现有技术中需要便于克服上述不足的系统和方法。 根据一个方面，用于解剖结构模型与3D临床图像的交互式配准的系统包括存储 器，其存储解剖结构的3D轮廓模型的图集；显示器，其呈现患者图像和覆盖在该患者图像 上的选定的轮廓模型的视图；以及用户输入设备，其由用户使用来移动该模型上选择的一 对标记点中的一个。该系统还包括处理器，其从该用户输入设备接收标记点的运动信息并 执行算法以实时调整该轮廓模型的显示平面。 根据另一方面，3D轮廓解剖结构模型与患者中该结构的临床图像的交互式配准的 方法包括向用户呈现从模型的图集中选择并覆盖至该临床图像上的模型，以及使该选择的 模型的一部分在由该用户指示的方向上变形。该方法还包括显示一对用户输入标记点，所 述标记点沿着该变形模型的该部分定义了起点和终点，以及将该标记点加入到存储在存储 器中的标记点对的集合中。该方法也包括使用该用户输入标记点来为该模型计算体积变形 函数，应用该体积变形函数使该模型变形，以及基本实时地向该用户呈现经更新的模型。
根据另一方面，弹性3D轮廓模型配准设备，包括用于向用户呈现从模型的图集中 选择并覆盖至临床图像的模型的装置，以及用于允许用户点击模型并在用户想要使该模型 变形的方向上拖动光标的装置。该设备还包括用于向用户显示一对用户输入标记点的装 置，其中该标记点定义出光标行进路线的起点位置和终点位置，以及用于将该标记点加入 存储在存储器中的标记点对的集合中，使用用户输入标记点来为该模型计算体积变形函 数，以及应用该体积变形函数使模型变形的装置。用于呈现的装置实时地向该用户显示经 更新的模型。 又另一方面涉及解剖结构的3D轮廓模型的图集，其包括多个由一个或多个对象 的解剖结构的扫描图像生成的解剖结构模型，其中该模型通过用户在三维上是可基本上实 时变形的。机器可读介质存储了多个模型以供操作者调用和操作。 另一方面涉及治疗规划方法相关，其包括输入患者图像数据，基于患者数据来从 轮廓模型的图集中选择轮廓模型以覆盖在该患者图像数据上，并操作该选择的轮廓模型以 制定治疗计划。 —个优点是解剖结构的3D轮廓模型是实时变形的，从而降低了将模型变形时保
5持在所定义的显示平面中的需要。 另一优点在于使用用户输入标记来动态调整显示平面。 当本领域普通技术人员阅读并理解以下详细描述时将了解本发明主题的进一步 优点。 由于所述方法是无网格的，因此也实现了进一步的优点。因而其不受表面表示的 约束，并避免了网格恶化的问题。 本发明可采用各种部件和部件的排列，以及各种步骤和步骤的安排。附图只是用 于图示各方面的目的，并不解释为对本发明的限制。
图1图示了根据各种方面的手动编辑工具，其用于将解剖结构的图集与3D临床图 像弹性配准以提供实时的动态显示平面更新； 图2图示了两个标记点(Pl， p2)之间的线段(ls)，所述线段定义出一组平面(例 如，包含该线段的无数个平面)； 图3图示了根据在此描述的各种特征的用于操作患者的解剖结构图像的方法；
图4是根据各种特征生成图像体积的切片视图的方法的图示；
图5图示的医院系统可与在此描述的各种系统和/或方法联合使用。
图1图示的手动编辑工具10用于使从解剖结构的图集26中选择的(各)轮廓 与3D临床图像弹性配准。该编辑工具提供实时的动态显示平面更新。图集可以包括一个 或多个解剖结构(例如，诸如心肺、脑、脾、肝脏、肠、胃、胆囊之类的器官；诸如(各)骨、肌 肉之类的其它结构，等等)的模型，并且这种结构可以被参数化。此外，可以为各种解剖结 构提供多个模型，例如，相应于成年人、儿童、肥胖的、瘦的、男性、女性等等。例如，可以使用 网格技术、非均匀有理B样条(NURBS)、或者一些其它参数化协议来实施参数化。工具10 便于给用户提供可靠、直观和交互式的3D编辑应用。根据一个实施例，该工具使用的技术 与在赌博行业中使用的技术类似(见，例如，M. Miiller， B. Heidelberger， M. Teschner， and M.Gross. Meshless deformations based on shape matching. Proc. of SIGGRAPH' 05， 471-478页，2005，描述了用于呈现表面图像信息而非体积图像信息的技术)。
工具10便于轮廓图像体积模型的3D操作，其继而允许用户在多个平面中，而不是 仅仅在一个平面中操作图像体积模型的轮廓。例如，用户访问具有电子化定义的工具的工 具集来推动、拉动或者在三维中调整模型轮廓。例如，该工具定义了不同半径、形状和大小， 包括单独的点的各表面，并可以按压或拉动轮廓来形成其形状。用户可以沿着所显示平面 或者与所显示平面成角度地将该工具推动或者拉动。随着轮廓上的点被拉出或者推离一个 或多个所显示平面，该工具自动改变所显示的(各)平面，从而在操作该轮廓部分的整个期 间，用户可以见到覆盖在诊断图像体积上的期望图像体积的轮廓部分。图像体积可以包括 一个或多个解剖结构，例如，邻近器官。例如，用户可以将轮廓或者轮廓模型上的一特定点 拉动至患者的解剖结构图像上的相应点。在一个例子中，关键点可是椎骨上的棘突，用户可 以将轮廓模型上的相应突起拖动到患者椎骨上的棘突，以使模型与实际图像体积更严密的 对准。在受限制的各点之间，模型可以弹性变形。可包括一个或多个解剖结构的轮廓模型 由诸如(各)结构的扫描或者其它图像的患者数据生成。在一个实施例中，使用一个或多 个对象的若干扫描或者图像来生成(各)结构的一个或多个平均、或者"标准"(各)模型。
所显示的切片或者表面不必是平面，而是也可以为曲面。例如，轮廓表面可以弯曲以与脊椎的曲度匹配。在一个实施例中，器官外形单独地存储在各个图集中，并可以由用户 结合或者组合以形成感兴趣区域。在另一实施例中，在通常成像区域中的器官的外形可以 预先组合，从而使在预先组合区域中的所有器官的外形可以作为一个组下载、上载或者以 其它方式访问。 该工具包括与成像仪14耦接的用户界面12。例如，成像仪14可以是计算机断层 摄影(CT)扫描系统或者其变型、磁共振成像(MRI)系统或者其变型，或者任意其它适于生 成患者或者患者一部分的2D或3D图像的成像仪。 用户界面14包括执行机器可读指令和/或例程的处理器16，所述指令和/或例 程存储在存储器18中，用于操作患者的一个或多个器官的3D图像。这种图像经由显示器 20显示给用户，然后允许用户使用输入设备22来操作该图像。存储器18另外存储有与图 集26相关的信息和/或例程，包括各种器官的3D图像和/或图形，然后该3D图像和/或 图形作为模板使用，在所述模板上覆盖有患者(各)器官的相应图像24。此外，存储器存储 着与经由显示器20给用户显示患者和图集图像相关的信息和/或例程，以及用于响应经由 输入设备22的用户输入而操作图集和/或患者图像的例程。此外，存储器存储与患者图像 相关的图像数据24，以及描述标记对和诸如此类的标记数据28。输入设备可以是，例如键 盘和光标、触控笔、鼠标或者一些其它的适当输入设备。 与图1结合而进行观察的图2图示了定义出一组平面(例如，包含该线段的无数 个平面)的两个标记点(Pl，P2)之间的线段(ls)。在一例子中，所显示的平面(Pd)是两个 标记之间的线段和P3的函数，其中由用户将标记中的一个移动到点P3。例如，两个标记点 Pl和P2的初始位置提供了两个点来定义出显示平面Pd，而所操作的标记点的最终位置P3提 供了第三个点来完成该三个点的集合，从而定义出该显示平面。在这一例子中，用户点击两 个标记点中的一个，将所选择的标记点拖动到新的3D坐标，然后释放鼠标按键。鼠标按键 释放处的坐标由处理器16记录，并作为新的标记对存储在存储器18中。以这一方式，用户 将标记点中的一个移动到的新坐标用于定义出显示平面，因而所调整的标记点在显示平面 之内并对用户可见。处理器16将所显示的切片中的相应一个重新定向以使其位于所定义 的显示平面Pd中。 例如，显示器20显示了在将要被移动的点p2处相交的三个正交平面P2和P3。 当点P2被移动到点P3，定义出新的显示平面Pd，并旋转相应的显示平面P2从而与平面Pd共 面。 在另一实施例中，图集包括多个代表由成像仪14成像的不同解剖结构或者结构 组合的标签模型。此外，该图集可以包括多个对于每个解剖结构或者结构组合的不同大小 的模型。例如，不同大小的肝脏_和_肾脏模型，以及也可以具有不同大小的分开的肝脏模 型和肾脏模型可以存储在该图集中。用户可以将模型中的第一和第二点与诊断图像中的第 一和第二点相关联，并可以使模型变形来与诊断图像匹配。例如，用户可以将标记点拖动到 新的位置，并看到随着标记的拖动视图是如何变化的。 根据另一实施例，用户可以将图像和模型放大以微调轮廓。此外，除了触控笔或鼠 标之外或者作为其替代，用户可以使用箭头键或者诸如此类来操作标记点。处理器可以以 局部和/或全局支持来使用样条以便于(各)使轮廓模型弹性扭曲到图像。在另一实施例 中，通过用户的(各)模型的变形可以由限位框或者诸如此类来限制，其中在该限位框之外用户不能拖动标记点以使模型或者其轮廓变形。 图3图示了根据在此描述的各种特征的用于操作患者的解剖结构图像的方法30。 该方法例如可以作为一系列的例程等由处理器16执行。在一个实施例中，在32，处理器和 /或用户将解剖结构的图集设置在初始位置(例如，分别自动地或者手动地)。例如，由成 像仪14生成的图像的平面正交切片与和该平面切片相交的表面模型(例如，来自该图集) 的轮廓一起显示。为了改善初始分割，用户使用鼠标或者触控笔来在任意选择的平面中，以 用户想要的方向来点击和拖动，以使该轮廓变形。在34，由处理器和/或存储器接收标记信 息。在36，当用户释放鼠标或者触控笔按键时，在图像中显示一对相应的标记，例如，所述标 记由线段连接。在38，该标记定义出该线段的起点和终点，并被加入到存储在存储器中的现 有成对标记的集合中(其最初可为空的)。 在40，根据该成对标记的集合可以计算出体积变形函数(例如，通过使用弹簧质 点模型、或者例如基于Wendland函数的参数变换、弹性体样条、薄板样条、等等)并应用于 该图集。在42，当新的标记对被插入该集合或者从该集合删除时，及时(例如，实时)更新 该图集轮廓的显示。以这一方式，用户简单的点击和拖动患者图像上的点就使该图像与所 选择平面中的所存储(各)图集图像更严密的对准。 图4是根据各种特征生成图像体积的切片视图的方法60的图示。该方法例如可 以作为一系列的例程等由处理器16执行。在62，由用户选择用户定义标记对。在64，用 户使用用户输入设备22来拖动标记，而处理器根据用户输入对显示在显示器20上的标记 进行移位，以改进输出结果。根据一个实施例，用户可以跳至任意标记对，并例如通过使用 orthoviewer等看到穿过包含线段的图像体积的切片，其中该线段由该两个标记定义。
任选地，在66，用户可以调整标记以定义出"切割平面"，其在释放鼠标或者触控笔 按键之后显示与切片视图正交地"切割"图像体积的切片以用于调整标记。提供切割平面 可以便于提高3D交互。 所描述的系统和/或方法的其它实施例中，可以使用诸如3D鼠标或者操纵杆之类 的专业输入设备来进一步改进手动交互的效率。所描述的技术可以用于作为纯粹的手动 编辑工具，或者用于与任意适当的自动配准和分割技术结合来提供预先处理和后期处理功 能。此外，如本领域技术人员将可了解的，在此的该系统和方法可以用于医学图像处理系 统、治疗规划工作站等。 参考图5，示例性的医院系统可包括多个例如CT、 MR等的成像设备IOO，其生成的 成像数据由单独的或者共享的重建处理器102重建来生成3D图像表示。该图像表示通过 网络104与中央存储器106通信。 在与网络连接的站点110处，操作者使用输入设备112来将所选择的3D图像表示 从中央存储器移动到本地存储器114。视频处理器116选择，例如在监视器120的观察端口 118^1182和1183中显示的三个正交切片。第四个观察端口 1184可以显示表面绘制体积、 特写视图等。操作者经由输入设备112来选择将要显示的切片。 操作者使用输入设备来从图集122中选择3D轮廓，并将其存储在所选择的轮廓存 储器124中。视频处理器将所选择轮廓的相同的三个平面覆盖到显示在端口 118pll&和 1183中的切片上。为了使该轮廓与诊断图像中的一个或多个器官的形状相一致，操作者使 用输入设备来在一个或多个3D切片上指定特征点。如上所述，操作者可以指定第一特征点，例如，图像和轮廓已经重合的特征点。然后操作者在该图像上指定第二特征点，并在该 轮廓上指定第三特征点，其中该第三特征点与该第二特征点相对应。注意到这三个点可能 不是同时可见的。相反，操作者可能必须移动一个或多个显示平面来找到和/或指定该三 个特征点。 —旦已经指定三个点，视频处理器在例如第四个观察端口 1184中显示由该三个点 定义出的切片。随着操作者将轮廓上的第三个特征点向着器官上的第二特征点拉动或者推 动，该轮廓在三维上弹性偏转。在这一运动期间，操作者可以在第四个观察端口中观察该轮 廓在该运动的平面中的偏转。轮廓的改变也可在其它显示切片中看到。已改变的轮廓形状 存储在存储器124中。操作者根据需要重复这一过程以使该轮廓与器官一致。
成形的轮廓可以存储在中央存储器106中或者直接用于另一程序。例如，治疗规 划(例如，放射、消融等等)站点130可以使用该轮廓来规划治疗过程。 一旦操作者对规划 感到满意，就将该规划好的治疗传输至执行该规划过程的治疗设备132。其它站点可以在各 种其它规划程序中使用该成形的轮廓。
9
权利要求
一种用于将解剖结构模型与3D临床图像交互式配准的系统，包括存储器(18)，其存储解剖结构的3D轮廓模型的图集(26)；显示器(20)，其呈现患者图像和覆盖在所述患者图像上的选定的轮廓模型的视图；用户输入设备(22)，其由用户使用来移动所述模型上的选定的一对标记点中的一个；以及处理器(16)，其从所述用户输入设备(22)接收标记点的运动信息并执行算法以实时调整所述轮廓模型的显示平面。
2. 根据权利要求l所述的系统，其中，所述图集(26)包括给定解剖结构的不同大小的轮廓模型。
3. 根据权利要求2所述的系统，其中，所述图集(26)包括解剖结构的组的轮廓模型。
4. 根据权利要求l所述的系统，其中，所述输入设备(22)包括按键，当光标悬停在所显示的轮廓模型的第一位置处时，由所述用户按下所述按键，将所述光标移动到所显示的轮廓模型的第二位置处，并在所述第二位置处释放所述按键，以定义出线段。
5. 根据权利要求4所述的系统，其中，所述第一位置和第二位置作为一对标记点存储在所述存储器(18)中。
6. 根据权利要求5所述的系统，其中，所述用户选择一对标记点，并将所述一对标记点中的第一标记点拖动至新的位置以定义所述显示平面，并且所述处理器随着所述用户拖动所述第一标记点而实时更新所述显示平面。
7. 根据权利要求1所述的系统，其中，所述用户在诊断图像上选择第一标记点和第二标记点，并在所述轮廓模型上选择第三标记点，其中，第三标记点对应于所述第一标记点和第二标记点中的一个，并且其中，由所述处理器(16)执行的所述算法定义出由所述第一、第二和第三标记点定义出的平面中的切片，并使所述显示器(20)显示所述切片。
8. 根据权利要求1所述的系统，其中，将所述轮廓模型变形以与所述临床图像对准，并使用经变形的轮廓模型来生成放射治疗计划。
9. 根据权利要求l所述的系统，其中，所述处理器(16)生成体积变形函数并将所述函数应用于所述轮廓模型以调整所述显示平面。
10. 根据权利要求9所述的系统，其中，所述处理器(18)使用弹簧质点模型、Wendland函数参数变换、弹性体样条或者薄板样条中的至少一个来生成所述体积变形函数。
11. 根据权利要求1所述的系统，其中，所述3D轮廓模型是根据患者图像数据生成的。
12. 根据权利要求1所述的系统，还包括用于将所述轮廓模型设置在覆盖患者图像的初始位置的例程或者装置(32);用于接收用户输入以使所述轮廓模型变形的例程或者装置(34);用于显示用户输入的标记点的例程或者装置(36);用于将用户输入的标记点对加入到现有的标记点对的集合中的例程或者装置(38);用于根据所述用户输入来计算用于使所述轮廓模型变形的体积变形函数的例程或者装置(40);用于实时更新所述模型的显示轮廓的例程或者装置(42)。
13. 根据权利要求1所述的系统，其中，将所述处理器配置为接收与所显示的轮廓模型之内的用户定义的标记点对相关的用户输入；更新存储在所述图集(26)中的所述轮廓模型中的标记对坐标； 接收与选定的标记点对中的第一标记点的运动相关的用户输入；以及 响应于所述第一标记点的所述运动实时更新所述轮廓模型。
14. 一种用于交互式配准如权利要求1所述的解剖结构模型的方法，包括 将所述模型设置在覆盖患者的解剖结构的图像的初始位置； 接收用户输入以使所述模型的轮廓变形； 显示所述模型上的用户输入的标记；将所述用户输入的标记加入到所述模型的标记对的集合中； 计算作为所述用户输入的标记的位置的函数的体积变形函数； 将所述体积变形函数应用于所述模型；以及 为所述用户实时更新所述模型。
15. —种将3D轮廓解剖结构模型与患者中所述结构的临床图像交互式配准的方法，包括将从模型的图集(26)中选择的并覆盖至所述临床图像上的模型呈现给用户； 使所选择的模型的一部分在由所述用户指示的方向上变形；显示一对用户输入的标记点，其定义出沿着经变形的模型的所述部分的起点和终点； 将所述标记点加入到存储在存储器(18)中的标记点对的集合中； 使用所述用户输入的标记点来为所述模型计算体积变形函数； 应用所述体积变形函数以使所述模型变形；以及 基本实时地向所述用户呈现经更新的模型。
16. 根据权利要求15所述的方法，其中，呈现经更新的模型包括定义出与行进路线和所述模型上的点相交的平面，其中所述模型上的点与所述行进路 线上的点相对应；显示穿过所定义的平面的切片图像；以及，沿着所定义的平面来拖动所述模型上的所述点来使所述模型变形。
17. 根据权利要求15所述的方法，还包括使用经更新的模型来生成治疗计划。
18. 根据权利要求15所述的方法，其中，使用弹簧质点模型、Wendland函数参数变换、 弹性体样条或者薄板样条中的至少一个来生成所述体积变形函数。
19. 根据权利要求17所述的方法，还包括接收与用户选择的一对对应标记点相关的信息，其中一个点在所述模型上而另一个点 在所述临床图像上；定义出显示平面，其中所述一对标记点位于该显示平面上；将所选择的标记点对中的模型标记点沿着所述显示平面向着临床图像标记点移位； 定义出与其中至少一个标记点被移位的显示平面正交的切割平面；以及 向所述用户呈现所述模型的切割平面视图。
20. 根据权利要求15所述的方法，其中，所述输入设备(22)是鼠标或者触控笔中的至 少一个。
21. 根据权利要求15所述的方法，其中，所述图集(26)包括不同解剖结构的多个模型、 一个或多个解剖结构的不同大小的模型，和/或解剖结构的一个或多个不同组合的模型。
22. —种处理器(16)或者计算机可读介质(18)，其被编程以执行根据权利要求15所 述的方法。
23. —种弹性3D轮廓模型配准装置，包括用于将从模型的图集(26)中选择的并覆盖至临床图像的模型呈现给用户的装置 (12);用于允许所述用户点击所述模型并在所述用户想要使所述模型变形的方向上拖动光 标的装置(22);用于将一对用户输入的标记点显示给所述用户的装置(20)，其中所述标记点定义出所 述光标的行进路线的起点位置和终点位置；用于将所述标记点加入存储在存储器(18)中的标记点对的集合中，使用所述用户输 入的标记点来为所述模型计算体积变形函数，以及应用所述体积变形函数来使所述模型变 形的装置(16);以及其中，所述用于呈现的装置(20)实时地向所述用户显示经更新的模型。
24. —种解剖结构的3D轮廓模型的图集，包括由一个或多个对象的解剖结构的扫描图像生成的解剖结构的多个模型，其中，所述模 型可由用户基本实时地在三维上变形；以及机器可读介质，其存储所述多个模型以供操作者调用和操作。
25. —种治疗规划方法，包括 输入患者图像数据；基于患者数据来从轮廓模型的图集中选择轮廓模型以覆盖所述患者图像数据；以及 操作所选择的轮廓模型以制定治疗计划。
全文摘要
当为了诊断或者治疗规划而对患者的解剖结构进行建模时，可以访问预先设计的解剖结构模型的图集(26)，并且可以选择一个或多个这种结构的模型并将其覆盖至患者临床图像的相应(各)结构的3D图像上。用户可以在该模型上点击和拖动光标以使该模型变形至与该临床图像对准。此外，处理器(16)可以使用样条、参数化技术等来生成体积变形函数，并可以响应于用户对该模型的操作来将使模型变形以实时与该图像匹配。
文档编号G06T7/00GK101765864SQ200880100618
公开日2010年6月30日 申请日期2008年7月11日 优先权日2007年7月27日
发明者D·贾弗雷, H·舒尔茨, T·维克, V·佩卡尔 申请人:皇家飞利浦电子股份有限公司