用于改进多模态图像融合中的配准准确度的智能标志选择的制作方法

用于改进多模态图像融合中的配准准确度的智能标志选择的制作方法
【专利摘要】用于图像配准的系统和方法包括被配置为识别第一图像(110)的内部标志的图像特征检测模块(116)。图像配准和变换模块(118)被配置为使用处理器来计算配准变换，以基于表面标志将第二图像(112)与所述第一图像配准，以得到经配准的图像。标志识别模块(120)被配置为使用所述配准变换将所述内部标志覆盖到所述第二图像上、将覆盖的标志中的每个包围在虚拟对象内以在所述经配准的图像中识别对应的标志对、并且使用具有识别出的标志的所述经配准的图像来将所述第二图像与所述第一图像配准。
【专利说明】用于改进多模态图像融合中的配准准确度的智能标志选择

【技术领域】
[0001] 本公开涉及成像工具，并且更具体而言，涉及用于具有改进的准确度的多模态图 像配准的系统和方法。

【背景技术】
[0002] 对于多模态图像配准，使用传统的基于亮度的方法通常是不合适的，这是因为不 同的图像模态可能呈现不同的对比度和解剖结构。作为替代，一般使用基于特征的方法，其 依赖于从分割采集的表面标志和内部标志。基于表面的配准技术中的关键问题是该技术严 重取决于分割结果的准确度。在具有低信号噪声比的成像模态（例如超声）中，分割的准 确度通常是不可靠的。因此，优选使用表面标志和内部标志两者。能够容易地基于对器官 边界的分割来提取表面标志，而可能更难对内部标志进行定位，不管是人工地还是自动地。 然而，由于图像的特性的不同，难以在不同模态的图像之间确定标志对。尽管在许多情况下 对于标志对的人工选择是优选的，但是人工选择是主观的并且是不一致的。


【发明内容】

[0003] 根据本发明的原理，提供了用于选择不同模态的图像中的标志对的新颖的解决方 案。对标志对的选择包括确定配准变换以基于表面标志来将运动的图像与静态图像配准。 使用所述配准变换将在所述静态图像上识别出的内部标志覆盖到经配准的图像上。将每个 覆盖的标志包围在球或其他对象内以帮助在经配准的图像中识别对应的标志对。使用所述 配准变换的逆变换来将在经配准的图像中识别出的所述标志变换回所述运动的图像。将所 述运动的图像与所述静态图像非刚性地配准。有利地，本原理提供了对对应的内部标志对 进行定位的指导。本原理中对表面标志和内部标志两者的使用改进了配准准确度。
[0004] 一种用于图像配准的系统包括被配置为识别第一图像的内部标志的图像特征检 测模块。图像配准和变换模块被配置为使用处理器来计算配准变换，以基于表面标志将第 二图像与所述第一图像配准，以得到经配准的图像。标志识别模块被配置为：使用所述配准 变换将所述内部标志覆盖到所述第二图像上，将覆盖的标志中的每个包围在虚拟对象内以 在所述经配准的图像中识别对应的标志对，并且使用具有识别出的标志的所述经配准的图 像来将所述第二图像与所述第一图像配准。
[0005] -种用于图像配准的方法包括识别第一图像的内部标志。使用处理器来计算配准 变换，以基于表面标志将第二图像与所述第一图像配准，以得到经配准的图像。使用所述配 准变换来将所述内部标志覆盖到所述经配准的图像上。将覆盖的标志包围在虚拟对象内以 在所述经配准的图像中识别对应的标志对。使用具有识别出的标志的所述经配准的图像来 将所述第二图像与所述第一图像配准。
[0006] -种用于图像配准的方法包括将第二图像与第一图像刚性地配准。使用处理器来 识别所述第一图像和所述第二图像的内部特征，以测量所述第一图像和所述第二图像的相 似性，以选择刚性配准和非刚性配准中的一个。使用所选择的刚性配准或非刚性配准来将 所述第二图像与所述第一图像配准。

【专利附图】

【附图说明】
[0007] 本公开将参考以下附图详细提出对优选的实施例的以下说明，其中：
[0008] 图1是示出了根据一个说明性实施例的、用于用来识别一致的标志对的智能标志 选择的系统的方框/流程图；
[0009] 图2图示了根据一个说明性实施例的用于选择表面标志的球选择器系统；
[0010] 图3示出了根据一个说明性实施例的感兴趣区域选择系统的轮廓；
[0011] 图4示出了根据一个说明性实施例的、用于用来识别一致的标志对的智能标志选 择的方法；
[0012] 图5是示出了根据一个说明性实施例的、用于用来识别一致的标志对的智能标志 选择的方法的方框/流程图；
[0013] 图6是示出了根据一个说明性实施例的用于针对配准选择感兴趣区域的方法的 方框/流程图；并且
[0014] 图7是示出了根据一个说明性实施例的、用于选择最优配准方法的方法的方框/ 流程图。

【具体实施方式】
[0015] 根据本发明的原理，系统、装置和方法的实施例提供了用来改进多模态图像融合 中的配准准确度的智能标志选择。该智能标志选择协助用户选择不同模态的图像之间的一 致的标志对以改进配准准确度。在一个实施例中，智能标志选择包括确定配准变换以基于 表面标志来将运动的图像与静态图像配准，其中，静态图像和运动的图像是来自不同模态 的。使用配准变换来将静态图像上识别出的内部标志覆盖到经配准的图像上。将每个覆盖 的标志包围在球或其他对象内以帮助在经配准的图像中识别对应的标志对。使用配准变换 的逆变换将经配准的图像中识别出的标志变换回运动的图像。将运动的图像与静态图像非 刚性地配准。本原理中对表面标志和内部标志两者的使用改进了准确度。
[0016] 在另一个实施例中，能够通过将配准限制到特定的感兴趣区域来改进初始配准。 可以由用户通过以下来规定感兴趣区域，例如：i)人工地确定感兴趣区域；ii)从患者特异 的图集选择感兴趣区域；以及iii)将所有标志用于配准。人工地确定感兴趣区域可以包 括：i)人工地选择表面标志或指定感兴趣区域；以及ii)设定具体的阈值以过滤不想要的 标志。由于用户可以以特定的组合来使用选项以实现最好的结果，所以这些选项不互相排 除。通过将配准限制到图像中特定的感兴趣区域，在局部部位中实现了更好的配准的准确 度。
[0017] 在又一个实施例中，能够通过在刚性配准和非刚性配准之间最优地做出选择来进 一步改进初始配准。选择最优的配准方法包括首先刚性地将运动的图像与静态图像配准， 并且从图像提取内部特征以评估图像的相似度。内部特征提取可以包括应用度量，例如解 剖标志对之间的距离和Dice相似度系数。基于该度量来人工地或自动地选择刚性配准或 非刚性配准。自动地选择配准方法包括应用机器学习引擎以基于提取的特征来预测非刚性 配准的性能。有利地，最优地选择刚性配准或非刚性配准为用户提供了图像融合的最好的 质量。
[0018] 能够通过使用专用硬件以及能够与合适的软件相关联地执行软件的硬件来提供 附图中示出的各个元件的功能。当由处理器来提供功能时，能够由单个专用处理器、由单个 共享处理器或由其中一些能够被共享的多个独立处理器来提供功能。而且，对术语"处理 器"或"控制器"的明确的使用不应被解释为排他地指代能够执行软件的硬件，并且能够暗 含地包括但不限于，数字信号处理器（"DSP"）硬件、用于存储软件的只读存储器（"ROM")、 随机存取存储器、非易失性存储器等。
[0019] 而且，本文记载原理、方面和本发明的实施例及其具体范例的所有陈述旨在包括 其结构等价方案和功能等价方案两者。此外，旨在使这样的等价方案包括目前已知的等价 方案以及将来发展出的等价方案（即发展出的执行相同的功能的任何元件，而不论其结构 如何）两者。因此，例如，本领域技术人员应当意识到本文提出的方框图表示说明性系统部 件的概念性视图和/或实现本发明的原理的电路图。相似地，应当意识到任何流程图表、流 程图等表示各个过程，这些过程可以基本在计算机可读存储媒体中表示并且因此由这样的 计算机或处理器执行，不论是否明确示出了计算机或处理器。
[0020] 此外，本发明的原理的实施例可以采取能够从计算机可用或计算机可读存储介质 访问的计算机程序产品的形式，所述计算机可用或计算机可读存储介质提供由计算机或任 何指令执行系统使用或结合计算机或任何指令执行系统使用的程序代码。出于这种说明的 目的，计算机可用或计算机可读存储介质能够是可以包括、存储、传送、传播或输送由指令 执行系统、装置或设备使用或结合指令执行系统、装置或设备使用的程序的任何装置。所述 介质可以是电子、磁性、光学、电磁、红外线或半导体系统（或装置或设备）或者传播介质。 计算机可读介质的范例包括半导体或固态存储器、磁带、可移动计算机磁盘、随机存取存储 器（RAM)、只读存储器（ROM)、硬磁盘和光盘。光盘的当前的范例包括只读光盘（CD-ROM)、读 /写光盘（CD-R/W)、DVD和蓝光盘TM(BD)。
[0021] 现在参考附图，其中，相似的附图标记表示相同或相似的元件，并且首先参考图1， 说明性地描绘了根据一个实施例的用于智能标志选择的系统100,其中，所述智能标志选择 用于协助用户（例如放射医师）从通过不同模态扫描的图像选择一致的标志对以改进配准 准确度。系统100可以包括工作站或控制台106,利用工作站或控制台106来监督并且管 理配准。工作站106优选地包括一个或多个处理器130以及用于存储程序和应用的存储器 108。应当理解，可以将系统100的功能和部件整合到一个或多个工作站或系统中。
[0022] 存储器108可以存储来自仪器A 102的静态图像110和来自仪器B 104的运动 的图像112。仪器A 102和仪器B 104可以包括任何成像设备，例如但不限于，磁共振成像 (MRI)系统、荧光检查系统、计算断层摄影（CT)系统、超声系统等。在优选的实施例中，仪器 A 102和仪器B 104是来自不同模态的。系统100协助用户从分别来自仪器A 102和仪器 B 104的图像110和图像112选择一致的标志对以改进配准准确度。
[0023] 工作站106可以包括用于观看图像110和图像12的一个或多个显示器126。显示 器126还可以允许用户与工作站106及它的部件和功能进行交互。这是由用户接口 128来 进一步促进的，其中，用户接口 128可以包括键盘、鼠标、操纵杆或用来允许用户与工作站 106交互的任何其他外围设备或控制器。
[0024] 计算机实施的程序114被存储在工作站106的存储器108中。程序114包括用来 检测并且识别仪器A 102的模态的静态图像110的内部标志的图像特征检测模块116。应 当注意到，可以人工地或自动地执行模块116中的内部标志检测。模块116中的人工特征 检测可以采用对显示器126和用户接口 128的使用来与工作站106交互。模块116中的自 动特征检测可以采用尺度不变特征转换（SIFT)方法或快速鲁棒特征（SURF)方法来检测特 征。也预期其他方法。
[0025] 程序114包括用来确定配准变换以基于表面标志来将仪器B 104的模态的运动的 图像112与仪器A 102的模态的静态图像110配准的图像配准和变换模块118。在一个特 别有用的实施例中，配准可以包括将配准限制到特定的感兴趣区域。通过限制配准区域，对 于局部部位改进了配准的准确度。存在用户可以根据本原理来制定感兴趣区域的若干方 式。例如用户可以：i)人工地确定配准区域；ii)从预设的图集选择区域并且只将区域里面 的标志用于进一步的配准；或者iii)将所有表面标志用于配准，这可以是一个实施例中的 默认选项。也预期制定感兴趣区域的其他方法。应当注意到，这些选项不互相排除。用户 可以以特定的组合来使用选项以得到最好的结果。
[0026] 可以通过人工地勾画表面标志或感兴趣区域来实现用于配准的对感兴趣区域的 人工选择。在一个实施例中，用户可以使用例如球形的球选择器替代逐个拾取标志来在三 维（3D)空间中人工地选择表面标志。应当理解本原理不限于球形的球选择器，而可以是任 何形状的选择器。参考一下图2,说明性地描绘了球选择器系统200。用户能够调节球选择 器202的半径（例如左击+滚动）并且将选择（例如双左击）或去选择（例如双右击）球 选择器202里面所有表面标志204。
[0027] 在另一个实施例中，用户可以人工地画出感兴趣区域的轮廓以勾画解剖标志。参 考一下图3,说明性地描绘了基于感兴趣区域选择系统300的解剖标志。用户人工地画出 302感兴趣区域306的轮廓以针对配准选择标志304。这可以包括对显示器126和用户接 口 128的使用。只将画出轮廓302的感兴趣区域306内的表面标志304用在配准中。
[0028] 在又一个实施例中，基于自动阈值在感兴趣区域内选择标志。对于运动的图像112 中的各个标志，确定到静态图像110中的各个标志的距离，并且对于运动的图像112中的各 个标志度确定最短距离。用户接着能够为最短距离指定阈值，并且最短距离大于阈值的所 有标志将会被排除。这样的阈值假设了用于配准的两个体积已经被刚性地对准并且不一致 的分割主要对应于具有大的最短距离的标志，在例如前列腺经直肠超声（TRUS)融合的情 况下是这种情况。阈值处理还可以是基于体积内的窄范围的，使得用户指定该窄范围并且 排除该范围外面的标志。
[0029] 根据另一实施例，能够通过从患者特异的图集选择区域来选择感兴趣区域。生成 患者特异的图集可以包括：1)通过求若干人工分割的平均来一起生成模板分割和预设的 图集；2)使该模板变形以匹配患者特异的分割；3)将变形的模板图集应用到患者特异的分 割上；并且4)分离基于应用的图集的表面标志。预设的图集的选定区域里面的标志将被用 于进一步的配准。
[0030] 返回参考图1，程序114的图像配准和变换模块118将仪器B 104的模态的运动的 图像112与仪器A 102的模态的静态图像110配准。基于应用和兴趣器官，配准可以是刚 性的或非刚性的。在特别有用的实施例中，图像配准和变换模块118包括用于选择最优配 准方法（例如刚性配准或非刚性配准）的决策支持。将运动的图像112与静态图像110刚 性地配准，并且提取内部特征以评估两幅图像的相似度。对于多模态图像融合，亮度范围和 图像对比都能够是非常不同的。例如，MRI中可见的特定标志在超声对比下可以是也可以 不是可见的。这样，使用在单模态配准中使用的传统方法（例如共有信息方法或均方标准 差方法）来测量相似度一般是不实际的。作为替代，基于内部解剖结构的特征更合适。
[0031] 可以自动地或人工地完成基于刚性对准的图像的对内部特征的特征提取。内 部特征提取可以使用两个或更多个度量以理解内部特征的内部翘曲。例如可以应用以 下度量：1)解剖标志对之间的距离；以及2)Dice相似度系数，其中能够通过2*|A1交集 A2|/|A1| + |A2|)来计算Dice相似度系数，其中A1和A2是两个分割体积。也预期其他度 量。例如，度量可以考虑内部形态学特征和它们的变形图样。
[0032] 基于这些度量，能够人工地或自动地选择刚性配准和非刚性配准中的一个。自动 确定可以包括用来方便这种决策制定过程的机器学习引擎。机器学习引擎首先经历基于训 练数据集对的集合的训练过程，所述训练数据集对的集合具有一组足够多样的度量。例如， 可以使用诸如人工神经网络或支持向量机的机器学习方法来训练机器学习引擎在刚性配 准和非刚性配准之间做出选择。可以进一步训练机器学习引擎以相同的方式来确定用于做 出最好的决定的特征和度量的最优集合。得到的决定将是对基于提取的特征的非刚性配准 的性能的预测。在推荐非刚性配准的又一个实施例中，评估全体积配准是否优于部分配准。 在部分配准中，只将图像体积的一部分正确地配准，而剩下的可以配准或可以不配准。
[0033] 返回参考图1，一旦程序114的图像配准和变换模块118将仪器B 104的模态的 运动的图像112与仪器A 102的模态的静态图像110配准，则基于利用初始配准来计算的 配准变换将图像特征检测模块116中找到的图像110的内部标志覆盖到仪器B 104的经配 准的图像上。因为成像模态的特性，可能难以对仪器B 104的模态中的内部标志进行定位。 将经配准的图像上每个覆盖的标志包围在虚拟对象内以帮助用户对标志对进行定位。所述 虚拟对象可以具有用户定义的尺寸。在优选的实施例中，所述虚拟对象是具有用户定义的 半径的球。
[0034] 现在参考图4,根据一个实施例说明性地描绘了包围在球400内的标志。由具有 给定的半径的球402将每个覆盖的标志404包围起来以帮助用户找到仪器B 104的模态中 的对应的标志。图1的标志识别模块120可以执行球里面的标志识别，球里面的标志识别 可以包括用户的人工识别或使用诸如SIFT或SURF的图像分析算法的自动识别。用户可以 指定所述半径并且决定显示所有的感兴趣的点还是只显示一个点。仪器A 102的模态的图 像110中存在的解剖结构中的一些可以不存在于仪器B 104的模态的经配准的图像中。这 样，用户可以能够去除存在于这样的区域中的标志。
[0035] 图像配准和变换模块118接着将仪器B 104的模态的经配准的图像中的对应的标 志变换回仪器B 104的模态的运动的图像112。这基于初始配准的变换的逆变换。最终，图 像配准和变换模块118通过将表面标志和内部标志两者组合起来将仪器B 104的模态的图 像112与仪器A 102的模态的图像110非刚性地配准。
[0036] 如上面所提及，一种模态中的标志在另一种模态中是难以被定位的。用于智能标 志选择的系统100协助用户从通过不同模态扫描的图像选择一致的标志对。具体地，系统 100采用表面标志和内部标志两者来改进配准准确度。
[0037] 现在参考图5,根据一个实施例说明性地描绘了用于用来识别一致的标志对的智 能标志选择的方法500。在方框502中，从第一仪器和第二仪器分别提供第一（即静态）图 像和第二（即运动的）图像。第一仪器和第二仪器可以包括任何成像设备，例如但不限于， MRI系统、突光检查系统、CT系统、超声系统等。在一个优选的实施例中，第一仪器和第二仪 器是不同模态的。用于智能标志选择的方法500协助用户在第一图像与第二图像之间选择 一致的标志对以改进配准准确度。在一个实施例中，第一图像具有更好的分辨率和对解剖 结构的勾画。因此在方框504中识别第一图像的内部标志。对内部标志的识别可以包括人 工识别或自动识别。可以通过诸如SIFT或SURF的特征检测方法来完成对内部标志的自动 识别。也预期特征检测的其他方法。在方框506中，确定配准变换以基于表面标志来将第 二图像与第一图像配准。
[0038] 在一个特别有用的实施例中，配准可以包括将配准区域限制到特定的感兴趣区 域。在临床应用中，用户可能只对特定的局部图像部位感兴趣。例如基于对术前MRI的诊 断，病灶活组织检查可能只集中在前列腺的后部部位。在这种情况下，前部区域中的配准准 确度可能是与程序不相关的，而后部区域中的配准准确度更加相关。现在参考图6,说明性 地描绘了根据一个实施例的用于为配准选择感兴趣区域的方法600。方法600将配准限制 到特定的感兴趣区域，从而在该局部部位中具有更好的配准的准确度。在方框602中，存在 用来选择感兴趣区域的一定数量的方法。用于确定感兴趣区域的配准选项可以包括在方框 604中人工地选择感兴趣区域、在方框610中从患者特异的图集选择感兴趣区域、以及在方 框612中选择图像中的所有表面标志。在一个实施例中，选择图像中的所有表面标志（方 框612)是默认选项。也预期制定感兴趣区域的其他方法。例如，用户可以通过指示相关的 解剖位置（例如前部或后部）来指定感兴趣区域。应当注意到这些选项不互相排除。用户 可以以特定的组合来使用选项以实现期望的结果。
[0039] 在方框606中，对感兴趣区域的人工选择可以包括勾画。在一个实施例中，使用球 形的球选择器来执行勾画以在3D空间中选择表面标志。应当注意到，球选择器不限于球 形，而可以是任何形状的。用户可以能够调节球选择器的半径，并且指示选择或去选择球内 的所有表面标志。用户还可以具有对球选择器内的表面标志的反选的选项。在另一个实施 例中，由用户通过画出感兴趣区域的轮廓来执行勾画。例如，用户可以针对配准人工地画出 关键病变和脉管的轮廓。在方框608中，对感兴趣区域的人工选择还可以包括阈值。阈值 处理可以包括通过基于用户指定的阈值的值来过滤标志来以配准选择标志。首先确定从运 动的图像中的各个标志到静态的图像中的各个标志的最短的距离。在配准期间将排除其最 短距离大于用户指定的阈值的标志。应当注意到，阈值处理假设用于配准的两幅图像已经 被刚性地对准了，并且不一致的分割主要与具有大的最短距离的标志对应。也预期阈值的 其他方法。比如，用户也能够指定窄范围并且排除该范围外面的标志。
[0040] 在方框610中，用户可以通过从患者特异的图集选择感兴趣区域来针对配准选择 感兴趣区域。生成患者特异的图集可以包括：1)通过求若干人工分割的平均来一起生成模 板分割和预设的图集；2)使该模板变形以匹配患者特异的分割；3)将变形的模板图集应用 到患者特异的分割上；以及4)基于应用的图集分离表面标志。
[0041] 有利地，方法600提供针对配准选择感兴趣区域，使得在局部部位中实现更好的 配准的准确度。
[0042] 返回参考图5的方框506,基于表面标志来将第二图像与第一图像配准。基于应 用和感兴趣器官，配准可以是刚性地或非刚性的。在一个特别有用的实施例中，配准包括用 于基于提取的图像特征和它们的变形图案在刚性配准和非刚性配准之间做出决定的方法。 现在参考图7,根据一个实施例说明性地描绘了用于选择最优配准方法的方法700。在方框 702中，首先将运动的图像与静态图像刚性地配准。应当注意到，在这种方法中假设正确的 刚性配准。对于多模态图像融合，强度范围和图像对比度都可以是非常不同的。因此，使用 在单模态配准中使用的传统方法（例如共有信息或均方标准差）来测量相似度通常是不实 际的。作为替代，基于内部解剖结构的相似度测量更合适。在方框704中，提取内部结构特 征以评估两幅图像的相似度。特征提取可以包括计算度量以帮助理解内部特征的内部扭 曲。例如根据一个实施例可以应用以下度量：1)解剖标志对之间的距离；以及2)Dice相似 度系数。也预期其他度量。比如，可以使用内部形态学特征和它们的变形图案。
[0043] 方法700使用度量在刚性配准和非刚性配准之间做出选择。在一个实施例中，在 方框706中能够使用度量来人工地选择配准方法。在另一个实施例中，在方框708中应用 机器学习引擎来自动地选择配准方法。基于具有度量的充分不同的集合的训练数据集对的 集合，能够训练诸如人工神经网络或支持向量机的机器学习方法在刚性配准和非刚性配准 之间做出选择。还能够训练机器学习引擎决定用于做出最好的决定的特征和度量的最优集 合。在方框710中，机器学习引擎可以基于提取的特征来预测刚性配准和非刚性配准的性 能。在一个实施例中，如果选择了非刚性配准，则机器学习引擎评估全体积配准是否优于部 分配准。
[0044] 用于选择最优配准方法的方法700通过为每个具体图像数据选择最优配准度量 来为用户提供图像融合的最好的质量。
[0045] 因为成像模态的特性，可能难以对（第二仪器的模态的）第二图像的标志进行定 位。由此，返回参考图5的方框508,基于初始配准中计算的配准变换来将第一图像的内部 标志覆盖到第二仪器的经配准的图像上（方框506)。方框510中，将经配准的图像上的每 个覆盖的内部标志包围在虚拟对象内以指导用户找到对应的标志对。虚拟对象突出覆盖的 标志以帮助用户识别对应的标志对。虚拟对象可以具有用户定义的尺寸。在优选的实施例 中，虚拟对象是球。用户可以指定球的半径并且决定是否显示所有覆盖的点。第一图像中 的特征可以不存在于经配准的图像中。用户可以能够去除存在于这样的区域中的标志。可 以人工地或自动地执行对虚拟对象内的内部标志的识别。对标志的自动识别可以包括应用 诸如SIFT或SURF的图像分析方法，然而也预期其他方法。
[0046] 在方框516中，使用具有识别出的标志的经配准的图像来将第二图像与第一图像 配准。方框516包括方框512和方框514。方框512中，基于利用初始配准计算的配准变 换（506)的逆变换来将经配准的图像中的对应的标志变换回第二（即运动的）图像。在方 框514中，通过将表面标志和内部标志两者组合起来将第二（即运动的）图像与第一图像 非刚性地配准。已经示出了表面标志和内部标志的组合以改进配准准确度。
[0047] 在解释权利要求书时，应当理解：
[0048] a)词语"包括"不排除给定的权利要求中列出的那些之外的其他元件或动作的存 在；
[0049] b)元件前面的词语"一"或"一个"不排除存在多个这样的元件；
[0050] c)权利要求中的任何附图标记都不限制它们的范围；
[0051] d)可以由同样的项目或者硬件或软件实施的结构或功能来表示若干"单元";并且
[0052] e)除非专门指出，否则不特意要求动作的具体顺序。
[0053] 已经描述了用于用来改进多模态图像融合中的配准准确度的智能标志选择的优 选的实施例（所述优选的实施例旨在是说明性的而非限制性的），应当注意到，本领域技术 人员鉴于以上教导能够进行修改和变型。因此应当理解，可以在本文中如权利要求书概括 的那样公开的实施例的范围内，对所公开的公开内容的特定实施例中做出变化。因此已经 描述了专利法要求的细节和特性，在权利要求书中阐述了由专利证书要求并且期望被保护 的内容。
【权利要求】
1. 一种用于图像配准的系统，包括： 图像特征检测模块（116)，其被配置为识别第一图像（110)的内部标志； 图像配准和变换模块（118)，其被配置为使用处理器来计算配准变换，以基于表面标志 将第二图像（112)与所述第一图像配准，从而得到经配准的图像；以及 标志识别模块（120)，其被配置为使用所述配准变换来将所述内部标志覆盖到所述第 二图像上，将覆盖的标志包围在虚拟对象内以在所述经配准的图像中识别对应的标志对， 并且使用具有识别出的标志的所述经配准的图像来将所述第二图像与所述第一图像配准。
2. 如权利要求1所述的系统，其中，所述标志识别模块（120)还被配置为通过使用所述 配准变换来将所述经配准的图像中的识别出的标志变换到所述第二图像，来使用具有识别 出的标志的所述经配准的图像来将所述第二图像与所述第一图像配准。
3. 如权利要求2所述的系统，其中，所述标志识别模块（120)还被配置为使用所述配准 变换的逆变换。
4. 如权利要求2所述的系统，其中，所述标志识别模块（120)还被配置为通过将所述第 二图像与所述第一图像非刚性地配准，来使用具有识别出的标志的所述经配准的图像来将 所述第二图像与所述第一图像配准。
5. 如权利要求1所述的系统，其中，所述标志识别模块（120)还被配置为使用表面标志 和内部标志来将所述第二图像与所述第一图像配准。
6. 如权利要求1所述的系统，其中，所述虚拟对象包括球。
7. 如权利要求5所述的系统，其中，所述虚拟对象包括用户定义的尺寸。
8. 如权利要求1所述的系统，其中，所述第一图像和所述第二图像是来自不同模态的。
9. 一种用于图像配准的方法，包括： 识别（504)第一图像的内部标志； 使用处理器来计算（506)配准变换，以基于表面标志将第二图像与所述第一图像配 准，从而得到经配准的图像； 使用所述配准变换来将所述内部标志覆盖（508)到所述经配准的图像上； 将覆盖的标志包围（510)在虚拟对象内以在所述经配准的图像中识别对应的标志对； 并且 使用具有识别出的标志的所述经配准的图像来将所述第二图像与所述第一图像配准 (516)。
10. 如权利要求9所述的方法，其中，使用具有识别出的标志的所述经配准的图像将所 述第二图像与所述第一图像配准包括使用所述配准变换来将所述经配准的图像中的识别 出的标志变换（512)到所述第二图像。
11. 如权利要求10所述的方法，其中，使用具有识别出的标志的所述经配准的图像 将所述第二图像与所述第一图像配准包括将所述第二图像与所述第一图像非刚性地配准 (514)。
12. 如权利要求11所述的方法，其中，将所述第二图像与所述第一图像非刚性地配准 (514)包括使用表面标志和内部标志。
13. 如权利要求9所述的方法，其中，将覆盖的标志包围（510)在虚拟对象内包括将覆 盖的标志包围在球内。
14. 一种用于图像配准的方法，包括： 将第二图像与第一图像刚性地配准（702); 使用处理器来识别（704)所述第一图像和所述第二图像的内部特征，以测量所述第一 图像和所述第二图像的相似度，从而选择刚性配准和非刚性配准中的一个；并且 使用所选择的刚性配准或非刚性配准来将所述第二图像与所述第一图像配准（710)。
15. 如权利要求14所述的方法，其中，识别（704)内部特征包括计算至少两个相似度度 量。
16. 如权利要求14所述的方法，其中，选择刚性配准和非刚性配准中的一个包括应用 (708)机器学习引擎来预测刚性配准和非刚性配准的性能。
17. 如权利要求14所述的方法，其中，使用所选择的刚性配准或非刚性配准来将所述 第二图像与所述第一图像配准包括将所选择的刚性配准或非刚性配准限制到一个或多个 感兴趣区域，使得所述一个或多个感兴趣区域中配准的准确度被改进。
18. 如权利要求17所述的方法，其中，限制包括人工地选择（604)所述一个或多个感兴 趣区域。
19. 如权利要求18所述的方法，其中，人工地选择（604)所述一个或多个感兴趣区域包 括： 提供用户定义的阈值； 对于所述第二图像中的每个标志，计算到所述第一图像中的每个标志的距离，并且针 对所述第二图像中的每个标志确定最短距离；并且 从配准中排除所述最短距离大于所述阈值的标志。
20. 如权利要求17所述的方法，其中，限制￠10)包括从患者特异的图集选择所述一个 或多个感兴趣区域。
【文档编号】G06T7/00GK104160424SQ201380012748
【公开日】2014年11月19日 申请日期:2013年3月1日 优先权日:2012年3月8日
【发明者】V·帕塔萨拉蒂, M·林, J·克吕克尔 申请人:皇家飞利浦有限公司