用于医学成像的深度学习的组织变形的制作方法

本实施例涉及医学成像。将医学图像融合在一起来协助对患者进行诊断和/或治疗。对于包括单模态和多模态的医学图像融合而言，可变形配准（deformableregistration）通常被用来补偿要被融合的图像之间的身体位置改变、器官变形和/或心脏运动、呼吸运动以及蠕动运动。可变形配准首先通过相似度度量来匹配对应的图像结构，然后基于物理或数学模型来使图像中的一个弯曲以确保该变形与实际的人体改变相一致。可变形配准可以使用弹性或流体建模、光流、生物力学建模或微分同胚映射（diffeomorphism）。

可变形模型试图使变形跨越空间是平滑的，以使得相邻部分相对彼此不具有不切实际的移动。可以应用生物力学属性来实现针对特定器官或结构的实际变形。例如，对于胸部和腹部配准而言，双边滤波（bi-lateralfiltering）允许肺部、隔膜、肝脏以及胸腔之间的滑动运动。作为另一示例，对于脊柱配准而言，将刚度规划到位移更新中以避免不期望的椎骨扭曲。在又一示例中，生物力学建模被用于利用吹入法的肝脏手术。

这些方法是专用的。不能将用于一种组织类型的方法推广用于其他应用，从而导致了针对不同应用的不同模型或方法。此外，这些定制的方法可能仅解决图像融合挑战的一个特定方面，并且可能不是彼此兼容的。例如，双边滤波和刚度规划是基于不同框架来实现的并且不能被一起应用。因此，对于胸部或腹部配准而言，要么允许滑动运动，要么确保椎骨刚度，但是不能同时实现两个特征。

技术实现要素：

借助于简介，下文所描述的优选实施例包括用于由医学成像系统进行医学图像融合的方法、系统、指令和计算机可读介质。使用深度机器学习方法。可以将这一方法用于不同应用。对于给定应用而言，使用相同的深度学习，但是利用不同的专用训练数据。所得到的深度学习的分类器响应于输入一个图像的强度以及针对该一个图像的分块相对于另一图像的位移向量来提供简化的特征向量。输出特征向量被用来确定用于医学图像融合的变形。

在第一方面中，提供了一种用于由医学成像系统进行医学图像融合的方法。将第一医学图像划分成分块。针对每个分块提取输入特征向量。输入特征向量包括：第一医学图像针对该分块的强度、该分块基于与第二医学图像的相似度的第一位移向量、第一医学图像针对该分块的邻近分块的强度、以及邻近分块基于与第二医学图像的相似度的第二位移向量。根据将输入特征向量应用到机器学习的深度分类器来确定深度学习的特征向量。根据该深度学习的特征向量来确定第一医学图像相对于第二医学图像的非刚性变形。基于该非刚性变形将第一医学图像与第二医学图像融合。

在第二方面中，提供一种用于由医学成像系统进行医学图像融合的方法。获取表示患者的第一和第二扫描数据集。将由第一扫描数据集表示的解剖结构相对于由第二扫描数据集表示的解剖结构进行变形。利用机器学习的深度神经网络来确定将第一和第二扫描数据集的解剖结构进行对齐的变形场。根据该第一和第二扫描数据集以及该变形场来生成医学图像。

在第三方面中，提供了一种用于医学图像融合的系统。至少一个医学成像系统被配置成获取表示患者的第一和第二数据。将以第一数据表示的组织相对于以第二数据表示的组织进行移位。图像处理器被配置成通过应用深度学习的神经网络来将第一数据的组织与第二数据配准。显示器被配置成基于该配准来显示图像。

由以下权利要求来限定本发明，并且这一部分中的内容不应当被理解为是对那些权利要求的限制。本发明另外的方面和优点在下文结合优选实施例进行讨论，并且可以之后独立地或以组合形式被要求保护。

附图说明

组成部分和附图不一定是按比例的，而是将重点置于图示本发明的原理。此外，在附图中，遍及不同视图，相同的附图标记标明对应的部分。

图1是用于由医学成像系统进行医学图像融合的方法的一个实施例的流程图；

图2图示了示例医学图像中的示例分块；

图3图示了示例深度机器学习的分类器的层；以及

图4是用于医学图像融合的系统的一个实施例。

具体实施方式

为医学图像融合提供深度学习的组织特定的变形。深度学习的变形模型可以被用于不同的组织属性。由于深度神经网络的通用性和优秀的学习能力，可以在没有特定修改或重新设计的情况下，将这样的基于深度学习的方法应用到广泛范围的应用。通过改变训练数据而不是改变用以创建模型的方法，为不同应用提供深度学习的变形模型。

在一个实施例中，深度学习的神经网络估计用于医学图像融合的人体移动和变形。可以将该方法有效地且高效地推广到不同的临床实例。利用处理来自深度神经网络的大量数据的能力，可以针对未满足的临床需要提供在开发专用模型方面的令人满意的吞吐量。

图1示出了用于由医学成像系统进行医学图像融合的方法的一个实施例的流程图。为了组合来自不同时间和/或利用不同模态的医学成像，在空间上对图像进行配准。使一个图像变形以计及由于运动引起的失真。用于图像融合的变形是基于深度机器学习的分类的。

由图4的系统或另一系统来实现该方法。例如，利用一个或多个医学成像系统或扫描仪来实现动作12。由图像处理器来实现动作12、16（包括动作18、20和22）和24，该图像处理器诸如是下述各项的图像处理器：计算机断层扫描（ct）系统、磁共振（mr）系统、正电子发射断层扫描（pet）系统、超声系统、单光子发射计算机断层扫描（spect）系统、x射线系统、血管造影系统或荧光镜检查成像系统。作为另一示例，在图片存档及通信系统（pacs）工作站上实现或者由服务器实现该方法。其他动作使用与用于配准和图像融合的其他设备的交互。

以示出的顺序（即，从上到下或数字顺序）或其他顺序来实行动作。例如，为不同图像在不同时间实行动作12，所以可以在动作14之后部分地实行动作12。

可以提供附加的、不同的或更少的动作。例如，使用动作12、14、16和/或24但利用不同子的动作（例如，18、20和/或22）来实行该方法。作为另一示例，并没有提供动作24，而是改为将配准用来控制或提供其他反馈。

在动作12中，一个或多个医学成像扫描仪或系统获取扫描数据集。通过对患者进行扫描来获取扫描数据集。替换地，图像处理器从一个或多个存储器、数据库、扫描仪和/或经由通过计算机网络进行的传送来获取扫描数据集。对来自先前实行的扫描的扫描数据集进行取回。

每个集合来自不同的时间和/或模态。例如，一个扫描数据集来自先前的患者探访，诸如数周、数月或数年之前。在每次探访时，相同的或不同的扫描仪使用相同的或不同的设置来对患者进行扫描。在另一示例中，使用不同的扫描仪模态，诸如用于手术前扫描的ct或mri以及手术期间的超声或x射线。可以使用任何类型的扫描数据以及对应的扫描仪模态。ct扫描仪、x射线扫描仪、mr扫描仪、超声扫描仪、pet扫描仪、spect扫描仪、荧光镜检查扫描仪、血管造影扫描仪或其他扫描仪中的任何一个提供表示患者的扫描数据。

通过使用来自不同时间的扫描数据，可以查看随时间的改变。通过使用不同模态，可以提供不同类型的组织响应。在来自不同模态的图像融合中，可以产生多于一个模态的益处。例如，一个模态相比另一个模态可以具有更好的分辨率，但是另一个模态可以实时地提供信息。

可以将以一个扫描数据集表示的组织或解剖结构相对于以另一扫描数据集表示的组织或解剖结构进行变形。例如，一个位置在一个扫描数据集中可能是肺部，但是该位置在另一集合中是骨骼。由于获取时间和/或用以获取的时间长度上的差异，不同扫描数据集可能受制于不同运动以及对应的位置。类似地，不同成像系统具有不同坐标系，所以可能在不同位置提供不同组织。生理周期（例如，心跳或呼吸）可以将一个集合中的组织相比于另一集合进行移位。患者和/或扫描仪运动可能引起相对位移。相对位移是刚性的（即，对于整个扫描数据帧是相同的）或非刚性的（即，仿射的（affine），其中与其他位置相比，将一些位置移位不同的量和/或方向）。

扫描数据或医学成像数据是表示患者的数据帧。该数据可以是以任何格式的。当使用术语“图像”时，该图像可以是以该图像的实际显示之前的格式。例如，医学图像可以是表示笛卡尔坐标或极坐标格式中的不同位置的多个标量值，该笛卡尔坐标或极坐标格式与显示格式相同或不同。作为另一示例，医学图像可以是多个红、绿、蓝（例如，rgb）值，其要被输出到显示器以用于生成以显示格式的图像。医学图像可以是以显示格式或其他格式的当前或先前所显示的图像。

扫描数据或图像表示患者的体积。患者体积包括患者的全部或部分。该体积和对应的扫描数据表示三维区域而并非仅仅一个点、线或面。例如，在以笛卡尔格式的三维网格（例如，n×m×r个网格，其中n、m和r是大于一的整数）上重建扫描数据。可以使用体素或体积的其他表示。扫描数据或标量表示解剖结构或生物活动，解剖数据和/或功能数据也是如此。替换地，扫描数据表示患者体内的二维区域或平面。

在动作14中，图像处理器将医学图像中的一个划分成分块。将表示患者的一个集合的扫描数据进行划分。例如，将表示患者体积的扫描数据集划分成分块，其中每个分块表示该体积的不同子体积。没有对其他图像进行划分，但是可以对其进行划分。

通过形成针对分块的单独的图像或集合来进行划分。替换地，通过将不同位置指派给相应的分块来创建分组或分块成员身份图（membershipmap）。可以将每个体素或像素标记为属于相应的分块。图2示出了两个不同的示例二维医学图像。每个图像包括作为示例被示为方框的9个分块。将每个图像的整体或较大部分划分成分块。

可以使用任何分块大小，诸如16×16×16个体素。可以使用各向异性的分块大小，诸如12×18个像素。分块的大小遍及整个图像是相同的，但也可以遍及图像而变化（例如，针对连续组织类型的背景或较大区域的较大分块大小）。

分块提供了非刚性的变形确定。为每个分块估计针对图像融合的变形的位移向量。对于实际变形而言，分块的位移向量不仅与其本身的点有关，还与其邻近分块中的点有关。例如，在图2中，左图像中的分块ip（即，示出的9个分块中的中心分块）处于椎骨的中间，并且将与其邻近分块中的大多数一起移动，因为邻近分块属于同一刚性椎骨。右图像中的分块iq（即，示出的9个分块中的中心分块）位于肺部的边界处，所以分块的左侧部分将与胸腔中的分块一起移动，而右侧部分将与肺部中的分块一起移动。

再次参照图1，在动作16中，图像处理器确定变形场，该变形场将扫描数据集的解剖结构对齐。一个图像相对于另一图像的组织或解剖结构的位移指示了用来针对该变形进行对齐或修正的变更。对于非刚性变形而言，变形场为每个分块提供位移向量（例如，幅值和方向）。位移向量的这一集合表示医学图像之间的变形。通过使用更小分块来提供更高分辨率的变形。可以按体素或按像素提供变形场。对于刚性变形或未对齐而言，变形场的每个向量是相同的，所以可以由单个位移向量来表示该变形场。

所述确定使用机器学习的深度神经网络或分类器。可以使用任何深度学习方法或架构。例如，使用卷积神经网络。该网络可以包括卷积层、下采样（例如，最大池化）层、全连接层和/或其他类型的层。通过使用卷积，限制了要被测试的可能特征的数量。全连接层操作为将在最大池化之后由卷积层所限制的特征进行全连接。可以将其他特征添加到全连接层，诸如非成像信息或临床信息。可以提供层的任何组合。采用分级结构以用于学习特征或表示或者用于分类或回归。

深度机器学习的分类器对指示变形或者可以被用来确定变形的滤波器核或其他特征进行学习。代替输出变形或者除输出变形之外，使用深度学习来学习可用来确定变形的特征。例如，图3将输入特征向量示为下部行，其中深度机器学习的分类器具有至少三层（l1-3），其中末层（l3）输出可以被用来确定变形场的特征向量。

深度机器学习使用训练数据。训练数据提供图像对和每对之间的已知变形场或真值（groundtruth）变形场。可以提供分块、图像和真值。提供任何数量的这样的示例，诸如数百个或数千个。基于专家输入（例如，放射学家所提供的变形场、界标的输入、或分割）、基于图像中的自动化界标或分割、基于应用被设计用于特定应用的配准算法、根据一个或多个临床研究和/或根据一个或多个数据库来提供真值示例。

训练数据是针对特定应用的。例如，关注的解剖结构和/或要被融合的图像的类型提供该应用（例如，解剖成像应用）。例如，肺癌应用可以使用来自不同时间的x射线图像或ct图像。作为另一示例，肝应用可以将mr或ct图像与spect或pet图像一起使用。给定的应用可以包括任何数量的组织类型。为特定应用实行深度学习。替换地，为了应对不同应用，来自多个应用的训练数据被用来训练分类器。

在一个实施例中，相同输入特征向量和/或深度学习神经网络层配置被用于针对不同应用或者无论解剖成像应用如何来训练分类器。对于医学图像配准（特别是可变形配准）而言，可以避免下述方法，该方法被定制成适应针对特定应用的根本解剖结构属性。替代地，将基于深度学习的方法推广到其中专用训练数据可以按应用变化的许多或所有应用。机器学习处理解剖结构属性，而不是在专用算法中引入限制或约束。深度学习方法可以减少针对给定应用的研制时间并且生成鲁棒且精确的输出。

在给定训练数据的情况下，深度学习对在不同变形之间进行区分的特征向量进行学习。对可以与输入特征向量进行卷积以提供针对分块所输出的特征向量的一个或多个滤波器核进行学习。可以包括最大池化操作、连通性操作和/或其他操作。深度学习提供了一种深度机器学习的分类器，该深度机器学习的分类器输出一个或多个滤波器核的卷积结果和/或利用该输入的其他操作的结果。该结果是针对该分块的特征向量。

任何输入特征向量都可以被用于深度机器学习的分类器的训练和应用。例如，输入分块的强度（即，体素或像素的标量或rgb值）。作为另一示例，使用哈尔小波（haarwavelet）或应用于强度的其他过滤结果。在又一示例中，计算用以与其他图像进行最佳匹配的分块的位移向量，并且作为输入特征向量的部分将其输入。可以使用针对分块的不同位移的相似度度量（例如，针对位移集合中的每个位移的相似度度量）的图。替换地或附加地，相似度图具有相对于分块中的不同体素的其他图像的位移。相似度图包括任何数量的位移。在一个实施例中，使用输入特征的组合，诸如强度和位移向量或相似度度量图。

在一个实施例中，针对分块的输入特征向量包括来自邻近分块的信息。例如，包括针对邻近分块的强度和/或位移向量。来自邻近分块的信息与分块本身的信息是相同类型的或不同类型的信息。

动作18、20和22表示利用深度机器学习的分类器来确定变形场的一个实施例。为每个分块实行动作18、20和22。针对分块的位移输出的集合提供该变形场。可以提供附加的、不同的或更少的动作。

在动作18中，为每个分块提取输入特征向量。通过查找、图像处理、接收、挖掘（mining）、搜索或其他数据聚集方式来进行该提取。例如，通过使用图像的图像处理来进行该提取，一个图像将被变形为另一图像。

为了为每个分块ip估计位移向量，针对深度神经网络的输入是不同特征的连结向量（concatenatedvector）。收集或连结针对各种特征的值。在一个实施例中，该输入是分块强度、分块位移、邻近分块强度和邻近分块位移。图3示出了本实施例的示例。下部行表示输入特征向量。也可以使用其他输入特征向量。

输入特征向量包括一个医学图像的针对分块的强度。在图3中，针对分块中每个像素或体素的标量或其他值是针对该分块ip的强度图f（ip）。可以在替换的实施例中使用来自两个医学图像的针对分块的强度。

输入特征向量包括针对分块的一个或多个位移向量。确定一个图像的用以提供与另一图像进行最佳或充分匹配的分块的位移。通过沿着不同维度的平移来将分块移位。还可以使用旋转和/或标度位移。确定平移位移的幅值（量）、平移位移的角度、旋转量、旋转方向、标度改变量和/或标度改变方向。

测试分块与具有不同偏移量的其他图像的相似度。选择针对具有最佳或充分匹配或相似度度量的偏移量的位移向量。可以针对充分性使用阈值。

任何搜索模式可以被用来确定最佳或充分匹配。例如，使用随机搜索、在常规模式上的搜索、从粗糙到精细的搜索和/或基于来自其他位移的反馈的搜索。用于搜索的起始位移可以基于与相邻分块的位移或者两个图像之间所计算的刚性位移。

可以使用任何相似度度量。例如，使用互相关、交互信息、k-l距离或绝对差的最小和。在另一示例中，通过应用另一机器学习的分类器来获得相似度的测量结果。机器学会将相似的与不相似的进行区分。可以使用任何机器学习，诸如深度学习的相似度度量。

根据将分块与图像之间的对应性进行联系的相似度度量来直接获得来自相似度匹配的位移向量，以及因此该位移向量并不是利用期望的属性（例如，平滑度约束）所建模的。对于图像中的噪声而言相似度度量可以是鲁棒的。

在一个实施例中，找到针对分块中的每个位置或者针对分块中的位置子集的位移向量。这导致了针对给定分块的位移向量集合。该集合是图3中示出的ip的相似度匹配图v（ip）。在替换的实施例中，针对该分块的一个位移向量被用在输入特征向量中。

针对给定分块的输入特征向量还可以包括针对一个或多个邻近分块的信息。例如，信息被用于所有直接相邻的邻近分块。在图2的示例中，对于分块ip或iq而言，存在八个直接相邻的邻近分块。对于体积而言，存在26个直接相邻的邻近分块。可以使用来自比所有直接相邻的分块更少的分块的信息，诸如对于图2的示例而言是仅四个（上、下、左和右）。可以使用来自与该分块间隔一个或多个其他分块的其他邻近分块的信息。对于处于扫描平面或体积的边缘处的分块而言，可以存在更少的邻近分块。

对于邻近分块而言，使用与关注分块相同类型或不同类型的信息。例如，将针对邻近分块中的每个的强度和位移向量或相似度匹配图包括在输入特征向量中。在图3的示例中，将针对邻近分块的强度图表示为：{f(ii)|i∈p的邻区}，以及将相似度匹配图中针对该邻近分块的位移向量表示为：ip的邻近分块ii的{v(ii)|i∈p的邻区}。可以包括来自邻近分块的不同的、附加的或更少的信息，诸如来自不同邻近分块的不同类型的信息。

在图1的动作20中，图像处理器根据将输入特征向量应用到深度学习的分类器来生成深度学习的特征向量。深度神经网络的机器训练是非监督式学习方法。将分块和邻近分块强度和相似度匹配图的高维度输入特征向量简化成具有较低维度（即，数据量或值的数量）的特征向量。图3将层l3示为提供了输出特征向量，但是也可以使用具有或不具有对数据进行简化的一个或多个中间层的其他层。响应于输入特征向量的输入，深度机器学习的分类器输出深度学习的特征向量。

将输入特征向量的值应用到深度机器学习的分类器。深度机器学习的分类器的层将输入信息进行卷积和/或以其他方式进行处理来确定输出特征向量的值。

在动作22中，图像处理器根据深度学习的特征向量来确定医学图像相对于其他医学图像的非刚性变形。针对分块的输出特征向量的值被用来确定图像之间的变形。

确定对于分块而言局部的变形。确定平移、旋转和/或标度上的位移。针对每个分块的单独的变形确定可以被用来确定遍及图像的变形。来自各种分块的变形的集合提供非刚性变形场，以便将医学图像或扫描数据变更为其他医学图像或扫描数据的布置或解剖分布。

存在根据输出特征向量的值来确定变形的各种技术。使用一种技术。可以使用多于一种技术并且将结果进行组合，诸如将位移场中针对相同分块的位移求平均。

在一种技术中，将变形确定为深度学习的分类器的另外输出。在深度神经网络或其他分类器的非监督式训练期间，变形的已知真值与输出特征向量有关。分类器可以使用输出特征向量的值来确定该变形（例如，针对该分块的位移向量）。

在另一技术中，实行查找。将深度学习的特征向量的值与具有已知变形的训练变形的数据库进行匹配。通过针对样本的输出特征向量的值来对数据库的样本进行索引。通过使用欧氏距离（euclideandistance）或其他匹配，找到具有最佳匹配的样本。将与该样本相关联的变形指派为针对分块的变形。对于查询图像中的输入分块而言，使用特征向量将输出特征向量匹配到具有已知真值变形场的特定训练分块。

在又一技术中，使用聚类（clustering）。将深度学习的特征向量的值拟合到多个集群中的一个。通过诸如k平均或分级聚类之类的非监督式聚类方法来将用于所有训练分块的输出特征向量进行分组。然后，将分块的输出特征向量聚类成分组或集群。输出特征向量的值被用来确定集群中的一个中的成员身份。每个集群与变形或位移相关联。将经拟合的集群的位移指派给分块。

通过为图像中的每个分块确定位移或变形来确定针对该图像的变形场。该变形场是非刚性变形。在替换的实施例中，确定刚性配准。针对所有分块的变形或位移是相同的（即，提供一个位移）。将来自分块的位移求平均，一起使用来自所有分块的输出特征向量的值来找到一个位移，或者使用另一种方法来找到刚性位移。在其他实施例中，分块的子集刚性地进行变形。例如，将分块标记为属于同一身体部分（例如，头部、手臂、手部、腿部或脚部）。身体部分的分块基于关节位置一起移动。将针对该身体部分的变形约束为是刚性的。针对这些身体部分的刚性配准参数与结合而成的身体结构紧密相关。深度机器训练可以学习和预测该刚性变形。在刚性配准的情况下，网络的输入是相同的，但是输出是刚性配准参数。同一图像中的不同身体部分的变形可能是不同的，所以为该图像提供非刚性变形。

在动作24中，图像处理器生成医学图像。通过使用变形场根据两个组成医学图像来生成该医学图像。所生成的图像包括来自两个扫描数据集的信息。为了避免导致了在同一位置处表示不同解剖结构的变形，将图像之一相对另一个图像进行变形。将变形场应用到图像或扫描数据集中的一个，从而利用非刚性变形来使扫描数据弯曲。该变形将扫描数据集的解剖结构对齐，以使得在相同位置处的像素或体素表示相同的解剖结构。然后可以将扫描数据组合成经融合的医学图像。

可以使用任何类型的医学图像融合。例如，根据手术前扫描数据或其他扫描数据来实行三维渲染。来自手术中扫描的扫描数据被用来生成覆盖图或对齐的相邻视图。融合的图像可以包括来自不同扫描数据集的信息的相邻却单独的视觉表示。配准被用于姿势和/或用来将相邻表示之间的空间位置、旋转和/或标度相联系。在另一示例中，根据一个扫描数据集来显示图像，以及根据另一扫描数据集来生成彩色覆盖图。在又一示例中，在渲染之前将扫描数据集进行组合（例如，求平均），以及然后根据所组合的数据来渲染融合的图像。可以使用任何现在已知的或之后开发的融合。

显示融合的图像。在医学扫描仪的显示器上显示图像。替换地，在工作站、计算机或其他设备上显示图像。可以将图像存储在pacs存储器中以及从pacs存储器召回该图像。

图4示出了用于医学图像融合的系统的一个实施例。该系统确定来自不同扫描仪、设置和/或时间的图像之间的空间关系。确定在一个图像中所表示的组织或解剖结构相对于另一个图像的变形，允许来自不同图像的信息的融合。

该系统实现图1的方法。可以实现其他方法或动作。

该系统包括医学成像系统48、存储器52、图像处理器50和显示器54。可以提供附加的、不同的或更少部件。例如，提供了网络或网络连接，诸如用于与医学成像网络或数据存档系统进行联网。在另一示例中，提供用户接口，用于与图像处理器50和/或医学成像系统48进行交互。作为另一示例，提供多于一个医学成像系统48。

图像处理器50、存储器52和/或显示器54是医学成像系统48的部分。替换地，图像处理器50、存储器52和/或显示器54是诸如与医疗记录数据库工作站或服务器相关联的存档和/或图像处理系统的部分。在其他实施例中，图像处理器50、存储器52和显示器54是个人计算机，诸如台式计算机或膝上型计算机、工作站、服务器、网络、或其组合。可以提供图像处理器50、显示器54和存储器52，而没有通过对患者进行扫描来获取数据的其他部件（例如，没有医学成像系统48）。

医学成像系统48是医学诊断成像系统。可以使用超声系统、ct系统、x射线系统、荧光镜检查系统、pet系统、spect系统和/或mr系统。也可以使用其他医学成像系统。医学成像系统48可以包括传输器以及包括用于扫描或接收表示患者内部的数据的检测器。

示出一个医学成像系统48。可以利用这一医学成像系统48在不同时间和/或利用不同设置对患者进行扫描来获取不同数据集。替换地，相同类型的不同医学成像系统48在不同时间对患者进行扫描。在其他实施例中，提供多个医学成像系统48。每个医学成像系统48具有不同的模态或者具有相同模态的不同类型。通过利用不同医学成像系统48在相同或不同时间进行扫描来获取表示患者的不同数据集。

由于时间、模态、设置和/或扫描周期上的差异，可以将以一个数据集中所表示的组织、解剖结构或对象相对于另一数据集中的表示进行移位。这种变形将被修正，以便使用来自两个数据集的信息来生成图像。

存储器52是图形处理存储器、视频随机存取存储器、随机存取存储器、系统存储器、高速缓存存储器、硬盘驱动器、光学介质、磁性介质、闪速驱动器、缓冲器、数据库、其组合，或用于存储扫描数据或图像数据的其他现在已知的或之后开发的存储器设备。存储器52是医学成像系统48的部分、与图像处理器50相关联的计算机的部分、数据库的部分、另一系统的部分、图片存档存储器、或单独的设备。

存储器52存储扫描数据或图像数据。存储来自不同时间、模式、设置和/或扫描周期的数据集或数据帧。例如，存储来自医学成像系统48的针对同一患者在不同时间所获取的数据。该数据是以扫描格式或者被重建成体积或三维网格格式。

存储器52存储用在配准中的其他信息。例如，存储输入特征向量的值、输出特征向量的值、深度机器学习的分类器的一个或多个矩阵、分块信息和/或位移向量（例如，非刚性变形或变换）。图像处理器50可以使用存储器52来在实行图1的方法期间临时地存储信息。

存储器52或其他存储器替换地或附加地是存储数据的非临时性计算机可读存储介质，该数据表示可由被编程的图像处理器50执行以用于融合成像的指令。在非临时性计算机可读存储介质或存储器上提供用于实现本文中所讨论的过程、方法和/或技术的指令，该非临时性计算机可读存储介质或存储器诸如是高速缓存、缓冲器、ram、可移除介质、硬盘驱动器、或其他计算机可读存储介质。非临时性计算机可读存储介质包括各种类型的易失性和非易失性存储介质。响应于被存储在计算机可读存储介质之中或之上的一个或多个指令集来执行附图中所图示或本文中所描述的功能、动作或任务。该功能、动作或任务独立于特定类型的指令集、存储介质、处理器或处理策略，并且可以由单独操作或以组合形式操作的软件、硬件、集成电路、固件、微代码等等来实行。同样地，处理策略可以包括多重处理、多重任务、并行处理等等。

在一个实施例中，将指令存储在可移除介质设备上以便由本地或远程系统进行读取。在其他实施例中，将指令存储在远程位置中以用于通过计算机网络或在电话线上进行传送。在另外其他实施例中，将指令存储在给定的计算机、cpu、gpu或系统内。

图像处理器50是通用处理器、中央处理单元、控制处理器、图形处理器、数字信号处理器、三维渲染处理器、图像处理器、专用集成电路、现场可编程门阵列、数字电路、模拟电路、其组合，或用于确定两个图像之间的变形和/或进行融合成像的其他现在已知的或之后开发的设备。图像处理器50是单个设备或者串行地、并行地或单独地进行操作的多个设备。图像处理器50可以是诸如膝上型计算机或台式计算机之类的计算机的主处理器，或者可以是用于在更大系统中（诸如在医学成像系统48中）处置一些任务的处理器。由指令、固件、设计、硬件和/或软件来将图像处理器50配置成实行本文中所讨论的动作。

图像处理器50被配置成通过应用深度学习的神经网络来将一个数据集的组织或对象与另一数据集的组织或对象配准。根据数据来创建输入特征向量。例如，使用两个图像的强度或者一个或两个图像的分块的强度。在另一示例中，作为特征向量输入来自一个图像的分块的强度和该分块相对于另一图像的相似度图或位移向量。

图像处理器50被配置成基于将输入特征向量应用到深度学习的神经网络来输出特征向量。例如，在给定针对一个数据集的分块相对于另一数据集的位移向量和强度的情况下，深度学习的神经网络提供输出特征向量。针对每个分块的输出特征向量被用来确定针对该分块的位移。由各种分块所产生的变形场提供了将数据集彼此配准的变换。

图像处理器50被配置成基于该变换来将一个数据集相对于另一个数据集进行弯曲。内插、外推和/或滤波可以被用来对分块中心之间的变形进行转变。对变形进行修正，从而允许数据集的融合。生成融合图像，该融合图像诸如是示出了来自一个集合的解剖结构的在具有来自另一集合的覆盖图的情况下的图像，或者诸如是在一个图像中的在相同时间所示出的来自两个集合的解剖结构的两个表示。

显示器54是监视器、lcd、投影仪、等离子显示器、crt、打印机或用于输出视觉信息的其他现在已知的或之后开发的设备。显示器54从图像处理器50、存储器52或医学成像系统48接收图像、图形、文本、量值（quantity）或其他信息。

显示一个或多个医学图像。该图像使用配准。示出基于该配准的图像，诸如示出融合图像。融合图像可以协助诊断和/或治疗。对于诊断而言，提供针对相同空间位置或解剖结构的不同类型的信息或者随时间的改变，从而给予医师更多的空间上精确的信息。对于治疗而言，来自一个模式的带有细节的实时指导或随时间的改变或者来自空间上对齐的另一模式的规划信息协助了对患者身上的正确位置应用治疗。

虽然通过参考各种实施例已经在上文描述了本发明，但是应当理解的是，可以在不偏离本分发明的范围的情况下做出许多改变和修改。因此所意图的是，前述详细描述被视为说明性的而非限制性的，以及要理解的是，以下权利要求（包括所有等同方式）意图限定本发明的精神和范围。