经由模态中性机器学习变换的多模态图像配准的制作方法

本公开整体涉及图像配准，并且更具体地涉及经由模态中性机器学习变换的多模态图像配准。

背景技术：

1、图像配准是将一个图像与另一个图像对准以使得两个图像具有对应的取向或特征位置的过程。分析型图像配准非常耗时，而深度学习型图像配准的耗时则少得多。然而，深度学习型图像配准可仅准确地应用于与用来训练此类深度学习型图像配准的图像足够相似的图像。深度学习型图像配准最常在全部由单个成像模态生成的图像上训练。但是，在临床实践中，描绘相同解剖结构的两个不同图像通常由两个不同成像模态生成。遗憾的是，在单模态训练数据集上训练的深度学习型图像配准不能准确地应用于此类多模态图像。此外，在多模态训练数据集上训练深度学习型图像配准的努力已经实现了非常有限的成功。因此，在实施现有技术时，深度学习型图像配准无法准确地配准来自不同成像模态的图像。

2、因此，可以解决这些技术问题中的一个或多个技术问题的系统和/或技术可能是所期望的。

技术实现思路

1、以下呈现了
技术实现要素：
以提供对本发明的一个或多个实施方案的基本理解。本发明内容不旨在标识关键或重要元素，也不旨在描绘具体实施方案的任何范围或权利要求的任何范围。其唯一目的是以简化形式呈现概念，作为稍后呈现的更详细描述的序言。在本文所述的一个或多个实施方案中，描述了促进经由模态中性机器学习变换的多模态图像配准的设备、系统、计算机实现的方法、装置和/或计算机程序产品。

2、根据一个或多个实施方案，提供了一种系统。该系统可以包括可存储计算机可执行部件的计算机可读存储器。该系统还可包括处理器，该处理器能够可操作地耦接至计算机可读存储器并且能够执行存储在计算机可读存储器中的计算机可执行部件。在各种实施方案中，该计算机可执行部件可包括接收器部件。在各个方面，该接收器部件可访问第一图像和第二图像，其中第一图像可根据第一成像模态描绘解剖结构，并且其中第二图像可根据不同于第一成像模态的第二成像模态描绘该解剖结构。在各种情况下，该计算机可执行部件还可包括模态中性部件。在各种情况下，该模态中性部件可经由在第一图像和第二图像上执行机器学习模型来生成第一图像的模态中性版本和第二图像的模态中性版本。在各个方面，该计算机可执行部件还可包括执行部件。在各种情况下，该执行部件可基于第一图像的模态中性版本和第二图像的模态中性版本将第一图像与第二图像配准。

3、根据一个或多个实施方案，上述系统可被实现为计算机实现的方法和/或计算机程序产品。

技术特征：

1.一种系统，所述系统包括：

2.根据权利要求1所述的系统，其中所述第一图像的强度分布与所述第二图像的强度分布相差超过阈值量，并且其中所述第一图像的所述模态中性版本的强度分布与所述第二图像的所述模态中性版本的强度分布相差小于所述阈值量。

3.根据权利要求1所述的系统，其中所述机器学习模型是深度学习神经网络，其中所述模态中性部件将所述第一图像和所述第二图像两者作为输入馈送到所述深度学习神经网络，并且其中所述深度学习神经网络产生所述第一图像的所述模态中性版本和所述第二图像的所述模态中性版本两者作为输出。

4.根据权利要求1所述的系统，其中所述计算机可执行部件还包括：

5.根据权利要求4所述的系统，其中所述场部件将所述第一图像的所述模态中性版本和所述第二图像的所述模态中性版本两者作为输入馈送到深度学习配准模型，并且其中所述深度学习配准模型产生所述配准场作为输出。

6.根据权利要求1所述的系统，其中所述计算机可执行部件还包括：

7.根据权利要求6所述的系统，其中所述训练部件经由损失函数训练所述机器学习模型，所述损失函数包括：

8.根据权利要求1所述的系统，其中所述第一成像模态是计算机断层摄影成像模态、磁共振成像模态、超声成像模态、x射线成像模态或正电子发射断层摄影成像模态中的一者，并且其中所述第二成像模态是所述计算机断层摄影成像模态、所述磁共振成像模态、所述超声成像模态、所述x射线成像模态或所述正电子发射断层摄影成像模态中的不同一者。

9.一种计算机实现的方法，所述计算机实现的方法包括：

10.根据权利要求9所述的计算机实现的方法，其中所述第一图像的强度分布与所述第二图像的强度分布相差超过阈值量，并且其中所述第一图像的所述模态中性版本的强度分布与所述第二图像的所述模态中性版本的强度分布相差小于所述阈值量。

11.根据权利要求9所述的计算机实现的方法，其中所述机器学习模型是深度学习神经网络，其中所述深度学习神经网络接收所述第一图像和所述第二图像两者作为输入，并且其中所述深度学习神经网络产生所述第一图像的所述模态中性版本和所述第二图像的所述模态中性版本两者作为输出。

12.根据权利要求9所述的计算机实现的方法，所述方法还包括：

13.根据权利要求12所述的计算机实现的方法，其中所述生成所述配准场包括由所述设备将所述第一图像的所述模态中性版本和所述第二图像的所述模态中性版本两者作为输入馈送到深度学习配准模型，并且其中所述深度学习配准模型产生所述配准场作为输出。

14.根据权利要求9所述的计算机实现的方法，所述方法还包括：

15.根据权利要求14所述的计算机实现的方法，其中所述训练所述机器学习模型由损失函数来促进，所述损失函数包括：

16.根据权利要求9所述的计算机实现的方法，其中所述第一成像模态是计算机断层摄影成像模态、磁共振成像模态、超声成像模态、x射线成像模态或正电子发射断层摄影成像模态中的一者，并且其中所述第二成像模态是所述计算机断层摄影成像模态、所述磁共振成像模态、所述超声成像模态、所述x射线成像模态或所述正电子发射断层摄影成像模态中的不同一者。

17.一种用于促进经由模态中性机器学习变换的多模态图像配准的计算机程序产品，所述计算机程序产品包括计算机可读存储器，所述计算机可读存储器具有通过其体现的程序指令，所述程序指令能够由处理器执行以使得所述处理器执行根据权利要求9至16中任一项所述的方法。

技术总结
提供了促进经由模态中性机器学习变换的多模态图像配准的系统/技术。在各种实施方案中，系统可访问第一图像和第二图像，其中第一图像可根据第一成像模态描绘解剖结构，并且其中第二图像可根据不同于第一成像模态的第二成像模态描绘该解剖结构。在各个方面，该系统可经由在第一图像和第二图像上执行机器学习模型来生成第一图像的模态中性版本和第二图像的模态中性版本。在各种情况下，该系统可基于第一图像的模态中性版本和第二图像的模态中性版本将第一图像与第二图像配准。

技术研发人员：S·查特吉,达蒂什·达亚南·尚巴格,克里希纳·希瑟拉姆·施莱姆
受保护的技术使用者：通用电气精准医疗有限责任公司
技术研发日：
技术公布日：2024/1/13