使用机器学习的用于医学成像的转化的系统和方法与流程

本申请总体涉及用于生成对象的医学图像的系统和方法。本申请具体结合用于将医学图像从一种图形模态转化成与第一图像模态不同的第二图像模态的系统和方法应用，并且将具体参考其进行描述。然而，应当理解，本申请还应用于其他使用场景，而不必限于前述应用。

背景技术：

在混合成像系统中，使用两种不同的成像模态来定位或测量在共同的目标空间中的不同组成成分。在一个范例中，诸如计算机断层摄影(ct)扫描器和磁共振(mr)扫描器的两种成像扫描器能够被用于创建身体内的内部结构(例如，骨、脊柱等)和软组织结构(例如，脑、脉管系统、关节等)的图像。在另一范例中，诸如正电子发射断层摄影(pet)或单光子发射计算机断层摄影(spect)的核扫描器与成像扫描器相耦合，并且能够用于创建指示身体的组织内的代谢活动和生化过程的功能图像。

有时，能够仅从一种模态获得图像。转化一种图像模态的图像以模拟另一模态的图像可以是有利的。例如，将mr解剖图像转化成ct衰减图像以将其与更早的ct图像进行比较能够是有利的。在另一范例中，mr图像能够被转换成类似ct的衰减图像以用于pet图像重建中的衰减校正。另一临床范例是根据一幅或多幅mr图像来生成图像(例如，伪荧光透视脱氧葡萄糖(fdg/pet)图像、具有背景体信号抑制的扩散加权的全身图像(dwibs)等)，这能够潜在地减少对象在辐射中的暴露而不对诊断置信度进行妥协。在计算机辅助诊断的领域中，多参数图像能够被转化成病变的潜在的病理学，这能够用于帮助对象管理。

即使迫切需要建立跨不同医学成像模态的相关性，但是出于一种或多种原因，使用常规的或分析方法来实现这样的转化是一种挑战。首先，医学图像易受噪声影响，这能够取决于对象的具体解剖结构和成像物理学而变化。第二，通常在不同的成像对比度和模态之间没有1对1的转换关系。例如，空气和骨两者都具有非常接近于背景噪声的mr信号的mr信号，而在ct成像中，空气具有几乎为零的衰减而骨具有非常高的衰减。第三，应用于这样的转化的一种情况的转化处理器可能归因于不同成像模态的不同成像物理学而不能应用于不同的应用。目前的技术经受模糊和错误。

本申请提供了克服上述问题和其他问题的新的且经改进的系统和方法。

本公开通过基于机器学习方法提供对于图像对比度转换的普遍适用的解决方案而解决了这些限制。例如，本公开提供了具有变换处理器的系统和方法，其通过提供向量到标量的映射过程或向量到向量的映射过程来解决成像对比度转化(即，非1对1映射)的劣化。本公开还提供了具有变换处理器的系统和方法，其使用输入图像、离开图像、和/或其他基本对象信息来训练其自身并建立数据库作为先验知识。另外，本公开还使用具有机器学习处理器的系统和方法来预测向量到标量的转换关系以用于目标图像和/或数据生成。

技术实现要素：

根据一个方面，提供了一种用于生成医学图像的方法。所述方法包括接收感兴趣区域的多幅输入图像。每幅输入图像具有不同的特性。变换被应用于所述多幅输入图像。根据所述多幅输入图像生成目标图像。所述目标图像的特性不同于所述输入图像的特性。

一个优点在于更加准确的图像转化。

另一优点在于迅速、自动的转化。

另一优点在于解决了成像对比度转化的劣化。

另一优点在于使用机器学习来优化和细化模态间转化算法。

本领域普通技术人员在阅读和理解了以下详细描述之后将认识到本发明的其他优点。

附图说明

本发明可以采取各种部件和各部件的布置以及各个步骤和各步骤的安排的形式。附图仅出于图示优选实施例的目的，并且不应被解释为限制本发明。

图1是图示根据本公开内容的一方面的输入图像到目标图像的对比度转化的示范性流程图；

图2是被配置为执行图1的方法的装置的示意性图示；

图3a-3b是变换特性的图解性图示；

图4是图示根据本公开内容的另一方面的变换处理器的训练的示范性流程图；

图5是用于训练图4的变换的系统的示意性图示；

图6是用于根据一系列输入图像生成多幅目标图像的系统的图解性图示；

图7是用于训练支持向量机器算法以将多幅磁共振图像转化成ct图像的系统的图解性图示；

图8是用于使用由图6的系统训练的算法将感兴趣区域的五幅图像转换成模拟的ct图像的系统的图解性图示；

图9是使用经训练的机器学习算法来预测目标图像的系统的图解性图示；

图10是用于训练图9的机器学习算法的分布式系统。

具体实施方式

本申请涉及用于生成和使用一个或多个目标组织的医学图像的系统和方法。如在本文中所使用的，术语“目标组织”指的是期望其医学图像的任何期望的组织(例如，脑部、心脏、肺部、肾脏、肝脏、胰腺、一个或多个骨等)。如在下文中更加详细地讨论的，本公开内容的系统和方法提供了基于机器学习方法的图像对比度转化。有利地，本公开内容的系统和方法提供了处理器，所述处理器：(1)通过提供向量到标量的映射过程或向量到向量的映射过程来解决成像对比度转化(非1对1映射)的劣化；(2)使用离开图像和其他基本对象信息来训练处理器并建立大数据的数据库作为先验知识；并且(3)预测向量到标量的转换关系以用于目标图像/数据生成。如在本文中所使用的，术语“对象”及其变体指的是拍摄其图像的有机体(例如，患者、实验动物等)。

参考图1和图2，提供了一种用于生成一幅或多幅医学图像的方法10。方法10包括以下步骤：获得目标的多幅输入图像20，在所述多幅输入图像20中，每幅图像具有不同的特性(步骤12)；向所述多幅输入图像应用经训练的或未经训练的机器学习算法变换22(步骤14)；并且根据所述多幅输入图像生成至少一幅目标输出图像24(步骤16)。

在步骤12处，获得候选对象的目标区域的多幅输入图像20。所述多幅输入图像20被包括在输入的族26中。在一些范例中，所述输入的族26包括k幅输入图像，其中，k是复整数(例如，k＝10)。在一个实施例中，所述多幅图像20全部是使用以不同方式操作的一种类型的诊断成像扫描器28而获得的，以生成具有不同特性的图像。在另一实施例中，从两种或更多种类型的扫描器获得输入图像20。例如，扫描器28选自包括以下的已知的医学成像系统的组：mr、ct、超声、x射线、放射成像、核医学(例如，pet、spect等)、弹性成像、触觉成像、光声成像、热成像、超声心动摄影、功能性近红外光谱等。

输入的族26中的每幅输入图像20具有不同的特性。在一些实施例中，当扫描器28是mr扫描器时，输入的族26包括具有不同参数(例如，多参数图像的参数)的图像。例如，输入图像20能够包括超短回波时间图像、狄克逊脂肪图像、狄克逊水图像、质子密度mr图像、谱mr图像、动态对比增强mr、扩散加权的mr图像等。输入图像中的每幅具有不同的对比度特性。在另一范例中，输入的族26能够包括从输入图像20导出的图像(例如，具有空间和纹理相似性的图像)。所述图像能够被存储在存储器30中，例如，对象数据库、或作为对象的病历的部分。

在一些范例中，输入的族26包括对象的一个或多个非图像输入31，以使总输入达到n，其中，n是复整数。对象信息非图像输入31包括与被成像的对象有关的信息。例如，非图像输入31能够包括对象的姓名、医学指示、性别、体重指数、相关血液标记、身高、体重、年龄、体脂百分比、疾病存在、生活质量、各种历史医学测量结果(例如，实验室测试结果)、收缩/舒张血压、脉搏率、呼吸率、诊断结果、过去的医学介入、植入物、拍照、视频、遗传信息、家族史等。在另一范例中，非图像医学输入31能够包括从输入图像20导出的值。医学输入31能够从对象数据库存储器30获得。

在步骤14处，变换处理器32向多幅输入图像20应用变换22。参考图3a-3b，输入图像20能够在单个成像期中由同一扫描器28生成。在一些实例中，输入图像20包括mr图像。例如，输入图像20包括超短回波时间图像、狄克逊脂肪图像、狄克逊水图像、常规mr图像、谱mr图像、动态对比增强mr、扩散加权的mr图像等。这些图像20的体素传达不同的信息。变换处理器32包括向量映射处理器(例如，向量到标量映射处理器、向量到向量映射处理器等)、计算机程序等34，其收集k幅输入图像20并查看每幅输入图像20中对应的体素36。在一个范例中，利用向量到标量映射处理器34、每个对应的体素的值、k幅输入图像20、以及对象信息输入32来形成“n×1”向量。变换处理器32利用变换22在每个“n×1”向量上操作，以生成表示目标输出图像的对应体素36’的标量值38。在另一范例中，利用向量到向量映射处理器34、每个对应的体素的值、k幅输入图像20、以及对象信息输入32来形成“n×m”向量。变换处理器32利用变换22在每个“n×m”向量上操作，以生成表示目标输出图像的对应体素36’的标量值38’。

如在下文中更加详细地描述的，变换22是使用机器学习技术来生成的。向量能够由经训练的机器训练算法来变换。在一个实施例中，临床医生改变(例如，校正)目标图像，并且变化被用于细化对机器学习算法的训练。在另一实施例中，每个向量被输入到由经训练的机器学习算法生成的预计算的查找表中。

参考图4和图5，变换22是使用根据方法50的数据挖掘和机器学习来生成的。大的对象记录数据库(例如，对象存储信息系统30)包含许多对象的图像，例如，具有追溯到数年的图像的医院逐系统数据库、来自国家收集的图像的存储库、来自保险公司的图像的集合等。在步骤52处，选择要被模拟的具有目标感兴趣区域(roi)(例如，具有像素或体素)的目标输出图像124(例如，ct衰减图像)的对象。所选择的对象被进一步限制为也具有来自另一源的其他候选图像120和/或具有不同特性(例如，mr、ute、狄克逊脂肪、狄克逊水等)的图像的对象(步骤54)。针对每个对象，其他候选图像120的对应的体素136被形成为向量134。生成针对多个对象中的每个的每个对应的体素136的向量134(步骤56)。向量134被创建使得所有向量元素表示相同的特性。例如，每个向量134的第一元素能够是对应的体素的mr、ute值，第二元素能够是狄克逊脂肪值，第三元素能够是狄克逊水值等。由于所有选择的对象可能不都具有相同的其他源图像120，因此一些对象的一些向量元素可以是未定义的。具有要被模拟的选择的目标输出图像124的对应的标量值或向量值138的每个向量134被用作到机器学习算法122的输入(步骤56)，所述机器学习算法在许多对象上迭代地或非迭代地发展变换。机器学习算法122能够包括任何已知的机器学习算法(例如，监督的学习、非监督的学习、半监督的学习、转导、强化学习、学会学习、发展学习等)。在一个实施例中，迭代过程(例如，试验和错误)确定哪些向量元素(即，对应的其他源)对唯一的变换没有贡献并消除那些输入126。预期到各种学习技术，例如，支持向量机、神经网络、归纳逻辑程序设计、聚类、关联规则学习、贝叶斯网络、强化学习、表示学习、相似性学习、稀疏字典学习等。针对其他roi、要被模拟的其他目标输出图像124等重复该过程。在另一实施例中，第二输入131中的一个或多个被添加为向量元素。

在另一范例中，仅使用其他源图像120的有限组群。例如，如果mr到ct的图像变换32是要被发展的，则向量元素和其他源图像被限制到mr输入。以上过程50然后确定mr候选图像120的(哪个或哪些)集合定义到ct值的唯一且明确的变换。在成像期中定义要采取mr图像的(一个或多个)集合的mr图像协议。

在另一实施例中，候选图像120的一些集合在大多数时间产生校正结果，但是在一些极值处具有一个或多个模糊结果。针对每个集合的置信度值被计算以指示该集合产生唯一且明确的输出图像124的时间的百分比。

当然，将对象的输入图像20变换成模拟的输出图像36的处理器32和通过数据挖掘许多对象的先前图像来生成变换的处理器132能够被实施在单独的、不相关的系统中。

在步骤18处，根据输入图像20来对输出目标图像24进行变换。在图6的实施例中，根据输入图像20的族来生成输出图像24’的族。输入图像的族包括输入候选图像20，并且输出图像的族24’包括一幅或多幅目标输出图像24’。图像24’包括选自第二图像模态组的目标图像20，所述第二图像模态组包括：mr、ct、超声、x射线、放射成像、核医学、弹性成像、触觉成像、光声成像、热成像、超声心动描记、以及功能性近红外光谱。将意识到，能够生成其他医学输出目标图像，变换22’或多个变换将每个向量34变换成多个标量38’，每个标量表示输出成像器24’的一个中的对应的体素。

图7和图8表示该技术的特定应用，尤其是mr图像到ct衰减图像的变换。首先参考图7，针对具有感兴趣区域(尤其是头部)的ct图像和mr图像(尤其是t1图像、ute、狄克逊脂肪图像、狄克逊水图像、以及t2(或t2*)加权图像)的对象来搜索对象记录数据库。针对五幅mr图像20mr的对应的体素的亨氏值和针对ct图像24ct的对应的体素的亨氏值被识别出。如所示，mr图像的对应的体素被形成为5×1的向量34mr。将意识到，可能存在多于5个的输入或少于5个的输入，其能够包括来自每行中的邻近像素的值。读出ct亨氏值表示对应的标量38ct。5×1的向量和亨氏值被用作输入数据集以训练支持向量机算法22svm。针对图像的对应的体素中的每个的对应的向量和亨氏值标量被同样地用作训练数据集。优选地，利用多个对象的对应的mr图像和ct图像来重复训练过程。理想地，训练过程被重复直到支持向量机稳定，这可能是在数百或更多的输入数据集之后。

参考图8，一旦已经训练了支持向量机算法22，就在磁共振扫描器中对新的对象进行成像。对于该范例更具体地，利用成像协议对对象进行成像，所述成像协议包括生成t1加权图像、ute图像、狄克逊脂肪图像、狄克逊水图像、以及t2(或t2*)加权图像。每幅图像的对应的体素被形成为五维向量34mr，所述五维向量34mr被输入到经训练的支持向量机22svm中。将意识到，可能存在多于5个的输入或少于5个的输入，其能够包括来自每行中的邻近像素的值。支持向量机22svm基于其先前的训练来预测针对要被模拟或合成的ct图像24ct的对应的体素的标量亨氏值38ct。类似地，针对输入mr图像20mr的所有对应体素形成向量34mr。支持向量机22svm生成针对被组装成输出ct图像24ct的每个体素的对应的亨氏值。

参考图9，图像生成系统100包括具有用户接口62的工作站60，通过所述用户接口62，操作者输入命令以使得从对象存储器30检索输入图像的集合或从一个或多个扫描器28直接检索输入对象的集合。检索到的输入图像被传送到变换处理器32，其中所述输入图像被临时存储在存储器64中。向量处理器34根据输入图像中的每幅的对应的像素形成向量，并且经训练的机器学习算法22预测针对输出图像的对应的像素的对应值的标量体素值。通信模块66将每个体素值传送到存储器64，在所述存储器64中，经由无线网络106(例如，互联网、内联网、无线网络等)组装输出图像。存储器能够处于工作站60、变换处理器32或对象信息存储器30中。工作站60包括显示器68，在所述显示器68上显示输出图像。任选地，输入图像和其他对象信息也被显示。操作者能够使用用户输入62来将输出图像、输入图像、其他医学信息、诊断结果、推荐的处置等配置到医学记录中，以便存储在对象信息系统30中。

参考图10，图像生成系统100包括工作站160，所述工作站160用于控制用于教导机器学习算法122的过程。工作站具有用户接口162，在所述用户接口162中，用户向变换处理器132输入指令，尤其是数据挖掘过程或例程170，其针对具有利用不同的成像模态采取的感兴趣区域的图像的对象搜索或数据挖掘对象信息存储器30。在一些范例中，数据挖掘处理器170能够对输入图像20和/或非图像输入31的功能进行定位，包括特征提取和导出(例如，空间信息、纹理等)。机器学习处理器172根据检索到的图像的对应的像素来形成向量，并根据检索到的目标图像的对应的体素来形成标量。向量和对应的标量被用于训练机器学习算法122。针对多个对象的多个图像集的多个体素重复训练过程，直到机器学习算法122被训练。工作站160包括存储器164和用于与通信网络106通信的通信单元166。工作站160还包括显示器168，在所述显示器168上显示输入和目标图像。在一些实施例中，操作者提供指导对机器学习算法122的教导的输入，使得机器学习算法122更加快速地稳定。为了保持过程匿名并为了遵守hipaa规则，对特定对象的识别既不从存储器30取回也不显示在显示器168上。

图像生成系统100能够包括图像生成系统的现有技术中已知的部件。在一个范例中，变换处理器和对象存储信息系统中的每个包括存储器。如在本文中所使用的，存储器包括下列中的一个或多个：非瞬态计算机可读介质；磁盘或其他磁存储介质；光盘或其他光学存储介质；随机存取存储器(ram)、只读存储器(rom)或其他电子存储设备或芯片或可操作地互连的芯片的集合。如在本文中所使用的，通信网络包括互联网/内联网服务器，可以经由互联网/内联网或局域网从该互联网/内联网服务器取回存储的指令等。另外，如在本文中所使用的，变换处理器包括微处理器、微控制器、图形处理单元(gpu)、专用集成电路(asic)、现场可编程门阵列(fpga)等中的一个或多个。在另外的范例中，用户输入设备包括鼠标、键盘、触摸屏显示器、一个或多个按钮、一个或多个开关、一个或多个扳钮开关等等中的一个或多个。在另一范例中，数据库包括一个或多个存储器。例如，对象信息系统是存储候选图像的放射信息系统(ris)和/或图片存档及通信系统(pacs)。在另外的范例中，显示器包括lcd显示器、led显示器、等离子显示器、投影显示器、触屏显示器等中的一个或多个，包括这些显示器的3d能力版本。在另外的范例中，显示器、变换处理器、以及对象存储信息系统30中的每个包括通信单元和/或至少一个系统总线。通信单元提供具有到至少一个通信网络(例如，无线网络106)的接口的对应的处理器。系统总线允许在部件的子部件之间的交换。子部件包括处理器、存储器、传感器、显示设备、通信单元等。

已经参考优选的实施例描述了本发明。本领域技术人员通过阅读和理解前述的详细描述，可以想到各种修改和变型。旨在将本发明解释为包括所有这样的修改和替代，只要它们落入权利要求书及其等价方案的范围之内。