用于提供医学成像决策支持数据的方法与流程

1.本发明在一个方面涉及一种用于提供医学成像决策支持数据的计算机实现的方法。在另外的方面，本发明涉及一种用于提供用于训练机器学习算法的训练对的计算机实现的方法、一种用于训练用于定位片分析的机器学习算法的计算机实现的方法、一种数据处理系统、一种医学成像设备、一种计算机程序产品和一种计算机可读存储介质。


背景技术：

2.在计算机断层扫描(ct)中，在3d图像采集之前采集2d定位片(也称为扫描图或侦察图)。目前，定位片投影图像的主要目的是规划待执行的3d ct扫描的扫描范围和重建视野(fov)，并且估计用于自动曝光控制的ct剂量调制。然而，人类诊断图像读取主要基于3d图像。在日常临床常规中，对于仅通过读取3d图像会遗漏的一些发现才偶尔读取定位片图像。
3.3d重建图像的重建视野特别是通常小于患者的定位片扫描范围。例如，在腹部ct成像中，诸如肺结节或心脏肿大等发现可能仅在定位片图像中被捕获，但不包括在缩小的3d腹部ct重建视野中。在创伤成像中，诸如颅骨骨折等发现可能在3d轴向图像中被忽略，而在2d投影定位片数据中则明显可见。
4.zhang y.,miao s.,mansi t.,liao r.(2018)task driven generative modeling for unsupervised domain adaptation:application to x-ray image segmentation(用于无监督域适应的任务驱动生成建模：在x射线图像分割中的应用)。在frangi a.,schnabel j.,davatzikos c.,alberola-l
ó
pez c.,fichtinger g.(eds)medical image computing and computer assisted intervention(医学图像计算和计算机辅助干预)-miccai 2018.中。miccai 2018.lecture notes in computer science(计算机科学讲义),vol 11071.springer,cham公开了任务驱动的生成建模方法在x射线图像分割中的应用。


技术实现要素：

5.本发明的一个目的是改进医学成像检查中基于定位片的分析。该问题根据本发明得以解决。在说明书中说明了进一步有利的实施例和附加的有利特征。
6.本发明一方面涉及一种用于提供医学成像决策支持数据的计算机实现的方法，该方法包括：
[0007]-接收患者的2d定位片数据，
[0008]-通过将用于定位片分析的机器学习算法应用于2d定位片数据来生成2d定位片注释数据，
[0009]-基于2d定位片注释数据生成医学成像决策支持数据，并且
[0010]-提供医学成像决策支持数据。
[0011]
基于ai的自动定位片分析可例如以用于3d图像读取的伴随诊断的形式来实施。另
一方面，基于ai的自动定位片分析在定位片采集后立即执行。潜在的发现通过如下方式是可行的，即基于所检测到的发现，系统自动建议偏离于最初计划的扫描协议的适当扫描协议，以(更好地)捕获待执行的实际3d采集中的发现。医学成像决策支持数据可以由基于规则的系统和/或基于ai的系统生成。
[0012]
医学成像决策支持数据例如可以包括调整和/或扩大3d扫描范围或重建视野的建议，以覆盖3d图像中的发现。例如，医学成像决策支持数据可以包括例如在定位片图像上检测到扩张主动脉的情况下执行附加对比度增强扫描的建议。例如，医学成像决策支持数据可包括例如利用专用骨核重建附加的3d图像的建议，以便在从定位片中检测到肺结节的情况下读取潜在的骨折或专用肺核。
[0013]
医学成像决策支持数据可以指示用于通过医学成像设备对患者进行3d医学成像检查的扫描协议的扫描参数的值和/或值变化。
[0014]
特别是可以基于医学成像决策支持数据对患者进行3d医学成像检查，从而获得患者的3d医学成像数据。
[0015]
扫描参数例如可以是辐射源的辐射源参数、辐射探测器的辐射探测器参数、扫描几何参数或造影剂注射器的注射参数。
[0016]
基于定位片发现的ai建议的(特别)检查协议偏差可能会降低忽略发现的风险，从而提高诊断质量，并允许在实际3d扫描开始之前立即调整扫描协议，从而避免在读取图像后再次召唤患者以及随之而来的额外工作量和辐射暴露。现有的诊断应用可通过解决定位片上的任务来简化，而不是需要额外的ct扫描，从而减少辐射剂量。
[0017]
医学成像决策支持数据可以指示用于基于患者的3d医学成像数据重建医学图像的重建算法的重建参数的值和/或值变化。特别是可以提供患者的3d医学成像数据和/或基于医学成像决策支持数据和患者的3d医学成像数据来重建医学图像。
[0018]
本发明在另一方面涉及一种用于为机器学习算法的训练提供训练对的计算机实现方法，该方法包括：
[0019]
–
接收与检查区域的3d图像数据相关的3d注释数据，检查区域包括解剖结构，3d注释数据指示解剖结构的特征，
[0020]
–
接收2d投影图像数据，2d投影图像数据通过投影几何与3d图像数据相关，
[0021]
–
基于投影几何和3d注释数据生成与2d投影图像数据相关的2d注释数据，2d注释数据指示解剖结构的特征，并且
[0022]
–
提供包含2d投影图像数据和2d注释数据的训练对。
[0023]
由此保证了在带注释的2d投影图像数据和带注释的3d图像数据分析之间的一致性。因此，可以获得基于2d定位片的人工智能(ai)结果，这可能与直接从3d图像数据获得的ai结果更一致。甚至可能有一对基本上基于相同注释训练的2d和3d机器学习算法。
[0024]
训练对特别是可以包括作为机器学习算法的输入的2d投影图像数据和作为与输入相关联的目标输出的2d注释数据。解剖结构的特征例如可以是解剖结构的参数值、解剖结构的形状、解剖结构的位置或其组合。
[0025]
与仅在2d数据上训练的算法相比，基于定位片的ai结果可能具有更高的精确性，因为在2d数据上，真实背景注释的位置和精确性比在3d中更受限制。此外，可以直接通过手动注释定位片来提取的信息可能明显不如从3d图像数据自动生成的注释。通过利用来自3d
图像数据的信息，可创建由于其复杂性而无法由领域专家首先基于定位片创建的注释。用于2d ai训练的3d衍生的真实背景注释特别是甚至可使得2d ai算法能够捕获在2d定位片数据中明显隐藏(无法被注释)的特征。
[0026]
另一种从3d ct图像中为2d定位片ai算法收集精确标记训练数据以用于医学成像中的机器学习任务的方法是由领域专家手动注释相关解剖结构。尽管这个过程可通过用于手头任务的半自动化工具来支持，以使用户交互最小化，但需要领域专家的知识和时间。基于所提出的方法，可以为已在手动创建的有限注释集上训练过的机器学习系统提供附加的训练数据，从而提高其性能。
[0027]
此外，由于减少了领域专家的手动注释，可以降低成本。与领域专家相比，由于算法的注释速度更快，机器学习系统可以更快地实现。
[0028]
3d图像数据可以被接收。可以通过将3d注释算法应用于3d图像数据来计算与3d图像数据相关的3d注释数据。这允许通过利用可用于3d图像的注释算法以全自动方式从3d图像数据中为基于2d定位片的机器学习系统生成带注释的训练数据。
[0029]
可以基于投影几何和3d图像数据来计算2d投影图像数据。3d注释数据和3d图像均可被投影到医学成像模态的2d图像空间中，从而自动生成精确的标记训练数据，以用于训练用于定位片分析的机器学习算法。所计算的2d投影图像可以被称为“合成定位片”。然而可以使用物理获得的定位片。
[0030]
2d投影图像数据可以是检查区域的ct定位片。在这种情况下，注释数据需要通过使用与用于获取ct定位片的相同的投影几何来进行投影。3d图像数据例如可以是人的全身3d ct图像。3d图像数据可以从例如创伤扫描中获得，通常对其执行具有全视野的全身ct重建。患者的2d定位片数据可以是患者的2d ct定位片数据。
[0031]
此外，检查区域还可以包括解剖结构的周围环境。3d注释数据可包括解剖结构的3d表示。2d注释数据可包括解剖结构的2d表示。解剖结构的3d表示和/或解剖结构的2d表示可将解剖结构与解剖结构的周围环境界定开。
[0032]
3d注释数据可以包括定量信息，该定量信息指示出解剖结构的参数值。2d注释数据可以包括定量信息。
[0033]
该方法可以用于各种各样的任务，例如检测肺部疾病、骨折和/或冠状动脉钙化。一个示例性应用是椎骨的骨密度估计。这已经是在3d ct图像上执行的现有临床应用，从而可容易地用于以自动方式为2d ct定位片上的相同应用生成训练数据。解剖结构可以包括例如一个椎骨或一个椎骨组。
[0034]
解剖结构可包括一个椎骨组。对于该椎骨组中的每个椎骨，3d注释数据可以包括该椎骨的3d表示。对于该椎骨组中的每个椎骨，2d注释数据可以包括该椎骨的2d表示。
[0035]
对于该椎骨组的每个椎骨，3d注释数据可以包括定量骨密度信息，该定量骨密度信息指示该椎骨的骨密度值。对于该椎骨组中的每个椎骨，2d注释数据可包括定量骨密度信息。
[0036]
本发明在另一方面涉及一种用于训练用于定位片分析的机器学习算法的计算机实现的方法，该方法包括：
[0037]
–
接收多个训练对，该多个训练对中的每个训练对是基于所述用于为训练机器学习算法而提供训练对的方法来提供的，
[0038]
–
基于该多个训练对来训练机器学习算法。
[0039]
多个训练对中的每个训练对可以用作机器学习算法的训练的输入。多个训练对中的每个训练对可包括作为机器学习算法的输入的相应2d投影图像数据和作为与所述输入相关联的目标输出的相应2d注释数据。可以基于机器学习算法的结果在应用于给定输入时与关联于给定输入的目标输出的偏差来确定机器学习算法的精确度度量。
[0040]
在另一方面，已根据用于训练用于定位片分析的机器学习算法的所述方法来训练用于定位片分析的机器学习算法。
[0041]
可以基于至少两个基于定位片的ai算法的结果来生成医学成像决策支持数据，例如用于检测金属和/或用于识别身体区域和/或器官。
[0042]
本发明在另一方面涉及一种数据处理系统，其包括数据接口和处理器，该数据处理系统被配置用于执行根据本发明的一个方面的方法。数据接口可以被配置用于接收和/或提供数据，特别是3d注释数据、2d投影图像数据、3d图像数据、2d定位片数据、训练对和/或医学成像决策支持数据。处理器可以被配置用于生成和/或计算数据，特别是2d注释数据、3d注释数据、2d投影图像数据、2d定位片注释数据和/或医学成像决策支持数据。
[0043]
本发明在另一方面涉及一种包括数据处理系统的医学成像设备。医学成像设备例如可以是计算机断层扫描(ct)设备或磁共振成像(mri)设备。
[0044]
医学成像设备可以是计算机断层扫描设备。3d图像数据可以是3d计算机断层扫描图像数据。
[0045]
本发明在另一方面涉及一种包括指令的计算机程序产品或计算机可读存储介质，当该指令由计算机运行时使计算机执行根据本发明的一个方面的方法。
[0046]
本文提及的任何算法，特别是机器学习算法和/或3d注释算法，可以基于以下架构中的一个或多个：卷积神经网络、深度置信网络、随机森林、深度残差学习、深度强化学习、循环神经网络、连体网络、生成对抗网络或自动编码器。经过训练的机器学习算法特别是可以体现为深度学习算法，特别是深度卷积神经网络。在整个本公开中，术语“人工智能(ai)算法”与术语“机器学习算法”同义使用。
[0047]
计算机程序产品例如可以是计算机程序或包括除了计算机程序之外的另一元件。该另一元件可以是硬件，例如其上存储有计算机程序的存储设备，用于使用计算机程序等的硬件密钥，和/或该另一元件可以是软件，例如用于使用计算机程序的文档或软件密钥。计算机可读存储介质可以体现为非永久性主存储器(例如随机存取存储器)或永久性大容量存储器(例如硬盘、usb记忆棒、sd卡、固态盘)。
[0048]
数据处理系统例如可以包括云计算系统、分布式计算系统、计算机网络、计算机、平板计算机、智能手机等中的至少一个。数据处理系统可以包括硬件和/或软件。硬件例如可以是处理器系统、存储器系统及其组合。硬件可以由软件配置和/或可由软件操作。用于执行方法的动作的计算可以在处理器中被执行。
[0049]
例如，可通过接收携带数据的信号和/或通过从计算机存储器中读取数据来接收数据，特别是3d注释数据、2d投影图像数据、3d图像数据和2d定位片数据中的每一个。例如，可通过发送携带数据的信号和/或通过将数据写入计算机存储器和/或通过在显示器上显示数据来提供数据，特别是训练对和医学成像决策支持数据中的每一个。
[0050]
在本发明的上下文中，词语“基于”特别是可以被理解为意指“尤其是通过使用”。
特别是基于第二特征计算(或生成、确定等)第一特征的措辞不排除基于第三特征计算(或生成、确定等)第一特征的可能性。
[0051]
参考以下事实：所述方法和所述系统仅为本发明的优选示例性实施例，并且本领域的技术人员可以改变本发明，而不脱离由权利要求所指定的本发明范围。
附图说明
[0052]
下面将参考附图通过使用示例性实施例来说明本发明。附图中的图示是示意性且高度简化的，并且不一定按比例绘制。
[0053]
图1示出了带注释的3d图像。
[0054]
图2示出了带注释的2d投影图像。
[0055]
图3示出了用于提供训练对的方法的流程图。
[0056]
图4示出了用于提供训练对的方法的另一示例的流程图。
[0057]
图5示出了用于训练用于定位片分析的机器学习算法的计算机实现方法的流程图。
[0058]
图6示出了用于提供医学成像决策支持数据的方法的流程图。
[0059]
图7示出了数据处理系统。
具体实施方式
[0060]
图1示出了呈渲染的胸部3d ct图像形式的带注释的3d图像m3，其包括椎骨组v的椎骨v1、v2的3d表示，并且还包括肋骨笼r的肋骨r1、r2的3d表示。
[0061]
图2以具有椎骨v1、v2的2d表示的合成定位片的形式示出了带注释的2d投影图像m2。已基于冠状投影几何从胸部3d ct图像中计算出合成定位片。椎骨v1、v2从3d ct图像中自动分割，然后投影到其合成创建的定位片图像中。现在可以使用一组类似地生成的定位片来训练机器学习系统以检测实际定位片中的椎骨。
[0062]
图3示出了用于为机器学习算法的训练提供训练对的计算机实现方法的流程图，该方法包括：
[0063]
–
接收t1与检查区域的3d图像数据相关的3d注释数据，检查区域包括解剖结构，3d注释数据指示解剖结构的特征，
[0064]
–
接收t2 2d投影图像数据，2d投影图像数据通过投影几何与3d图像数据相关，
[0065]
–
基于投影几何和3d注释数据生成t3与2d投影图像数据相关的2d注释数据，2d注释数据指示解剖结构的特征，并且
[0066]
–
提供t4包含2d投影图像数据和2d注释数据的训练对。
[0067]
图4示出了用于提供训练对的方法的另一示例的流程图，该方法还包括：
[0068]
–
接收t10 3d图像数据，
[0069]
–
通过将3d注释算法应用于3d图像数据来计算t11与3d图像数据相关的3d注释数据，并且
[0070]
–
根据投影几何和3d图像数据计算t12 2d投影图像数据。
[0071]
图5示出了用于训练用于定位片分析的机器学习算法的计算机实现方法的流程图，该方法包括：
[0072]
–
接收s11多个训练对，该多个训练对中的每个训练对是基于提供训练对的方法被供的，
[0073]
–
基于该多个训练对训练s12机器学习算法。
[0074]
图6示出了用于提供医学成像决策支持数据的计算机实现方法的流程图，该方法包括：
[0075]
–
接收s1患者的2d定位片数据，
[0076]
–
通过将用于定位片分析的机器学习算法应用于2d定位片数据来生成s2 2d定位片注释数据，
[0077]
–
基于2d定位片注释数据生成s3医学成像决策支持数据，并且
[0078]
–
提供s4医学成像决策支持数据。
[0079]
图7示出了数据处理系统3，包括数据接口3a和处理器3b，数据处理系统3被配置用于执行如关于图3至图6中任一个所述的方法。