预测解剖结构的疾病量化参数的计算机实现的方法、系统及存储介质与流程

预测解剖结构的疾病量化参数的计算机实现的方法、系统及存储介质
1.交叉引用
2.本技术基于并要求2021年4月23日提交的申请号为63/178，940的美国临时申请的优先权，其通过引用结合于此。
技术领域
3.本发明涉及利用人工智能进行解剖结构分析的领域，特别涉及一种计算机实现的预测解剖结构的疾病量化参数的方法、系统以及存储介质。


背景技术：

4.解剖结构的准确的疾病量化参数有助于实现精确诊断。例如，已证明血流储备分数(ffr)是评估心脏缺血的可靠指标。ffr可以通过压力导丝进行测量，但是此手术具有侵入性，并且在整个血管树中仅测量了一个或几个值。已经尝试使用基于学习的方法来估计ffr。这种基于学习的ffr估计基本上是一个低数据问题，因为仅在一个、很少几个或几个位置提供了地面真实性测量。由于仅有少量的侵入性ffr值(通过压力导丝测得)可用于训练过程，因此要对整个冠状动脉树提供准确的预测非常具有挑战性。现有的基于机器学习的方法需要仿真的ffr值作为训练模型的地面真值。但是，仿真的ffr值通常是通过基于数值流仿真的方法计算的，这既耗时，对于训练机器学习模型又不准确。因此，基于机器学习的方法的性能受到仿真方法的高度限制，使得基于机器学习的方法的预测性能较差，对解剖结构的疾病量化参数的预测准确度较低。


技术实现要素：

5.本发明实施例提供一种计算机实现的预测解剖结构的疾病量化参数的方法，其能够无缝地整合来自整个解剖结构中的中心线结构的采样点的信息，通过将采样点的局部考虑因素和全局考虑因素整合输入到图神经网络(gnn)中，从而实现仅使用有限的标签数据即可准确的预测出解剖结构的疾病量化参数。
6.为了解决上述技术问题，本发明实施例采用了如下技术方案。
7.根据本发明的第一方案，提供了一种计算机实现的预测解剖结构的疾病量化参数的方法。所述方法可以包括：获取含有解剖结构的医学图像；基于医学图像提取中心线结构；通过利用图神经网络(gnn)，使得所述gnn的各个节点对应于所提取的中心线结构上的采样点，且所述gnn的各条边对应于两个采样点之间的空间约束关系，预测所提取的中心线结构上的各个采样点的疾病量化参数；基于对应采样点的图像块通过使用局部特征编码器，来提取局部特征；基于一组采样点的一组图像块通过使用全局特征编码器来提取全局特征，所述一组采样点包括所述对应采样点并具有由所述中心线结构定义的空间约束关系；基于所述局部特征和所述全局特征两者来获得嵌入特征，并将所述嵌入特征输入到所述gnn的该节点。
8.根据本发明的第二方案，提供了一种预测解剖结构的疾病量化参数的系统，所述系统包括：接口，其配置为：获取含有解剖结构的医学图像；以及处理器，其配置为：执行根据发明中各个实施例所述的预测解剖结构的疾病量化参数的方法。
9.根据本发明的第三方案，本发明提供了一种非暂时性计算机可读存储介质，其上存储有计算机可执行指令，所述计算机可执行指令由处理器执行时，实现根据本发明中各个实施例所述的预测解剖结构的疾病量化参数的方法。
10.本发明实施例的有益效果在于：
11.该方法通过提取中心线结构的采样点的局部特征，并基于一组采样点来提取全局特征，利用基于局部特征和全局特征来获得用于输入到gnn中的嵌入特征，使得能够无缝地整合来自整个解剖结构中的中心线结构的采样点的信息，通过将采样点的局部考虑因素和全局考虑因素整合到gnn，从而实现仅使用有限的标签数据即可准确的预测出解剖结构的疾病量化参数。
附图说明
12.图1(a)示出根据本发明实施例的预测解剖结构的疾病量化参数的方法的流程图；
13.图1(b)示出根据本发明一个实施例的图1(a)所使用的方法的流程图；
14.图2(a)示出根据本发明一个实施例的预测解剖结构的疾病量化参数的示例性方法的流程图；
15.图2(b)示出根据本发明实施例的局部特征学习的示例性方法的流程图；
16.图2(c)示出根据本发明实施例的全局特征学习的示例性方法的流程图；
17.图2(d)示出根据本发明实施例的利用局部特征和全局特征预测解剖结构的疾病量化参数的示例性方法的流程图；
18.图3示出根据本发明实施例的利用图神经网络进行解剖结构的图神经网络训练和疾病量化参数预测的示例性方法的框架；
19.图4示出根据本发明实施例的预测解剖结构的疾病量化参数的系统的框架示意图。
具体实施方式
20.为使本领域技术人员更好地理解本发明，下面参照附图对本发明的实施例进行详细说明，但不作为对本发明的限定。
21.本发明提出了一种预测解剖结构的疾病量化参数的方法。图1(a)示出了根据本发明实施例的预测解剖结构的疾病量化参数的方法的流程图。如图1(a)所示，该方法始于步骤s101，获取含有解剖结构的医学图像。
22.可以理解的是，本文中的“解剖结构”可以表示具有树结构的血管、气道等，但本发明不限于此。“医学图像”可以指完整图像或从完整图像裁剪的图像块，可以为二维(2d)或三维(3d)的形式。可以理解的是，医学图像可以利用各种医疗设备获得，例如，ct图像，mri图像、超声图像等，例如，含有血管的mri图像，脑结构mri图像等。
23.在s102，基于医学图像提取中心线结构。
24.在一些实施例中，可以利用神经网络来提取中心线结构。神经网络算法是一种模
仿大脑神经网络行为，进行分布式并行信息处理的算法数学模型，这种网络依靠系统的复杂程度，通过调整内部神经元之间相互连接的关系，从而达到处理信息的目的。利用训练好的神经网络来对获得的含有解剖结构的医学图像进行处理，能够快速准确地提取出解剖结构的中心线结构。
25.在一些实施例中，可以利用神经网络对含有解剖结构的医学图像进行分割来实现提取中心线结构，此后，可以对中心线结构进行采样来获得采样点。例如，采样点可以是关注疾病量化参数的位置，例如，沿着血管分布的各点中可以选择一组点作为采样点，来获得嵌入特征并预测血管的疾病量化参数(例如ffr)的分布状况。
26.然后，可以从这些采样点中提取特征作为图的顶点(节点)以创建图形表示。特别地，这些特征可以是疾病相关特征。
27.在一些实施例中，对解剖结构的中心线结构的分割，可以自动、半自动或手动获得。其次，在中心线上的点被采样作为图(g)的顶点(v)。对于中心线上的每个采样点，可以基于各采样点处的图像块(或者蒙版块)来提取特征信息(例如可以称为局部特征图)。对于中心线上的一组采样点，也可以基于对应的一组采样点处的一组图像块来提取特征信息(例如可以称为全局特征图)。下文中主要基于这种情况进行详细说明。但须知，特征信息提取的基础不限于各个(组)采样点处的图像块，也可以包括各个(组)采样点处的各种定义好的疾病相关特征。具体地，疾病相关特征，可以包括但不限于结构特征、强度特征、和/或其他派生特征等。作为结构特征的示例，几何特征可以包括半径、面积、狭窄、体积、长度、曲率等中的任何一种。强度特征可以包括与强度有关的测量中的任何一种，例如强度统计测量(最小值、最大值、平均值等)。其他派生特征可以是基于树结构、强度、甚至与其他解剖结构有关的信息所派生的任何特征。在一些实施例中，疾病相关特征也可以包括使用简化方程估计的压降或阻力。作为输入，可以堆叠其他通道来表示各种疾病相关特征，例如但不限于几何特征信息、强度特征信息、血液特征信息等。
28.中心线结构上的点可以通过边链接，这可能是无向的。在一些实施例中，边也可以是有向的。特别地，可以将无向边视为两个有向边，表明两个节点之间存在关系或关联。通常，有向边比无向边可以携载更多的信息。
29.在一些实施例中，信息可以从解剖结构的根传播到末端，并且它也可以在相反的方向上传播(例如，从树的末端到根)。换句话说，可以通过考虑两个方向来实现解剖结构的节点之间的信息传播或传递。
30.根据本发明，以解剖结构为血管树结构为例，树t与图gt＝(v，e)相关联，其中节点vi∈v对应于中心线结构上的点的特征矢量或嵌入(均具有地面真值和未知值)，边ei∈e对应于点之间的有向边或无向边。根据本公开，融合了隐式表示(即，特征嵌入)和显式关系(即，图)两者，以学习整个解剖结构的疾病预测模型。
31.在s103，构建(形成)图神经网络(gnn)，使得gnn的各个节点对应于所提取的中心线结构上的采样点，且gnn的各条边对应于采样点之间的空间约束关系。如此构建的gnn，可以经由训练学习在具有地面真值的节点与没有地面真值的节点之间传递信息(消息传递)，即便标签数据缺乏的情况下也能够获得训练效果良好的深度记忆图神经网络。
32.具体地，将gnn的每个节点设置为对应于中心线结构的采样点，gnn的各条边对应于采样点之间的空间约束关系。采样点之间的空间约束关系能够反映各个采样点之间的相
对关系，例如，采样点间的信息传递方向，将gnn的各条边设置为与采样点之间的空间约束关系相对应，使得gnn在预测解剖结构的疾病量化参数时能够考虑采样点间的相对关系，进而获得更准确的预测结果。不必考虑gnn必须作为一个整体物理地形成和存储为图。相反，可以仅通过节点和边的识别来形成gnn，并且可以存储节点和边。
33.在s104，利用gnn预测所提取的中心线结构上的各个采样点的疾病量化参数，具体包括，对于gnn的各个节点，基于对应采样点的图像块通过使用局部特征编码器，来提取局部特征。
34.在s105，基于一组采样点的一组图像块通过使用全局特征编码器来提取全局特征，一组采样点包括对应采样点并具有由中心线结构定义的空间约束关系。
35.具体说来，可以为每个中心线结构上的采样点提取2d/3d图像块。然后，可以通过利用局部特征编码器，来提取对应各个采样点的局部特征，局部特征能够体现该采样点本地的与疾病相关的特征。
36.对于一组采样点，其具有由中心线结构定义的空间约束关系，该空间约束关系能够体现该组中各个采样点间的相对关系，以及能够反映该组采样点的整体特征信息。例如，该组采样点的整体的信息传递方向、特征信息变化趋势等。在s105中对一组采样点的一组图像块提取全局特征，能够获得每组采样点的整体特征信息。
37.在一些实施例中，全局特征编码器和局部特征编码器可以为相同的编码器，可以为不同的编码器，只要能够获得对应采样点的局部特征和一组采样点的全局特征即可，本发明对此不作具体限定。
38.在s106，基于局部特征和全局特征两者来获得嵌入特征，并将嵌入特征输入到gnn的该节点。具体说来，利用能够体现各个采样点本身的与疾病相关的局部特征，以及能够体现一组采样点的整体特征信息的全局特征来获得嵌入特征，然后将嵌入特征输入到gnn中，以便预测解剖结构的疾病量化参数。如此，在利用gnn对解剖结构的疾病量化参数进行预测的过程中，不单单考虑了各个采样点本身的局部特征，还考虑到了一组采样点的整体特征，兼有效利用了gnn在具有地面真值的节点与没有地面真值的节点之间传递信息的学习能力，从而能够实现准确度更高的预测结果。
39.需要说明的是，ffr是评估心脏缺血的可靠指标，本文中以预测ffr为例来描述本发明的技术方案，但本发明不限于此。而是，本发明适用于任何解剖结构的任何疾病量化参数。
40.以预测ffr为例，医学图像可以为含有血管的医学图像，解剖结构为血管树结构。可以基于含有血管的医学图像可以提取血管树的中心线结构。
41.在一些实施例中，对于含有血管的医学图像来说，生成具有中心线结构的初始动脉分割，其可以自动、半自动或手动获得。对于中心线结构上的每个采样点，可以提取疾病相关特征，其可以包括但不限于结构特征、强度特征、和/或其他派生特征等。对于预测ffr，这些疾病相关特征可能是压降或使用简化方程估算的阻力。
42.然后在提取到血管树的中心线结构后，构建图神经网络(gnn)，使得gnn的各个节点对应于所提取的血管树的中心线结构上的采样点，且gnn的各条边对应于采样点之间的空间约束关系。其中，gnn中的每个节点的输入可以为相应的中心线结构的采样点的2d/3d图像块，每个节点的输出为血管的疾病量化参数。此外，该方法可以包括获得一组节点的标
签数据，该组节点的节点数小于gnn中的节点的总数。更进一步，该方法还可以包括基于该组节点的标签数据通过在该组节点和其他节点之间传递信息来训练gnn。
43.基于一组采样点的一组图像块通过使用全局特征编码器来提取全局特征，基于局部特征和全局特征两者来获得嵌入特征，并将嵌入特征输入到gnn的节点中，利用gnn来预测一系列采样点处的ffr分布状况。
44.在一些实施例中，gnn可以包括图卷积神经网络(gcn)。gcn的目标是将卷积神经网络体系结构推广到非欧几里得域(例如，图)。具体地，图卷积可以直接在图上定义卷积，从而可以针对每个节点，利用图卷积层且考虑其空间接近的近邻来执行一系列卷积运算。以此方式，不仅可以提取节点本地的局部隐藏信息，还可以嵌入节点与周围节点之间的非欧几里得域中的物理约束关系，使得在地面真值缺乏情况下的训练结果更好，且预测结果也更准确。
45.本发明所提供的预测解剖结构的疾病量化参数的方法通过提取中心线的采样点的局部特征，并基于一组采样点来提取全局特征，利用基于局部特征和全局特征来获得用于输入到gnn中的嵌入特征，使得能够无缝地整合来自整个解剖结构中的中心线结构的采样点的信息，通过将采样点的局部考虑因素和全局考虑因素整合输入到gnn中，从而实现仅使用有限的标签数据即可准确的预测出解剖结构的疾病量化参数。
46.在一些实施例中，所述局部特征编码器和所述全局特征编码器中的每一个通过利用第一级注意力块和第二级注意力块而采用双级注意力机制，其中，第一级注意力块被配置为提取病变位置感知注意力图，而第二级注意力块被配置为提取像素到像素的相互依赖注意力图。
47.可以理解的是，注意力机制能够考虑邻居节点(也称为近邻)的度以及注意力权重等边信息，将各信息间的关系进行整合，允许模型动态地去关注输入的特定部分从而更为有效地完成当前的任务。利用用于提取病变位置感知注意力图的第一级注意力块，和用于提取像素到像素的相互依赖注意力图的第二级注意力块来构建双级注意力机制，并将构建的双级注意力机构作为局部特征编码器和全局特征编码器，使得各个编码器能够不只单独考虑到解剖结构的病变位置和提取的像素间的相互依赖注意力关系，还能够将病变位置与像素间的相互依赖注意力两者之间的关联关系考虑在内，使得各个编码器能够从对应采样点的图像块中提取到更丰富的特征信息，从而实现在利用gnn预测解剖结构的疾病量化参数时能够获得更高的准确度。
48.以预测ffr为例，输入的医学图像可以为含有血管的医学图像，例如，含有血管的mri图像。如图1(b)所示，输入医学图像101，在从医学图像101提取到血管树的中心线结构102后，对中心线结构上的采样点提取图像块/蒙版块103，并将所提取的图像块/蒙版块103输入到全局-局部双级注意力高阶gnn网络104中，输出预测的结果105。其中，利用全局-局部双级注意力高阶gnn网络104的第一级注意力块可以提取血管的狭窄位置感知注意力图，第二级注意力块可以采用非局部网络，以探测更精确的像素到像素的相互依赖注意力图。第一级注意力块和第二级注意力块能够为疾病预测和病变定位(例如ffr预测的狭窄定位)提供了更具辨别力的特征表示，使得对ffr的预测的准确度更高。
49.如图1(b)所示，所述gnn可以包括高阶gnn。具体地，在一般的gnn中，节点仅从其直接(一级)近邻接收潜在的表示，而高阶gnn能够使用高阶信息传递，其节点能够在每个信息
传递步骤中从其直接(一级)近邻并从n级的近邻接收潜在的表示。采用高阶gnn，能够将更多高阶信息考虑在内，在训练时能够仅从一个或几个标记数据点中学习，将信息从标记的数据点传播到未标记数据点。在预测解剖结构的疾病量化参数时，能够获得更准确地预测结果。
50.在一些实施例中，所述解剖结构包括解剖树结构或解剖图结构。例如，冠状动脉是树状结构，本发明所提出的方法能够很好地用于预测冠状动脉血流储备分数(ffr)的非侵入性功能评估，或冠状动脉的狭窄/病变检测，获得更准确的预测结果。
51.在一些实施例中，所述局部特征编码器包括：结合有用于定位的注意力机制的第一卷积神经网络(cnn)，以及跟随其的第一自注意力块，第一自注意力块结合有像素间相关性的注意力机制。图2(a)示出根据本发明一个具体实施例的预测解剖结构的疾病量化参数的方法的流程图。如图2(a)所示，对于中心线上的2d/3d图像块200，采用局部特征编码器201来获取局部特征204，具体地，结合有用于定位的注意力机制的cnn(即图2(a)中的具有注意力的2d/3d cnn(第一级注意力)202)与第一自注意力块(即图2(a)中的自注意力块(第二级注意力)203)相结合，利用结合有像素间相关性的注意力机制的第一自注意力块(即图2(a)中的自注意力块(第二级注意力)203)输出局部特征204。
52.图2(b)示出了一个具体实施例，利用局部特征编码器201来基于中心线上的2d/3d图像块200获取局部特征204。例如，局部特征编码器201可以依序地包括具有第一级注意力的2d/3d cnn202和自注意力块203。
53.在一些实施例中，第一卷积神经网络cnn可以是任意2d/3dcnn网络，例如vgg、resnet等。可以理解的是，第一卷积神经网络可以是任意用于定位的注意力机制，例如残差注意力，第一自注意力块可以是任意像素到像素相关方法，例如非局部网络等，本发明对此不作具体限定。
54.在一些实施例中，所述全局特征编码器包括：结合有用于定位的注意力机制的第二卷积神经网络(cnn)，跟随其的递归神经网络(rnn)，以及然后结合有像素间相关性的注意力机制的第二自注意力块，其中，rnn被配置为累积从解剖结构的根部到当前采样点的信息。具体地，如图2(a)所示，对于全局特征编码器205，具有注意力的2d/3d cnn(第一级注意力)206与rnn 207相结合，然后rnn 207的输出被传递到自注意力块(第二级注意力)208，然后利用自注意力块(第二级注意力)208来提取全局特征209。具体说来，rnn 207广泛适用于序列学习任务，因为它能够捕获长期和短期信息，采用rnn 207学习全局特征，例如在ffr预测问题中，将rnn 207被配置为积累从冠状动脉血管根部到当前点的信息，如此，能够更好地获得中心线结构的全局特征，使得基于所获得的全局特征预测的解剖结构的疾病量化参数的准确度更高。图2(c)示出了一个具体实施例，利用全局特征编码器205来基于中心线上的2d/3d图像块200获取全局特征209。例如，全局特征编码器205可以依序地包括具有第一级注意力的2d/3d cnn 206、rnn 207和自注意力块208。
55.如图2(d)所示，在获得利用图2(b)获取的局部特征204以及利用图2(c)获取的全局特征209后，将局部特征204和全局特征209进行连接(如图2(d)中所示的连接210)获得嵌入特征，然后进行高阶gnn特征嵌入211，将嵌入特征输入到每个节点212，来获得解剖结构的疾病量化参数的预测结果213。
56.在一些实施例中，第二卷积神经网络cnn可以是任意2d/3dcnn网络，例如vgg、
resnet等。第二卷积神经网络可以是任意用于定位的注意力机制，例如残差注意力。rnn可以使用任意rnn单元，例如lstm、gru、convlstm、convgru等。第二自注意力块可以是任意像素到像素相关方法，例如非局部网络等。本发明对此均不作具体限定。
57.可以理解的是，第一卷积神经网络和第二卷积神经网络的用于定位的注意力机制可以采用相同的注意力机制，例如图2(a)中所示的具有注意力的2d/3d cnn，也可以采用不同的注意力机制，本发明对此不作具体限定。
58.可以理解的是，第一自注意力块和第二自注意力块可以相同，也可以不同，本发明对此不作具体限定。
59.在一些实施例中，用于定位的注意力机制包括残差注意力，并且每个自注意力块包括非局部网络。对于预测ffr来说，采用残差注意力的第一级注意力块能够提取到狭窄位置感知注意力图，采用非局部网络的自注意力块，能够探测到更精确的像素到像素的相互依赖注意力图，能够为ffr分数值的预测以及狭窄定位的预测提供更具辨别力的特征表示，使得预测的准确度更高。
60.在一些实施例中，基于局部特征和全局特征两者获取嵌入特征进一步包括：将局部特征与全局特征相连接以获得嵌入特征(如图2(a)中所示)。具体地，可以将所提取的局部特征展开为一维向量，同时将所提取的全局特征展开为一维向量，然后将展开的两个一维向量相连接，来得到嵌入特征，使得嵌入特征中同时包含了局部特征和全局特征，将其输入到gnn中能够获得更准确地预测结果。
61.在一些实施例中，所述gnn包括基于图卷积的神经网络或基于图门控的神经网络。
62.具体说来，图卷积神经网络的能够将cnn架构推广到非欧式域。图卷积可以直接在图上定义卷积，对空间上的近邻进行操作。图卷积神经网络可以表示为：z＝gcn(x,a)，其中x∈rn×c是输入，n是节点数，c是特征嵌入的维度，a是相邻矩阵以表示节点之间是否存在边，其中，a由中心线结构来决定，z是图卷积神经网络的输出。可以理解的是，在cnn中使用的其他常用方法也可以在图卷积神经网络中使用，例如跳跃连接(skipping connection)或注意力等，本发明对此不作具体限定。
63.又例如，还可以在传播步骤中使用gru或lstm等图门控的神经网络来改善信息在图结构中的长期传播。例如，如果图的边是有方向的，则通过使用门机制，父节点可以选择性地结合来自每个子节点的信息。更具体地说，每个图单元(可以是gru或lstm单元)都包含输入和输出门、记忆单元和隐藏状态。代替单个遗忘门地，每个图形单元针对每个孩子(child)都包含一个遗忘门。消息传递可以是自下而上或自上而下或双向。可以理解的是，图单元可以是任意rnn单元，例如lstm、gru、clstm、cgru等，本发明对此不作具体限定。
64.在一些实施例中，所述解剖结构包括血管结构或气道结构。本发明所提供的方法能够基于血管结构或气道结构的局部特征和全局特征形成的嵌入特征，以及gnn来预测这种解剖树结构的疾病量化参数，其能够实现无缝地整合来自整个解剖结构中的中心线结构的采样点的信息，通过将采样点的局部考虑因素和全局考虑因素，从而实现仅使用有限的标签数据(例如树/图结构中只有几个地面真值可用)，即可准确的预测出解剖树结构的疾病量化参数。
65.图3示出了根据本发明实施例的训练图神经网络并利用其进行解剖结构的疾病量化参数预测的框架，包括离线训练310和在线预测320两个阶段。如图3所示，在离线训练310
期间，对训练图像集311中的训练样本进行中心线结构提取312。可以采用图形表示算法，以针对每个训练样本创建图结构表示，然后对中心线结构提取312所提取的中心线结构进行图像块/蒙版块提取313。利用地面真值314、所建立的深度神经网络315以及图像块/蒙版块提取313提取的图像块/蒙版块，来训练深度神经网络316，以得到训练好的模型317。离线训练期间，可以组装一个注释有地面真值的训练数据的数据库，而构建的深度神经网络可以经由训练学习在在具有地面真值的节点和没有地面真值的节点之间的传输信息(消息传递)。
66.在一些实施例中，可以使用基于梯度的方法(例如随机梯度下降法sgd)进行训练，以在训练数据集上优化所有参数的目标函数。
67.例如，对于ffr等参数的回归预测问题，可以通过最小化回归任务的任何回归损失函数，来优化回归图神经网络的参数。例如，该回归损失函数可以包括地面真值输出y和预测值之间的均方差(l2损失)。特别地，对于训练集d，优化神经网络的参数(θ)以最小化目标函数j，如下面的公式(1)所示：
[0068][0069]
又例如，对于斑块稳定性级别的分类预测问题，可以通过最小化分类任务的任何分类损失函数，来优化分类图神经网络的参数。例如，该分类损失函数可以包括地面真值输出y和预测值之间的交叉熵损失ce。特别地，对于训练集d，分类图神经网络的参数被优化以最小化目标函数h，如下面的公式(2)所示：
[0070][0071]
在在线预测320中，可以利用离线训练310中训练好的模型317来预测解剖结构的疾病量化参数，具体地，如图3中在线预测320中所示，对待测试医学图像321进行中心线结构提取322，之后进行图像块/蒙版块提取323，然后将提取到的图像块/蒙版块输入到离线训练310中训练好的模型317中进行预测(如图3中所示的预测324)，从而获得预测结果。
[0072]
如图1中所示的预测阶段是在在线预测320中完成的，从而可以通过使用来自离线训练310阶段的学习好的模型来计算针对未见数据的解剖结构的疾病量化参数(例如，ffr)。
[0073]
通过将耗时且计算负担重的学习模型的训练过程安排为线下执行，可以针对特定患者和/或医生的需求为其训练好计算效率高的深度学习模型。当需要预测疾病状况时，可以直接利用现成的已经训练好的学习模型来进行预测，耗时较短，能够满足临床需求。
[0074]
本发明还提供了一种预测解剖结构的疾病量化参数的系统。图4示出根据本发明实施例的预测解剖结构的疾病量化参数的装置(也可以形成为系统)的框架示意图。如图4所示，系统400包括：接口401，其配置为：接收待分析的临床数据；以及处理器402，其配置为：执行根据本发明中各个实施例所述的预测解剖结构的疾病量化参数的方法。
[0075]
具体说来，如图4所示，接口401可以接收外部的医学图像采集装置410发送的待分析临床数据，并将该待分析的含有解剖结构的医学图像发送给处理器402，处理器402利用训练好的gnn来预测解剖结构的疾病量化参数。模型训练装置420用于构建gnn，并接收(来自医学图像采集装置410或其他的训练样本数据库的)训练数据集来对所构建的gnn进行训
练，并可以将训练好的gnn发送给系统400，使得系统400能够在接收到医学图像采集装置410发送的待分析的含有解剖结构的医学图像时，利用训练好的gnn来预测解剖结构的疾病量化参数。
[0076]
在一些实施例中，模型训练装置420可以另外包括输入和输出接口用以与训练数据库、网络和/或用户接口通信。用户界面可用于选择训练数据集、调整训练过程的一个或多个参数、选择或修改学习模型的框架、和/或手动或半自动地提供与图像序列相关联的预测结果用于训练。
[0077]
在一些实施例中，获取的特征信息连同预测结果还可以作为新的训练样本存储到模型训练装置420中，以便持续更新训练数据集，不断提高训练好的学习网络的性能。此外，可以采用存储的先前训练的预测模型的参数作为后期训练期间预测模型的初始参数，这可以大大加速训练过程。
[0078]
在一些实施例中，如图4所示，所述系统400还可以包括内存403、存储器404和总线405，其中，接口401、内存403、存储器404、和处理器402与总线405连接并且能够通过总线405相互通信。
[0079]
可以理解的是，内存403可以存储训练好的学习模型和数据，例如在执行计算机程序时生成的特征信息等。在一些实施例中，存储器404可以存储计算机可执行指令，例如一个或多个数据处理程序。计算机可执行指令可以加载到内存403以供处理器402执行。在一些实施例中，可以从存储在内存403中的数据片段中以不同的粒度来提取特征信息。在一些实施例中，可以从内存403逐个或同时地读取特征信息并存储在存储器404中。处理器402可以以通信的方式与存储器404联系并且被配置为执行存储在其上的计算机可执行指令。处理器402可以配置为通过执行存储在存储器404或内存403中的计算机可执行指令，实现根据本公开各个实施例的预测解剖结构的疾病量化参数的方法的各个步骤，或者训练预测学习网络例如gnn的训练处理的各个步骤。
[0080]
在一些实施例中，本发明中的gnn可以存储在存储器404中。可选地，学习网络可以存储在远程装置、单独的数据库、分布式装置中，并且可以由(一个或多个)数据处理程序使用。
[0081]
在一些实施例中，模型训练装置420、医学图像采集装置410和系统400可以设置在同一计算机或处理设备内。
[0082]
在一些实施例中，接口401可以包括但不限于网络适配器、电缆连接器、串行连接器、usb连接器、并行连接器、高速数据传输适配器等，例如光纤、usb 3.0、雷电接口(thunderbolt)等，无线网络适配器，诸如wifi适配器、电信(3g、4g/lte等)适配器等。
[0083]
在一些实施例中，接口401可以为网络接口，系统400可以通过接口401连接到网络，例如但不限于医院中的局域网或因特网。网络可以将系统400与诸如医学图像采集装置410、临床数据库和临床数据存储装置(未示出)的外部装置连接。医学图像采集装置410还可以是任何类型的成像模态，例如但不限于计算机断层摄影(ct)、数字减影血管造影(dsa)、磁共振成像(mri)、功能性mri、动态对比增强-mri、扩散mri、螺旋ct、锥形束计算机断层摄影(cbct)、正电子发射断层摄影(pet)、单光子发射计算断层摄影(spect)、x射线成像、光学断层摄影、荧光成像、超声成像、放射治疗射野成像等。
[0084]
在一些实施例中，系统400可以是专用智能装置或通用智能装置。例如，系统400可
以是为临床数据获取和临床数据处理任务定制的计算机，或者是放置在云中的服务器。例如，系统400可以集成到医学图像采集系统410中。
[0085]
在一些实施例中，处理器402可以是包括一个或多个通用处理装置的处理装置，诸如微处理器、中央处理单元(cpu)、图形处理单元(gpu)等一个或更多个通用处理设备的处理设备。更具体地，处理器402可以是复杂指令集运算(cisc)微处理器、精简指令集运算(risc)微处理器、超长指令字(vliw)微处理器、运行其他指令集的处理器或运行指令集的组合的处理器。处理器402还可以是诸如专用集成电路(asic)、现场可编程门阵列(fpga)、数字信号处理器(dsp)、片上系统(soc)等一个或更多个专用处理设备。
[0086]
在一些实施例中，处理器402可以是专用处理器，而不是通用处理器。处理器402可以包括一个或多个已知的处理装置，例如来自intel
tm
制造的pentium
tm
、core
tm
、xeon
tm
或itanium系列的微处理器等。所公开的实施例不限于任何类型的处理器402或处理器电路，其以其他方式被配置为满足识别、分析、维护、生成和/或提供大量临床数据或操纵这样的临床数据以提供疾病状况预测的计算需求，或与所公开的实施例一致地操纵任何其他类型的数据的计算需求。另外，处理器402可以包括一个以上的处理器，例如，多核设计或多个处理器，每个处理器具有多核设计。
[0087]
在一些实施例中，存储器404可以存储一个或多个软件应用程序。存储在存储器404中的软件应用程序可以包括，例如，用于普通计算机系统的操作系统(未示出)以及用于软控制装置的操作系统。此外，存储器404可以存储整个软件应用程序或仅存储可由处理器402执行的软件应用程序的一部分。此外，存储器404可以存储多个软件模块，用于实现与本公开一致的预测解剖结构的疾病量化参数的方法的各个步骤或用于训练gnn的过程。
[0088]
在一些实施例中，存储器404还可以存储在执行计算机程序时生成/缓冲的数据，例如，临床数据，包括从(一个或多个)医学图像采集装置410、医学图像数据库、图像数据存储装置等发送的临床数据。在一些实施例中，存储器404可以是非暂时性计算机可读介质，例如只读存储器(rom)、随机存取存储器(ram)、相变随机存取存储器(pram)、静态随机存取存储器(sram)、动态随机存取存储器(dram)、电可擦除可编程只读存储器(eeprom)、其他类型的随机存取存储器(ram)、闪存盘或其他形式的闪存、高速缓存、寄存器、静态存储器、光盘只读存储器(cd-rom)、数字多功能光盘(dvd)或其他光存储部、盒式磁带或其他磁存储设备、或用于存储能够被计算机设备等访问的信息或指令的任何其他非暂时性介质。
[0089]
在一些实施例中，模型训练装置420可以用由执行训练阶段的软件专门编程的硬件来实现。例如，模型训练装置420可以包括处理器和非暂时性计算机可读介质，处理器402可以通过执行存储在计算机可读介质中的训练过程的指令来进行训练。
[0090]
本发明提供的预测解剖结构的疾病量化参数的系统400通过提取中心线的采样点的局部特征，并基于一组采样点来提取全局特征，利用基于局部特征和全局特征来获得用于输入到gnn中的嵌入特征，使得能够无缝地整合来自整个解剖结构中的中心线结构的采样点的信息，通过将采样点的局部考虑因素和全局考虑因素整合输入到gnn中，从而实现仅使用有限的标签数据即可准确的预测出解剖结构的疾病量化参数。
[0091]
本发明还提供了一种计算机可读存储介质，其上存储有计算机可执行指令，所述计算机可执行指令由处理器执行时，实现根据本发明中各个实施例所述的预测解剖结构的疾病量化参数的方法。
[0092]
可以理解的是，所述计算机可读存储介质诸如但并不限于只读存储器(rom)、随机存取存储器(ram)、相变随机存取存储器(pram)、静态随机存取存储器(sram)、动态随机存取存储器(dram)、电可擦除可编程只读存储器(eeprom)、其他类型的随机存取存储器(ram)、闪存盘或其他形式的闪存、高速缓存、寄存器、静态存储器、光盘只读存储器(cd-rom)、数字多功能光盘(dvd)或其他光存储部、盒式磁带或其他磁存储设备、或用于存储能够被计算机设备等访问的信息或指令的任何其他非暂时性介质。
[0093]
本文描述了各种操作或功能，其可以被作为软件代码或指令实现或定义为软件代码或指令。这样的内容可以是可直接执行的(“对象”或“可执行”形式)源代码或差分代码(“增量”或“补丁”代码)。本文所述的实施例的软件实现可以经由其中存储有代码或指令的制品或者经由操作通信接口以经由通信接口发送数据的方法来提供。机器或计算机可读存储介质可以使机器执行所描述的功能或操作，并且包括以可由机器(例如，计算设备、电子系统等等)访问的形式存储信息的任何机制，诸如可记录/不可记录介质(例如，只读存储器(rom)、随机存取存储器(ram)、磁盘存储介质、光存储介质、闪存设备、等等)。通信接口包括接合到硬连线、无线、光学等介质中的任何一个以与另一设备通信的任何机制，诸如存储器总线接口、处理器总线接口、互联网连接、磁盘控制器等。可以通过提供配置参数和/或发送信号来将通信接口配置成将该通信接口准备好以提供描述软件内容的数据信号。可以经由发送到通信接口的一个或更多个命令或信号来访问通信接口。
[0094]
本发明还涉及一种用于执行本文的操作的系统。该系统可以是为了执行本公开的特定方法而特别构造的，或者该系统可以包括由存储在计算机中的计算机程序选择性地激活或重新配置的通用计算机。这样的计算机程序可以存储在计算机可读存储介质中，所述计算机可读存储介质诸如但并不限于包括软盘、光盘、cdrom、磁光盘等任何类型的盘、只读存储器(rom)、随机存取存储器(ram)、eprom、eeprom、磁卡或光卡、或适于存储电子指令的任何类型的介质，其中每个介质耦合到计算机系统总线。
[0095]
以上实施例仅为本发明的示例性实施例，不用于限制本发明，本发明的保护范围由权利要求书限定。本领域技术人员可以在本发明的实质和保护范围内，对本发明做出各种修改或等同替换，这种修改或等同替换也应视为落在本发明的保护范围内。