医疗影像处理系统

1.本技术涉及人工智能和医学图像处理交叉领域，具体涉及一种医疗影像处理系统。


背景技术：

2.随着人工智能的大力发展，为实现对医学影像的计算机辅助分类，以获知该医学影像的属性信息，医院会基于人工智能技术利用不同数据源的感兴趣区域的影像作为数据影像数据集，构建对应的分类预测模型。然后，在对需要对某个医学影像进行分类时，将影像输入到分类预测模型中进行预测，得到对应的类别标签。由于不同的数据站点的影像信息会存在差异例如采集设备和采集参数等导致的差异，因此，不同数据站点获取到的数据影像数据集中会存在异质性，从而会导致分类结果不准确。


技术实现要素：

3.针对上述技术问题，本发明实施例提供一种医疗影像处理系统，用于至少解决上述技术问题之一。
4.本发明实施例提供一种医疗影像处理系统，包括：通信连接的服务器和数据库，所述服务器包括一个或多个处理器和存储有计算机程序的存储介质；
5.所述数据库中存储有n个目标域数据表和m个源域数据表，其中，目标域数据表p中的第i条记录包括第i个目标域样本影像数据集dt
pi
＝(dt
pi1
，dt
pi2
，...，dt
pinp
)，dt
pi
j为dt
pi
中的第j个影像数据，j的取值为1到np，np为第i个目标域样本影像数据集中的影像数据数量，i的取值为1到np，np为目标域p的目标域样本影像数据集的数量，p的取值为1到n；源域数据表q中的第k条记录包括第k个源域样本影像数据集ds
qk
＝(ds
qk1
，ds
qk2
，...，ds
qkmq
)和c
qk
，ds
qkr
为ds
qk
中的第k个影像数据，r的取值为1到mq，mq为第k个源域样本影像数据集的影像数据数量，k的取值为1到mq，mq为源域q的源域样本影像数据集的数量，q的取值为1到m，c
qk
为源域q的第k个源域样本影像数据集的实际类别标签；
6.所述处理器用于执行计算机程序，实现如下步骤：
7.s10，从n个目标域数据表中获取任一目标域数据表p以及任一源域数据表q；
8.s20，基于获取的任一目标域数据表p以及任一源域数据表q，构建相应的功能连接网络图gt
p
和功能连接网络图gsq；
9.s30，构建影像预测模型；
10.s40，利用构建的功能连接网络图gt
p
和功能连接网络图gsq以及设定损失函数对构建的影像预测模型进行训练，得到训练好的目标域p的影像预测模型；
11.s50，基于目标域p的影像预测模型，对接收到的目标域p的医疗影像的类别标签进行预测。
12.本发明实施例提供的医疗影像处理系统至少具有以下优点：
13.(1)多站点医学影像辅助自闭症诊断。本发明利用计算机视觉技术，挖掘多个站点
的静息态功能磁共振影像数据，从而建立静息态功能磁共振影像预测模型，能够提供科学有效的生物标记。
14.(2)结合双重图卷积神经网络，提高诊断自动化水平。本发明将利用每个站点的受试者的静息态功能磁共振影像数据，构建有节点、有边的图结构。本发明将首次采用注意力机制策略，改进传统图卷积神经网络模型，深度捕捉图上局部/全局节点信息，能够准确得到每个样本影像的类别标签。
15.(3)联合多分类器，建立自适应跨域模型。本发明联合源域分类器、域分类器，及目标域分类器，解决多站点之间的数据异质性问题。从而构建具有良好性能的跨域分类模型，提高类别标签的分类准确性。
附图说明
16.为了更清楚地说明本技术实施例中的技术方案，下面将对实施例描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本技术的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。
17.图1为本发明实施例提供的系统结构框图；
18.图2为本发明实施例提供的预测模型的构建流程示意图；
19.图3为功能连接网络图的构建示意图。
具体实施方式
20.下面将结合本技术实施例中的附图，对本技术实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本技术一部分实施例，而不是全部的实施例。基于本技术中的实施例，本领域技术人员在没有作出创造性劳动前提下所获得的所有其他实施例，都属于本技术保护的范围。
21.本发明实施例提供一种医疗影像处理系统，如图1所示，包括：通信连接的服务器和数据库，所述服务器包括一个或多个处理器和存储有计算机程序的存储介质。
22.其中，在本发明实施例中，所述数据库中存储有n个目标域数据表和m个源域数据表，其中，目标域数据表p中的第i条记录包括第i个目标域样本影像数据集dt
pi
＝(dt
pi1
，dt
pi2
，...，dt
pinp
)，dt
pi
j为dt
pi
中的第j个影像数据，j的取值为1到np，np为第i个目标域样本影像数据集中的影像数据数量，i的取值为1到np，np为目标域p的目标域样本影像数据集的数量，p的取值为1到n；源域数据表q中的第k条记录包括第k个源域样本影像数据集ds
qk
＝(ds
qk1
，ds
qk2
，...，ds
qkmq
)和c
qk
，ds
qkr
为ds
qk
中的第k个影像数据，r的取值为1到mq，mq为第k个源域样本影像数据集的影像数据数量，k的取值为1到mq，mq为源域q的源域样本影像数据集的数量，q的取值为1到m，c
qk
为源域q的第k个源域样本影像数据集的实际类别标签；所述影像为静息态功能磁共振影像(fmri数据)。
23.在本发明实施例中，功能磁共振影像数据可通过多个采集站点获取。其中，源域定义为模型训练用的站点，目标域定义为需要预测的站点，站点可为医院或影像中心。不同数据源/域的采样时间点数量可以不同，相同域的每个样本影像集中的影像数据的数量相同。在一个示意性实施例中，本发明实施例提供的处理系统的一个应用场景是脑功能磁共振影
像的处理，也可应用于其它应用场景。在应用于脑功能磁共振影像处理时，使用的样本影像来源于公开的国际脑成像数据交换库(autism brain imaging data exchange，abide)中nyu、leuven、ucla、um、usm五个站点。五个站点的人口统计信息见表1。
24.表1：人口统计信息
[0025][0026]
其中，asd表示患者；nc表示正常人；m表示男，f表示女。
[0027]
在本发明实施例中，实际分类标签可用0和1表示，例如，c
qk
＝1可表示样本对应的样本影像数据集对应的生物体属于第一类别例如患脑疾病的的生物体，c
qk
＝0可表示样本影像数据集对应的生物体属于不同于第一类别的第二类别，例如为正常生物体。
[0028]
进一步地，在本发明实施例中，所述处理器用于执行计算机程序，实现如下步骤：
[0029]
s10，从n个目标域数据表中获取任一目标域数据表p以及任一源域数据表q。
[0030]
s20，基于获取的任一目标域数据表p以及任一源域数据表q，构建相应的功能连接网络图gt
p
和功能连接网络图gsq。
[0031]
在模型建立之前，需要分别为源域和目标域的所有样本影像数据集构建图。利用abide数据库中采集到的rs-fmri数据，为每个涉及到的站点构建图g，如图3所示。
[0032]
在本发明实施例中，gt
p
＝(vt
p
，et
p
，xt
p
)，其中，vt
p
为gt
p
中的节点的顶点集，每个节点表示一个采样对象；et
p
为gt
p
中的两个节点之间的关系边集合；xt
p
为gt
p
中的节点特征矩阵；gt
p
的拓扑结构由邻接矩阵at
p
表示。
[0033]
其中，邻接矩阵at
p
通过如下步骤获取：
[0034]
s201，对目标域数据表p中的每条记录对应的功能磁共振影像数据进行预处理，得到对应的功能连通性矩阵，形成np个功能连通性矩阵。
[0035]
在本发明实施例中，通过管道与数据处理助手工具箱(dparsf)对数据进行预处理，主要包括：(1)切片定时，头部运动校正；(2)滋扰信号回归(如脑室、脑脊液、白质信号等)；(3)蒙特利尔神经学研究所(montreal neurological institute，mni)模板空间标准化；(4)时间滤波；(5)利用脑图谱(anatomical automatic labeling，aal)将每个受试者的大脑划分为116个感兴趣的脑区(region-of-interests，rois)；(6)从所有rois中提取平均时间序列。
[0036]
于是，对于每个样本影像数据集，可以生成一个大小为116
×
116的对称静息态功能连通性矩阵，其中该矩阵中的每个元素表示一对roi之间的皮尔逊相关系数。本领域技术人员知晓，皮尔逊相关系数的具体计算方式可为现有技术。
[0037]
s202，将每个功能连通性矩阵的上三角或者下三角矩阵的数据排成一列并进行转置，形成一维向量，得到np个一维向量。
[0038]
以大小为116
×
116的对称静息态功能连通性矩阵为例，矩阵具有对称性，因而，去除主对角线上的数据，取相关系数矩阵的上三角或下三角。为了方便地将该特征作为神经网络的输入，将下三角(或上三角)矩阵拉成一列，然后转置，形成大小为6670的一维向量。
[0039]
s203，计算np个一维向量中的任何两个一维向量之间的欧氏距离，得到np
×
np个欧氏距离。
[0040]
s204，基于np
×
np个欧氏距离得到邻接矩阵其中，dt
abp
为gt
p
中的第a个节点和第b个节点之间的欧式距离，a和b的取值为1到np。gsq＝(vsq，esq，xsq，yq)，其中，vsq为gsq中的节点的顶点集，每个节点表示一个采样对象；esq为gsq中的两个节点之间的关系边集合；xsq为gsq中的节点特征矩阵；yq为gsq的类别标签矩阵；gsq的拓扑结构由邻接矩阵asq表示。
[0041]
其中，邻接矩阵asq通过如下步骤获取：
[0042]
s205，对源域数据表q中的每条记录对应的功能磁共振影像数据进行预处理，得到对应的功能连通性矩阵，形成mq个功能连通性矩阵。
[0043]
此步骤中的功能连通性矩阵与上述步骤s201相同。
[0044]
s206，将每个功能连通性矩阵的上三角或者下三角矩阵的数据排成一列并进行转置，形成一维向量，得到mq个一维向量。
[0045]
s207，计算mq个一维向量中的任何两个一维向量之间的欧氏距离，得到mq
×
mq个欧氏距离。
[0046]
s208，基于mq
×
mq个欧氏距离得到邻接矩阵其中，ds
efq
为gsq中的第e个节点和第f个节点之间的欧式距离，e和f的取值为1到mq。
[0047]
本领域技术人员知晓，欧氏距离的具体计算方式可为现有技术。在本发明实施例中，节点特征矩阵通提取每个节点的度、局部聚类系数等得到。
[0048]
s30，构建影像预测模型。
[0049]
在本发明实施例中，构建的影像预测模型可包括特征提取矫正部和分类部，所述特征提取矫正部包括特征提取器和特征矫正器，所述特征提取器包括第一特征提取器和第二特征提取器，所述第一特征提取器用于提取输入对象的局部特征，包括l层局部神经网络层；所述第二特征提取器用于提取输入对象的全局特征，包括l层全局神经网络层；所述特
征矫正器包括l个特征矫正层，其中，第u个特征矫正层的输入端分别与第u个局部神经网络层和第u个全局神经网络层连接，输出端分别与第u+1个局部神经网络层和第u+1个全局神经网络层连接，第u个特征矫正层用于基于设定的矫正方法对输入的局部特征和全局特征进行矫正，得到局部矫正特征和全局矫正特征，u的取值为1到l；所述分类器包括源域分类器、域分类器和目标域分类器。
[0050]
在本发明一示意性实施例中，所述第一特征提取器可为局部卷积网络gcna。根据传统的gcn模型，给定上述输入特征矩阵x和邻接矩阵a，所述局部卷积网络的第s层神经网络层提取到的局部特征gcna
(s)
满足：
[0051][0052]
其中，a∈(at
p
，asq)，i表示大小为np
×
np或者mq
×
mq的单位矩阵，表示对邻接矩阵a的归一化，且h和o的取值为1到np或者mq；w
(s)
为可训练的权重矩阵，即可调节的网络参数；σ(
·
)为激活函数，在一个示例中，为relu函数。
[0053]
在本发明一示意性实施例中，所述第二特征提取器可为全局卷积网络gcnp。所述全局卷积网络的第s层神经网络层提取到的全局特征gcnp
(s)
满足：
[0054][0055]
其中，p为设定矩阵，f
s，t
为频数矩阵f中的第s行第t列元素，频数矩阵f为基于随机游走构建的功能连接网络图的频数矩阵；表示对矩阵p的归一化，且h和o的取值为1到np或者mq；w
(s)
为可训练的权重矩阵，σ(
·
)为激活函数。
[0056]
具体地，频数矩阵f可通过如下步骤得到：
[0057]
输入：邻接矩阵a，一次随机游走的路径长度q，截取随机游走序列上面的节点的窗口w，每个节点经过的随机游走次数r；
[0058]
输出：频数矩阵f∈rn×n[0059]
步骤一，初始化矩阵f为0矩阵
[0060]
步骤二，设置每个节点xi为路径根节点；
[0061]
步骤三，对每个节点xi根据公式
[0062]
进行r次随机游走，得到s条节点序列；s(t)＝xi；p(s(t+1)＝xj|s(t)＝xi)表示从当前节点xi跳到其一个邻居节点xj的转移概率；
[0063]
步骤四，利用w采样所有节点序中的节点对(xn，xm)。
[0064]
步骤五，对于每一对节点对(xn，xm)，获取f
n，m
+＝1；f
m，n
+＝1；
[0065]
步骤六，得到频数矩阵f。
[0066]
矩阵p通过如下方式获取：
[0067]
频数矩阵f中的第i行是行向量f
i，：
，f中的第j列是列向量f
：，j
。f
i，：
对应一个节点
xi，f
：，j
对应一个上下文cj。这些上下文被定义为x中的所有节点。f
i，j
是xi在上下文cj中出现的次数。基于f，计算矩阵p∈rn×n为：
[0068][0069][0070][0071][0072]
由上可知，本发明实施例中，基于节点上下文的得到的矩阵p可以确保，gcn在更新节点特征时，考虑到了图的全局拓扑信息。此外，通过使用与gcna相同的神经网络结构，可以将源域图和目标域gcna，gcnp模块可以共享参数，减少计算量，防止模型过拟合。
[0073]
对于每个域，由于来自局部和全局一致性gcn模块学习到的节点特征对最终的节点表示的贡献不同，因此，本发明提出了一个图间注意方案来捕获每个域的每个gcn模块学习到的节点特征的重要性。即，所述设定的矫正方法为图间注意力机制。
[0074]
在对源图和目标图进行节点表示学习后，如图2所示，得到了4个更新后的图的嵌入表示，其中，源域图可表示为目标域图可表示为需要聚合来自不同图的嵌入来生成一个统一的表示。本发明的申请人认为，传统的早期融合及晚期融合，忽视了不同特征层次间的互补信息，因此本发明选择使用中间层特征校准再融合的方法，整合来自全局和局部gcn模块提取到的特征。具体地，本发明实施例中的每个特征矫正层的矫正步骤可包括：
[0075]
首先，分别箱或这两个张量通过拼接和全连接层映射到一个联合表示fk：k表示输出来自源域s或目标域t，w和b分别为神经网络自动学习的参数和权重。然后，通过两个独立的全连接层来预测每个gcn模块的激励信号ea和ep：
[0076]
ea＝wafk+ba，e
p
＝w
pfk
+b
p
[0077]
通过一个简单的门控机制来重新校准gcna，gcnp学到的特征和
[0078][0079]
其中，σ(
·
)是sigmoid函数，θ是点乘操作。
[0080]
s40，利用构建的功能连接网络图gt
p
和功能连接网络图gsq以及设定损失函数对构建的影像预测模型进行训练，得到训练好的目标域p的影像预测模型。其中，设定的损失函数包括源域分类器损失函数、域分类器损失函数和目标域分类器损失函数。
[0081]
如图2所示，s40进一步包括以下步骤：
[0082]
s401，将构建的功能连接网络图p和功能连接网络图q分别输入到特征提取矫正部中，分别得到目标域p的局部矫正特征和全局矫正特征，以及源域q的局部矫正特征和全局矫正特征。
[0083]
在该步骤中，首先根据上述公式(1)和(2)提取局部矫正特征和全局矫正特征；接
着，通过上述公式(3)得到局部矫正特征和全局矫正特征。
[0084]
s402，将得到的目标域p的局部矫正特征和全局矫正特征进行融合，得到目标域p的融合特征。
[0085]
s403，将得到的源域q的局部矫正特征和全局矫正特征进行融合，得到源域q的融合特征。
[0086]
在步骤s402和s403中，两个特征提取器即两个gcn模块学到的特征可通过简单相加融合形成最终的节点向量表示，作为下游分类器的输入：
[0087][0088]
s404，将目标域p的融合特征分别输入到目标域分类器和域分类器中，得到目标域的类别标签概率分布预测结果和域分类预测结果。
[0089]
s405，将源域q的融合特征分别输入到源域分类器和域分类器中，得到源域的类别标签预测结果和域分类预测结果。
[0090]
s406，基于得到的目标域的类别标签概率分布预测结果和域分类结果以及源域的类别标签预测结果和域分类结果，利用设定的损失函数计算对应的损失。
[0091]
为了实现跨域分类，本发明实施例提出利用三个分类器联合发挥作用，减少域偏移。第一个是源域分类器fs，旨在尽量减少含有完整数据标签的源域数据的分类损失。第二个是域分类器fd，利用域对抗性损失来减少源域和目标域间的域偏移。第三个是目标域分类器f
t
，对于没有数据标签的目标域数据，利用熵损失，进一步利用目标域数据的分布信息。这三个分类器是由含有不同参数的全连接层以及softmax层构成。这样，领域自适应学习可以最大程度上利用领域信息和目标领域信息，有效地学习领域不变表示和语义表示，减少跨域节点分类任务中的数据分布不同(即域偏移)问题。
[0092]
其中，在本发明实施例中，采用交叉熵损失作为源域分类器损失，即源域分类器损失函数yi表示源域中第i个节点的标签，表示源域中第i个节点的类别标签预测结果，ns表示源域的节点数量。通过最小化源域分类器损失，能够提高源域分类器的分类性能。
[0093]
在本发明实施例中，域分类器损失函数mi∈{0，1}，0和1代表域标签，表示在源域和目标域中的第i个节点的域预测概率；源域标签设置为1，目标域标签设置为0。
[0094]
进一步地，在本发明实施例中，由于在目标域中节点没有相对应的类信息。为了利用目标域内的数据，本发明对目标分类器f
t
采用熵损失，即目标域分类器损失函数采用熵损失，即目标域分类器损失函数表示目标域中第j个节点的类别标签预测结果。
[0095]
本发明实施例中，所述设定的损失函数满足：
[0096]
l＝ls+γ1l
da
+γ2l
t
ꢀꢀꢀꢀꢀꢀꢀꢀ
(4)
[0097]
其中，l为设定的损失函数，γ1和γ2为平衡参数且为可调节的超参数。
[0098]
s407，基于得到的损失和梯度反转层对构建的功能磁共振影像预测模型中的可调节参数进行更新，直到模型收敛，得到训练好的目标域p的功能磁共振影像预测模型。
[0099]
在本发明实施例中，希望从源域网络gs和目标域网络gt提取到的节点特征分布尽可能相似，从而使得与分类器分不清这个节点到底来自哪个域，从而减小不同站点数据分布的差异性。为了实现这个目的，本发明增加梯度反转层(gradient reversal layer，grl)来进行对抗性训练。grl定义为来进行对抗性训练。grl定义为其反转梯度为(λ是可调节的超参数)。最终，训练良好的域分类器强制从源域网络和目标域网络提取到的节点表示相似。
[0100]
本发明实施例中，通过三个分类器损失函数进行联合优化，所有参数都使用标准的反向传播算法进行优化，从而使得模型特征提取矫正部以及分类部都取得预期的性能。如图2所示，借助特征提取矫正部、分类部，模型最终使得源域和目标域数据分布差异减少，从而使得模型在源域和目标域都能取得良好得分类性能。
[0101]
s50，基于目标域p的功能磁共振影像预测模型，对接收到的目标域p的医疗影像的类别标签进行预测。
[0102]
接收到的目标域p的医疗影像可为用户新输入的影像数据，例如，新输入的功能磁共振影像。具体预测过程可与前述模型训练过程相同。为避免赘述，省略对其的具体描述。
[0103]
虽然已经通过示例对本技术的一些特定实施例进行了详细说明，但是本领域的技术人员应该理解，以上示例仅是为了进行说明，而不是为了限制本技术的范围。本领域的技术人员还应理解，可以对实施例进行多种修改而不脱离本技术的范围和精神。本技术公开的范围由所附权利要求来限定。