基于多任务学习和图卷积神经网络的影像分类方法及装置与流程

本发明具体涉及一种基于多任务学习和图卷积神经网络的影像(如smri)分类方法及装置。

背景技术：

近年来，随着神经影像学的快速发展，包括x光成像技术、磁共振成像技术、计算机断层扫描技术、脑血管造影技术等被用于神经疾病的临床诊断。其中，磁共振成像技术因其对患者无损伤、图像对比度比较高以及能够提供多种模态类型的图像等优势，被广泛地应用到神经性疾病的研究和生物医学的基础研究中。常见的磁共振成像包括结构磁共振成像(structuralmagneticresonanceimaging,smri)、弥散张量成像(diffusiontensorimaging,dti)、功能磁共振成像(functionalmagneticresonanceimaging,fmri)。因此，磁共振成像技术给大脑神经科学的研究提供了新的思路和方向。

结构磁共振成像(structuralmagneticresonanceimaging,smri)是利用氢原子来定位的为了产生某一组织结构的一项成像技术。smri可以从宏观和微观上反应大脑的形态结构变化及其与功能改变的关系，smri的空间分辨率高，可以绘制物体内部的清晰的结构图像。

一般研究smri特征，通常基于形态学测量的分析方法是一种较为常用的方法。通过对比大脑不同时期的形态学特征的变化情况，可以发现一些病理结构变化。基于形态学测量的方法主要有两种：基于体素的形态学分析方法和基于感兴趣区域的形态学分析方法。基于体素的形态学分析通过定量计算分析核磁共振成像中每个体素的灰质和白质的变化来反应大脑解剖结构之间的差异。而基于感兴趣区域的形态学分析方法通常根据预先划分好的大脑区域，然后分析特定区域的形态学特征的变化情况。最常用的形态学特征包括大脑皮层厚度、表面积、灰质体积、折叠系数以及平均曲率等，这些形态学表征能很好的刻画大脑结构的性质和脑功能信息，并且为分析大脑结构提供了一种在同种个体之间去评估这些因素随时间变化的模式和程度的便捷方式。对于结构核磁共振成像，提取的多种不同形态学特征，它们之间既是相互独立的，同时不同形态学特征之间又是彼此相关联的。例如皮层厚度、灰质体积等基于形态学测量的特征，他们都是从不同的角度反映大脑的形态结构变化和内在的功能变化情况。但是，无论是只考虑某单一形态学特征对神经疾病的影响，还是将几种不同形态学特征级联成一个长特征向量进行研究，都无法充分利用这些特征的信息。为了更好的挖掘这些特征之间的潜在信息，既要考虑不同特征之间存在的差异，同时也要考虑它们之间的联系。

如今，深度学习已经被广泛应用于影像的分类，深度学习能够直接通过使用具有不同层次结构的网络，从中学习原始特征的最佳表示，其提取数据底层复杂模式的表达能力也广受认可。在深度学习方法中，以人工神经网络构建带有人工神经元及其之间的连接的层来从中学习任务最为常见。

因此由此必要设计一种能充分挖掘各种形态学特征之间的潜在信息，从而能够对影像进行准确分类的基于神经网络的影像方法。

技术实现要素：

本发明所解决的技术问题是，针对现有技术的不足，提供一种基于多任务学习和图卷积神经网络的影像分类方法及装置，能够提高影像分类准确度。

为实现上述目的，本发明的技术方案如下：

一种基于多任务学习和图卷积神经网络的影像分类方法，包括以下步骤：

步骤1、分别提取每个影像的特征，每个影像的特征包括其对应的大脑d个感兴趣区域的m种形态学特征；

步骤2、将每种形态学特征作为一个任务，其维度为d；基于多任务学习方法进行特征选择，得到每个影像的m种形态学特征向量；

步骤3、构建基于图卷积神经网络的分类器，基于影像样本的m种形态学特征向量及其分类标签对分类器进行训练，得到训练好的分类器；

步骤4、基于训练好的分类器对未知分类标签的影像进行分类。

进一步地，所述步骤1中，m＝9，九种形态学特征分别为结点个数、表面积、灰质体积、平均皮层厚度、皮层厚度标准差、平均曲率、高斯曲率、折叠系数以及曲率系数。

进一步地，所述步骤2中，基于多任务学习方法进行特征选择的目标函数为：

其中，y为n个影像样本的分类标签构成的标签向量，y＝(y1,y2,…,yn)^t，yi表示第i个影像样本的标签；x^m为针对第m个任务，即第m种形态学特征构建的原始特征矩阵，其大小为n×d，n为影像样本的个数，其第i行表示第i个影像样本通过步骤1提取到其对应的大脑d个感兴趣区域的第m种形态学特征，m＝1,2,…,m；w表示所有任务所对应的权重矩阵，其大小为d×m，其第m列w^m表示大脑d个感兴趣区域的第m种形态学特征的权重；reg(w)为惩罚项，λ表示正则化约束值；

求解目标函数，得到w^m的最优解；基于w^m的最优解，对每个影像通过步骤1提取到其对应的大脑d个感兴趣区域的第m种形态学特征进行特征选择，得到每个影像的第m种形态学特征向量(特征选择方法可以是：若w^m中第d个维度的元素值为0，则将每个影像对应的大脑d个感兴趣区域的第m种形态学特征中，第d个感兴趣区域的第m种形态学特征删除，剩下的f个感兴趣区域的第m种形态学特征构成其第m种形态学特征向量)。

进一步地，设定目标函数中的惩罚项reg(w)，得到目标函数为：

其中，λ1和λ2表示正则化约束参数，‖w‖2,1为权重矩阵w的l21范数，

l^m＝e^m-s^m表示第m个任务的拉普拉斯矩阵；e^m是一个n×n的对角矩阵，其定义为是一个相似性矩阵，它的定义如下所示：

进一步地，在目标函数中增加frobenius范数正则化项，得到目标函数为：

其中，‖w‖f为权重矩阵w的frobenius范数，为w^m第k个维度的元素值，λ3表示正则化约束参数。

进一步地，所述步骤3中，基于影像的每一种形态学特征向量，分别构建一个图，用于相应的基于gcn的基分类器的训练和分类(预测)；图中每个节点为一个影像；

在基于影像的第m种形态学特征向量构建的图g中，通过以下公式计算第a个节点与第b个节点之间权重g(a,b)：

其中，x(a)和x(b)分别代表第a个节点与第b个节点的第m种形态学特征向量；ρ表示求两个形态学特征向量的相关距离，σ为自由参数；mt(a)和mt(b)分别表示第a个节点与第b个节点对应的个体第t种表型信息，β表示求两个表型信息的相似性；

若g(a,b)≠0，则在图g中，第a个节点与第b个节点之间有一条边相连。

进一步地，所述步骤3中，基于图卷积神经网络的分类器包括m个基于gcn的基分类器，每个基于gcn的基分类器利用一种形态学特征向量进行训练和分类(预测)；

每个基于gcn的基分类器包括依次串联的l个图卷积层和一个softmax函数层，每个图卷积层的传播规则如下：

其中，是加了自环的邻接矩阵；是加了自环的度矩阵；h^(l)为第l个图卷积层的输出，l＝1,2,…,l-1；w^(l)是第l个图卷积层的参数矩阵，其行数等于h^(l)的列数，其列数k通过人为设定，其取值通过训练得到；第l+1个图卷积层的输出h^(l+1)为一个n′×k的特征矩阵，其为一个节点级别的输出，k即每一个节点的输出特征数，n′为每次输入的形态学特征向量个数(对应影像个数)；最后一个图卷积层的参数矩阵的列数设置为c，其输出一个n×c的特征矩阵，记为z，c为类别数；σ()是非线性激活函数；

将z输入softmax函数层，得到每个影像属于各个类别的概率；

对于利用第m种形态学特征向量进行分类的基分类器，上述传播规则中的h⁽⁰⁾设置为由n′个影像的第m种形态学特征向量构成的n′×f的矩阵，其中f表示影像的第m种形态学特征向量的维度；a为图g中n′个影像对应的节点构成的子图g′的邻接矩阵，a为n′×n′的矩阵，其第p行第q列的元素为图g中相应的两个节点之间的权重；d为图g中n′个影像对应的节点的度矩阵，d为n′×n′的矩阵，其主对角线上各个元素值依次为图g中n′个影像对应的节点的度；diag(1,1,1…)表示主对角线元素全为1的对角矩阵，其大小为n′×n′。

进一步地，所述步骤4中，将未知分类标签的影像的m种形态学特征向量分别输入m个相应的基分类器，对其进行分类；然后对m个基分类器的分类结果，使用投票法，得到最终的分类结果。

本发明还提供一种基于多任务学习和图卷积神经网络的影像分类装置，包括以下模块：

影像特征提取模块，用于执行步骤1：分别提取每个影像的特征，每个影像的特征包括其对应的大脑d个感兴趣区域的m种形态学特征；

影像特征选择模块，用于执行步骤2：将每种形态学特征作为一个任务，其维度为d；基于多任务学习方法进行特征选择，得到每个影像的m种形态学特征向量；

分类器构建及训练模块，用于执行步骤3：构建基于图卷积神经网络的分类器，基于影像样本的m种形态学特征向量及其分类标签对分类器进行训练，得到训练好的分类器；

分类模块，用于执行步骤4：基于训练好的分类器对未知分类标签的影像进行分类；

各个步骤的具体实现方法与上述基于多任务学习和图卷积神经网络的影像分类方法中相同。

本发明还提供一种电子设备，包括存储器及处理器，所述存储器中存储有计算机程序，所述计算机程序被所述处理器执行时，使得所述处理器实现如上述的基于多任务学习和图卷积神经网络的影像分类方法。

本发明还提供一种计算机可读存储介质，其上存储有计算机程序，所述计算机程序被处理器执行时实现上述的基于多任务学习和图卷积神经网络的影像分类方法。

本发明考虑到在神经影像分类预测中，不同影像对应的个体间往往会有各种各样的联系，例如性别、年龄、左右手、智商等等，因此在考虑影像的特征同时，也要考虑不同影像对应的个体之间的联系，建立影像拓扑图。传统的神经网络面对这种不规则图的很难去学习特征，因此本发明采用图卷积神经网络，图卷积神经网络是一种基于图数据的神经网络，它具备多样化的结构，图可以是同质的也可以是异质的，可以是加权的也可以不加权，可以是有符号的也可以是无符号的。

本发明的有益效果是：

本发明利用多个相关任务来学习多种形态学特征之间的潜在相关信息，以此来提升模型的学习性能，从而从不同类型的任务中获取充分的潜在信息，而后构建影像图网络拓扑，使用图卷积神经网络提取高阶特征，能够提高影像分类准确度。具体而言，本发明首先从每个影像中提取基于感兴趣区域的形态学特征，然后把每种形态学特征当作一个任务，考虑到多种形态学特征具有相同的病理基础，它们之间存在特定的内在关联，因此使用多形态学多任务特征选择来诱导出更具判别力的特征。接下来，考虑到，利用不同影像对应的个体的表型信息构建图网络结构，提供不同影像的特征向量之间的关联。然后对经过多任务特征选择之后的每种形态学特征分别使用图卷积神经网络进行分类。最后，利用投票的方式对多个分类器进行融合，以进一步提升整体的分类性能。本发明选择的9种不同形态学特征，它们之间既是相互独立的，同时不同形态学特征之间又是彼此相关联的。例如皮层厚度、灰质体积等基于形态学测量的特征，他们都是从不同的角度反映大脑的形态结构变化和内在的功能变化情况，为了更好的挖掘这些特征之间的潜在信息，既要考虑不同特征之间存在的差异，同时也要考虑它们之间的联系。图卷积神经网络能够更好的捕获样本间的微妙的关系，将普通卷积神经网络推广到不规则域的图上，通过每个节点的感受野获得一阶邻居的信息。因此，本发明提出一个基于多任务学习和图卷积神经网络的模型(multi-morphologicalmulti-taskfeatureselectiongraphconvolutionalnetwork,m3tfs-gcn)用于影像分类。多任务特征学习旨在同时对多个相互之间具有某种内在关联的任务同时进行学习，从而可以利用多个相关任务来学习它们之间的潜在相关信息；图卷积神经网络旨在捕获节点与邻居节点的相似关系，从而在节点分类中提取更多信息。基于以上两个优点提升了模型的学习性能，提升了影像分类的准确性。

附图说明

图1为一种基于多任务学习和图卷积神经网络的影像分类方法的流程图。

具体实施方式

下面结合附图对本发明的实施例进行详细阐述，以使本发明的目的，技术方案能被同领域技术人员所理解。

实施例1：

参见图1，本实施例提供的基于多形态学多任务特征选择的影像分类方法含有以下步骤：

步骤1：获取多个受试者的影像(本实施例中影像为影像)，对每个受试者的影像，分别提取其特征，具体为：分别使用freesurfer图像分析套件的recon-all预处理工作流程来提取其对应大脑所有感兴趣区域的形态学特征；所述recon-all预处理工作流程包括颅骨剥离、皮质表面模型的重建、标记皮质及皮质下表面、非线性配准和组形态学测量差异的统计分析等；在进行非线性配准时，使用destrieux图谱将大脑划分成148个感兴趣区域，左右半脑各74个感兴趣区域；在进行组形态学测量差异的统计分析时，对每一个感兴趣区域，分别统计其九种形态学特征，九种形态学特征分别为结点个数(numberofvertices,nv)、表面积(surfacearea,sa)、灰质体积(graymattervolume,gmv)、平均皮层厚度(averagethickness,th)、皮层厚度标准差(thicknessstddev,thstd)、平均曲率(meancurvature,mc)、高斯曲率(gaussiancurvature,gc)、折叠系数(foldingindex,fi)以及曲率系数(curvatureindex,ci)；

步骤2：对于步骤1中得到影像的特征(九种形态学特征，每种形态学特征的维度是d＝148)，使用多任务的形式对其进行表示，把每种形态学特征当作一个任务(每个任务的维度为d)，考虑到多种形态学特征具有相同的病理基础，它们之间存在特定的内在关联，因此使用多任务特征选择方法来诱导出更具判别力的特征，得到每个影像的m种形态学特征向量；

典型的多任务特征学习方法通常是最小化经验损失函数，目标函数如下所示：

其中，y为n个影像样本的分类标签构成的标签向量，y＝(y1,y2,…,yn)^t，yi表示第i个影像样本的标签，本实施例中yi的值域为{+1,-1}，其中+1表示第i个影像样本来自患病的受试者，-1表示第i个影像样本来自正常的受试者；x^m为针对第m个任务，即第m种形态学特征构建的原始特征矩阵，其大小为n×d，n为影像样本的个数，其第i行表示第i个影像样本通过步骤1提取到其对应的大脑d个感兴趣区域的第m种形态学特征，m＝1,2,…,m，m表示任务总数，m＝9；w表示所有任务所对应的权重矩阵，其大小为d×m，其第m列w^m表示大脑d个感兴趣区域的第m种形态学特征的权重；

在上述公式中，表示用最小二乘法来计算的损失函数，它是衡量学习模型的适应度。reg(w)为惩罚项，通过惩罚项可以对模型进行约束，根据不同的先验知识和对任务的要求，可以设计不同的正则化约束项作为惩罚项。λ表示正则化约束值，它可以控制损失函数与正则化约束项之间的平衡。

进一步地，可以使用基于流形正则化的多任务特征选择(m2tfs)算法来解决分类或回归问题，该算法既从特征和类标签之间的关系进行约束，同时还从数据之间的相互依赖性进行约束，通过引入拉普拉斯正则化来对损失函数进行约束，其作用是将类别标签信息融入到特征选择中，并且保存了每种模态数据的原始信息，从而能够选择出相对有辨别能力的特征。多任务特征选择(m2tfs)算法的目标函数如下所示：

其中，权重矩阵w的l21范数其表示的是组稀疏正则化项，它是权重矩阵w每一行的l2范数之和；l21范数的作用是鼓励权重矩阵w有更多的零行，即l21范数是站在组稀疏的角度对模型进行约束；其中

l^m＝e^m-s^m表示任务m的拉普拉斯矩阵；e^m是一个n×n的对角矩阵，其定义为是一个相似性矩阵，它的定义如下所示：

进一步地，在m2tfs的基础上，构建一种基于多形态学特征的多任务特征选择(m3tfs)模型。在m3tfs模型中，不仅考虑每个任务特征与标签之间的关系，而且还从多个角度考虑任务与任务之间的潜在关系。添加frobenius范数正则化项，从权重矩阵中每个元素角度对模型进行约束，立足于保证元素的稀疏性，它可以使得w的每个元素都很小，使得模型相对简单，起防止过拟合及限制特征维度的作用；m3tfs模型的目标函数如下：

其中，第二项是l21正则化项，它从任务的角度出发，确保在不同任务中共同的选择少量的特征；第三项是laplacian正则化项，它从任务与任务之间的内在关联考虑，能够保留所有数据的原始信息。第四项是frobenius范数正则化项，权重矩阵w的frobenius范数是权重矩阵w每个元素的平方和然后再开平方，其中为w^m第k个维度的元素值，frobenius范数正则化项是从单个元素的稀疏性角度出发，它可以使得w的每个元素都很小，接近于零，也就是说，frobenius范数可以从空间限制的角度对模型进行约束，从而避免出现过拟合的问题，使得模型相对简单。在上述公式中，λ1，λ2，λ3表示正则化约束参数，是用来平衡每一项正则化在损失函数中的作用,它们的值是通过内部寻优进行选择的。

求解目标函数，得到w^m的最优解；基于w^m的最优解，对每个影像通过步骤1提取到其对应的大脑d个感兴趣区域的第m种形态学特征进行特征选择，得到每个影像的第m种形态学特征向量(特征选择方法可以是：若w^m中第d个维度的元素值为0，则将每个影像对应的大脑d个感兴趣区域的第m种形态学特征中，第d个感兴趣区域的第m种形态学特征删除，剩下的f个感兴趣区域的第m种形态学特征构成其第m种形态学特征向量)。

步骤3：构建基于图卷积神经网络的分类器，基于影像样本的m种形态学特征向量及其分类标签对分类器进行训练，得到训练好的分类器；

步骤3.1，利用步骤2特征选择出来的每种形态学特征向量(形态学特征最优子集)作为特征，并利用表型信息模拟数据间的相互作用，构建图网络结构，用于基于图卷积神经网络的分类器进行分类；具体地地，基于影像的每一种形态学特征向量，分别构建一个图，用于相应的基于gcn的基分类器的训练和分类(预测)；图中每个节点为一个影像；

利用表型信息与谱聚类相似性度量的思想，在基于影像的第m种形态学特征向量构建的图g中，通过以下公式计算第a个节点与第b个节点之间权重g(a,b)：

其中，sim(xa,xb)代表利用谱聚类相似性度量的思想，获得样本间的相似性，x(a)和x(b)分别代表第a个节点与第b个节点的第m种形态学特征向量；ρ表示求两个形态学特征向量的相关距离(即平方欧几里得距离)，σ为自由参数，是函数的宽度参数，控制了函数的径向作用范围，通常自己设定；谱聚类相似性度量的主要思想是把所有的数据看作空间中的点，这些点之间可以用边连接起来，距离较远的两个点之间的边权重值较低，而距离较近的两个点之间的边权重值较高；代表了节点间表型信息的相似性度量，t代表表型信息的种类；mt(a)和mt(b)分别表示第a个节点与第b个节点对应的个体第t种表型信息(量化值)，β表示求两个表型信息的相似性，是一种克罗内克函数；本实施例中只利用了两种表型信息，即性别和年龄，即t＝2；对于性别信息，若第a个节点与第b个节点(影像)来自于相同性别的个体，则β(m1(a),m1(b)＝1，否则β(m1(a),m1(b)＝0；对于年龄信息，若第a个节点与第b个节点(影像)来自于年龄差小于2的个体，则β(m2(a),m2(b)＝1，否则β(m2(a),m2(b)＝0；

若g(a,b)≠0，则在图g中，第a个节点与第b个节点之间有一条边相连。

步骤3.2，构建基于图卷积神经网络的分类器，所述基于图卷积神经网络的分类器包括m个基于gcn的基分类器，每个基于gcn的基分类器利用一种形态学特征向量进行训练和分类(预测)；

每个基于gcn的基分类器包括依次串联的l个图卷积层和一个softmax函数层，每个图卷积层的传播规则如下：

其中，是加了自环的邻接矩阵；是加了自环的度矩阵；h^(l)为第l个图卷积层的输出，l＝1,2,…,l-1；w^(l)是第l个图卷积层的参数矩阵，其行数等于h^(l)的列数，其列数k通过人为设定，其取值通过训练得到；第l+1个图卷积层的输出h^(l+1)为一个n′×k的特征矩阵，其为一个节点级别的输出，k即每一个节点的输出特征数，n′为每次输入的形态学特征向量个数(对应影像个数)；最后一个图卷积层的参数矩阵的列数设置为c，其输出一个n×c的特征矩阵，记为z，c为类别数(本实施例中c＝2)；σ()是非线性激活函数；

将z输入softmax函数层，得到每个影像属于各个类别的概率；

对于利用第m种形态学特征向量进行分类的基分类器，上述传播规则中的h⁽⁰⁾设置为由n′个影像的第m种形态学特征向量构成的n′×f的矩阵，其中f表示影像的第m种形态学特征向量的维度；a为图g中n′个影像对应的节点构成的子图g′的邻接矩阵，a为n′×n′的矩阵，其第p行第q列的元素为图g中相应的两个节点之间的权重；d为图g中n′个影像对应的节点的度矩阵，d为n′×n′的矩阵，其主对角线上各个元素值依次为图g中n′个影像对应的节点的度；diag(1,1,1…)表示主对角线元素全为1的对角矩阵，其大小为n′×n′。

将影像样本的m种形态学特征向量分别输入m个相应的基分类器，对其进行分类；然后根据分类结果和影像样本的真实分类标签，对m个基分类器进行训练，得到训练好的基分类器；

步骤4、基于训练好的分类器对未知分类标签的影像进行分类。

将未知分类标签的影像的m种形态学特征向量分别输入m个相应的训练好的基分类器，对其进行分类；然后对m个基分类器的分类结果，使用投票法，得到最终的分类结果。先采用投票法统计所有基分类器的分类结果，获得投票数最多的类别将作为最终的分类结果，如果有多个类别投票数最多，则继续针对这些类别，分别统计所有基分类器输出的该影像属于每个类别的概率之和，将概率之和最大的类别作为最终的分类结果。通过融合所有基分类器的结果，可以进一步提升整体的分类性能。

实施例2：

本实施例公开一种基于多任务学习和图卷积神经网络的影像分类装置，包括以下模块：

影像特征提取模块，用于执行步骤1：分别提取每个影像的特征，每个影像的特征包括其对应的大脑d个感兴趣区域的m种形态学特征；

影像特征选择模块，用于执行步骤2：将每种形态学特征作为一个任务，其维度为d；基于多任务学习方法进行特征选择，得到每个影像的m种形态学特征向量；

分类器构建及训练模块，用于执行步骤3：构建基于图卷积神经网络的分类器，基于影像样本的m种形态学特征向量及其分类标签对分类器进行训练，得到训练好的分类器；

分类模块，用于执行步骤4：基于训练好的分类器对未知分类标签的影像进行分类；

各个步骤的具体实现方法与实施例1中相同。

实施例3：

本实施例公开一种电子设备，包括存储器及处理器，所述存储器中存储有计算机程序，所述计算机程序被所述处理器执行时，使得所述处理器实现如实施例1所述的方法。

实施例4：

本实施例公开一种计算机可读存储介质，其上存储有计算机程序，所述计算机程序被处理器执行时实现如实施例1所述的方法。

上述实施例中，利用多任务特征选择方法，对九种形态学特征进行联合特征选择，能够同时对多个相互之间具有某种内在关联的任务同时进行学习，从而可以利用多个相关任务来学习它们之间的潜在相关信息；图卷积神经网络旨在捕获节点与邻居节点的相似关系，从而在节点分类中提取更多信息。基于以上两个优点提升了模型的学习性能，提高了影像分类准确性。