基于深度学习提取特征和多重降维算法的脑认知测量方法与流程

本发明属于脑认知能力测量领域，具体涉及一种于深度学习提取特征和多重降维算法的脑认知测量方法。

背景技术：

目前测量人脑认知能力的方式，主要是问卷测量的方式，比如考试测验、问卷调查等方式。这种方式通常会受到主管因素的干扰，包括主试或被试的情绪或精神状态的影响，因此通常很难得到稳定客观的评测结果。随着脑神经影像技术的进步，已经能够以高时空分辨率的形式测量得到脑的结构和功能活动信息。但是，这种三维的脑影像数据包含了大量的脑结构和功能的特征，如何利用这些特征来测量人脑的认知能力，这对常规的基于特征的机器学习方法提出了巨大的挑战：首先，不同于常规计算机视觉中的物体识别(如识别物体形状类别等)，脑影像上人工无法明确定义哪些特征为有效特征，尤其是针对功能神经影像，人工(包括医生)无法判断特征的价值；其次，由于三维的脑影像包含了大量的针对个体的数据，因此特征的筛选就变得尤为关键。本发明就是针对这两个技术层次提出的，拟解决针对高维度的脑影像的特征自动生成和筛选的人脑认知能力预测。

技术实现要素：

为了解决现有技术中的上述问题，即为了解决高维度的脑影像特征提取和认知能力测量的智能化与便捷化问题，本发明的一方面，提出了一种基于深度学习提取特征和多重降维算法的脑认知测量方法，包括：

步骤s10，对输入的脑影像数据，采用特征提取网络进行多通道的特征提取，并通过拉直拼接操作获取一个局部特征向量；所述特征提取网络基于卷积神经网络构建；

步骤s20，对步骤s10中获得的局部特征向量进行正交投影降维；

步骤s30，基于预先构建的认知能力-局部特征对应关系，对降维后的局部特征进行认知能力的测量，并输出测量结果；

其中，所述的认知能力-局部特征对应关系为：基于局部特征向量样本及对应的认知能力标签，通过线性或者非线性回归的方法获取的认知能力和局部特征的对应关系表示。

在一些优选实施例中，所述的局部特征样本，其获取方法为：

将脑影像数据样本，通过步骤s10的方法获取局部特征向量，并通过s20的方法进行降维获取。

在一些优选实施例中，所述脑影像数据为三维脑图像。

在一些优选实施例中，所述特征提取网络为包含两个或两个以上卷积层的卷积神经网络。

在一些优选实施例中，所述特征提取网络的卷积层为三个。

在一些优选实施例中，所述的认知能力-局部特征对应关系的获取过程中，所采用的线性或者非线性回归的方法为支持向量机的线性或者非线性回归的方法。

在一些优选实施例中，所述认知能力-局部特征对应关系还包括预设的置信区间。

在一些优选实施例中，所述特征提取网络，其训练样本包括脑影像数据样本、局部特征向量样本。

本发明的第二方面，提出了一种存储装置，其中存储有多条程序，所述程序适于由处理器加载并执行以实现上述的基于深度学习提取特征和多重降维算法的脑认知测量方法。

本发明的第三方面，提出了一种处理装置，包括处理器、存储装置；处理器，适于执行各条程序；存储装置，适于存储多条程序；所述程序适于由处理器加载并执行以实现上述的基于深度学习提取特征和多重降维算法的脑认知测量方法。

本发明的有益效果：

通过本发明通过特征提取网络进行特征提取，避免了人工对脑图像进行特征提取干预，并结合基于大量数据样本构建的认知能力-局部特征对应关系，实现了脑认知能力测量的自动化、智能化与便捷化；同时具有较高的识别准确度。并经过多重正交投影算法后对海量特征进行降维，使得在简化特征的同时也能维持后续预测的有效性，提高了稳定性和泛化性能。

附图说明

通过阅读参照以下附图所作的对非限制性实施例所作的详细描述，本申请的其它特征、目的和优点将会变得更明显：

图1是本发明一种实施例的基于深度学习提取特征和多重降维算法的脑认知测量方法流程示意图。

具体实施方式

为使本发明的目的、技术方案和优点更加清楚，下面将结合附图对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。

下面结合附图和实施例对本申请作进一步的详细说明。可以理解的是，此处所描述的具体实施例仅仅用于解释相关发明，而非对该发明的限定。另外还需要说明的是，为了便于描述，附图中仅示出了与有关发明相关的部分。

需要说明的是，在不冲突的情况下，本申请中的实施例及实施例中的特征可以相互组合。

本发明的一种基于深度学习提取特征和多重降维算法的脑认知测量方法，如图1所示，包括：

步骤s10，对输入的脑影像数据，采用特征提取网络进行多通道的特征提取，并通过拉直拼接操作获取一个局部特征向量；所述特征提取网络基于卷积神经网络构建；

步骤s20，对步骤s10中获得的局部特征向量进行正交投影降维；

步骤s30，基于预先构建的认知能力-局部特征对应关系，对降维后的局部特征进行认知能力的测量，并输出测量结果；

其中，所述的认知能力-局部特征对应关系为：基于局部特征向量样本及对应的认知能力标签，通过线性或者非线性回归的方法获取的认知能力和局部特征的对应关系表示。

为了更清晰地对本发明基于深度学习提取特征和多重降维算法的脑认知测量方法进行说明，下面结合附图对本方发明方法一种实施例中各步骤进行展开详述。

步骤s10，对输入的脑影像数据，采用特征提取网络进行多通道的特征提取，并通过拉直拼接操作获取一个局部特征向量；特征提取网络基于卷积神经网络构建。

该实施例中用户输入的脑影像数据通常为三维的脑图像，比如磁共振t1、t2图像等；对于脑功能图像或者扩散磁共振图像，还可能包括时间维度或者是扩散梯度方向的维度；对于上述超过3维的脑影像，在脑神经影像领域，通常会计算出一个针对每个体素的标量表示，比如体素水平的脑功能连接效率、白质纤维结构髓鞘化程度系数等。因此，尽管在理论上，本发明的方法可以支持超过三维的图像输入，但在实际计算中考虑到计算机硬件计算能力的限制，比如gpu显存的限制等，通常会直接转换为更能直接表征大脑结构和功能活动能力的三维脑图像。

所采用的卷积神经网络(convolutionalneuralnetwork,cnn)的基本思路是同时通过多种卷积核对图像进行卷积，随后在每个卷积区域内选取最有代表性的体素(也即是池化操作，pooling)，在每个通道采用多层神经网络重复此过程(根据用户计算机硬件的性能，卷积层数可以选择两层或者更多层数；通过测试发现，采用3层网络可以在计算复杂度和精度之间达到较好的平衡)。对于每一个滤波图像通道，本发明初步设计了基于三维图像的多层卷积神经网络，分别包含了针对脑图像的卷积(convolution)和池化(pooling)操作，而且经过比较，池化操作选择最大池化(maxpooling)比其它均值池化等更有效。整个系统输入为原始的三维脑图像(结构图像或功能图像)，最终的网络输出为多个通道的尺寸较小的三维图像，每个图像代表该通道的滤波器产生的对预测变量最相关的特征，该系列三维图像可以直接通过拉直拼接操作(flattern)拼接为一个列向量，并以该列向量作为局部特征向量。局部特征向量为多层卷积和池化操作之后与预测变量相关度最高的特征构成的向量，如pearson相关系数，该特征为诸多相邻体素的综合贡献，通常没有固定的解剖学意义。

步骤s20，对步骤s10中获得的局部特征向量进行正交投影降维。

基于样本数据库获取投影矩阵u和v：假设样本数据库中的脑影像数据样本经步骤s10提取后的特征的集合为xm×n，(m为样本个数，n为特征的个数)，样本数据库中认知能力标签为ym×k，k≤n，对xm×n、ym×k采用偏相关最小二乘的方法进行综合正交投影分解，如公式(1)所示：

r＝y^tx＝uδv^t(1)

其中，r表示y和x的协方差矩阵，uδv^t通过对y^tx进行奇异值分解后得到，进而得到两个正交矩阵u和v。

因此，在正交变换后的空间可以得到x和y的投影lx和ly，分别如式(2)、(3)所示，

lx＝xv(2)

ly＝yu(3)

因为正交投影涉及多个脑区，所以最后选出的特征可能是某单一脑区的特征，也有可能是多个脑区的特征的组合。因此，对灰质、白质的局部特征降维后得到的局部特征为某些脑区的灰质/白质特征，或者是多个脑区的特征的组合。

在实际计算过程中，降维的方式可以通过选取主要成分来实现。利用通过样本数据库获取的投影矩阵u和v，对新来的被试样本，在按照上述方式提取了局部特征以后，根据投影矩阵u和v对被测对象的局部特征采用公式(2)、(3)的方法进行投影分解降维。该方法不但通过正交投影减少了变量的冗余信息，并且在正交分解的同时考虑了自变量和因变量的共同的空间信息，使得更能有效去除后续回归信息的冗余。这是与传统的降维方式，比如主成分分析(pca)等方法相比最大的优势。

步骤s30，基于预先构建的认知能力-局部特征对应关系，对降维后的局部特征进行认知能力的测量，并输出测量结果。

基于预先构建的认知能力-局部特征对应关系，可以对输入脑影像数据提取的局部特征向量进行认知能力获取，在一些实施例中，在认知能力-局部特征对应关系中增加样本数据实际年龄的因素，可以对输入脑影像数据对应被测主体进行同龄认知能力对比，通过增加置信区间，来判断认知能力正常或异常，例如，落入致信区间中则表示认知能力属于常规水平，在置信区间的上方则表示明显高于平均水平，在置信区间的下方则表示明显低于平均水平。从而可以用于发育或老化水平研究，以判断在脑区局部水平以及全脑水平是发育迟缓或老化过快。

本实施例中认知能力-局部特征对应关系为预先构建，基于大量样本数据的原始样本数据集，通过步骤s10的方法获取局部特征向量，并通过s20的方法进行降维获取局部特征向量样本，构建第二样本数据集。原始样本包括脑影像数据样本、认知能力标签，还可包括年龄标签；对应的第二样本数据包括局部特征向量样本、认知能力标签，对应的还可以包括年龄标签。基于第二样本数据集，通过线性或者非线性回归的方法获取的认知能力和局部特征的对应关系表示。优选采用支持向量机(svm)的线性或者非线性回归的方法进行认知能力和局部特征的对应关系的构建，该方法在系统中的最大优点是把降维后的向量再次透射到高维空间以增强分类距离。

本实施例中特征提取网络的训练所用训练样本由脑影像数据样本、局部特征向量样本构成，通过包括大量训练样本的训练样本集对特征提取网络进行训练和优化，在使用过程中，采用训练好的特征提取网络对输入的被测对象的脑影像数据进行局部特征向量的提取。

本发明第二实施例的一种存储装置，其中存储有多条程序，所述程序适于由处理器加载并执行以实现上述的基于深度学习提取特征和多重降维算法的脑认知测量方法。

本发明第三实施例的一种处理装置，包括处理器、存储装置；处理器，适于执行各条程序；存储装置，适于存储多条程序；所述程序适于由处理器加载并执行以实现上述的基于深度学习提取特征和多重降维算法的脑认知测量方法。

所属技术领域的技术人员可以清楚地了解到，为描述的方便和简洁，上述描述的存储装置、处理装置的具体工作过程及有关说明，可以参考前述方法实施例中的对应过程，在此不再赘述。

本领域技术人员应该能够意识到，结合本文中所公开的实施例描述的各示例的方法步骤，能够以电子硬件、计算机软件或者二者的结合来实现，软件模块、方法步骤对应的程序可以置于随机存储器(ram)、内存、只读存储器(rom)、电可编程rom、电可擦除可编程rom、寄存器、硬盘、可移动磁盘、cd-rom、或技术领域内所公知的任意其它形式的存储介质中。为了清楚地说明电子硬件和软件的可互换性，在上述说明中已经按照功能一般性地描述了各示例的组成及步骤。这些功能究竟以电子硬件还是软件方式来执行，取决于技术方案的特定应用和设计约束条件。本领域技术人员可以对每个特定的应用来使用不同方法来实现所描述的功能，但是这种实现不应认为超出本发明的范围。

术语“第一”、“第二”等是用于区别类似的对象，而不是用于描述或表示特定的顺序或先后次序。

术语“包括”或者任何其它类似用语旨在涵盖非排他性的包含，从而使得包括一系列要素的过程、方法、物品或者设备/装置不仅包括那些要素，而且还包括没有明确列出的其它要素，或者还包括这些过程、方法、物品或者设备/装置所固有的要素。

至此，已经结合附图所示的优选实施方式描述了本发明的技术方案，但是，本领域技术人员容易理解的是，本发明的保护范围显然不局限于这些具体实施方式。在不偏离本发明的原理的前提下，本领域技术人员可以对相关技术特征作出等同的更改或替换，这些更改或替换之后的技术方案都将落入本发明的保护范围之内。