基于图神经网络的多模态脑影像数据融合解码方法和装置与流程

本技术涉及神经影像数据分析和深度学习，特别是涉及一种基于图神经网络的多模态脑影像数据融合解码方法和装置。

背景技术：

1、脑磁图（magnetoencephalography，meg）是一种非侵入性的神经影像学技术，通过监测大脑神经元的磁场来检测和研究大脑活动。meg技术因其出色的时间分辨率（毫秒级别）已经成为研究大脑功能的有力工具。近年来，meg技术已经被广泛应用于神经科学和认知科学等领域的研究中。例如，meg技术已经被用于研究大脑的注意力、语言、视觉和运动功能等。此外，meg还被用于研究神经疾病，如癫痫、帕金森病和阿尔茨海默病等或者被用于研究认知过程，如学习、记忆和决策等。随着meg采集设备和技术的普及，meg在未来的应用越来越普遍。

2、功能性磁共振成像（functional magnetic resonance imaging，fmri）是一种通过测量血液氧合水平来检测大脑活动的非侵入式神经影像学技术。它可以提供高空间分辨率和相对较高的时间分辨率，使得我们能够了解不同区域在特定任务或刺激下的响应模式。

3、两种模态的影像数据相对比，fmri更适用于针对大脑区域或网络的空间特征的研究，而meg的时间分辨率更佳。并且，meg和fmri信号本质上是不同的，分别反映了电生理学和血流动力学，从不同角度反映了大脑的活动变化。

4、随着功能性磁共振成像、脑电图和脑磁图等现代神经影像技术的发展，为研究人员提供了非侵入性解码大脑认知过程的机会。自研究者首次提出使用基于fmri的大脑反应来预测呈现给受试者的视觉刺激类别的想法以来，大脑解码的研究在认知神经科学中一直是一个热门话题。在对这一领域的研究过程中，研究者们提出过各种计算模型，包括多体素模式识别、线性回归模型和机器学习模型等，这些解码研究主要集中在区分由一些实验任务调节的感兴趣区域内大脑激活的空间模式。近年来，随着深度学习技术的发展，相关神经网络的模型越来越多的应用于神经科学领域的研究当中。图神经网络（graph neuralnetworks，gnn）是一种用于处理图数据的深度学习模型。与传统的深度学习模型不同，gnn可以捕获节点之间的关系和图拓扑结构，并将这些信息作为输入来进行训练和预测。根据采用的技术不同和分类方法的不同，gnn又可以分为不同种类，例如从传播的方式来分，图神经网络可以分为图卷积神经网络（graphconvolutional networks，gcn），图注意力网络（graph attention networks，gat），图长短期记忆网络(graph long short-term memory，graph lstm)等。目前关于大脑的研究中，通常把脑影像数据处理成图结构数据来研究分析，比如基于脑图谱工具，构建基于脑区的解剖或功能连接网络，在健康和患病人群中捕捉大脑结构和功能的网络差异。然而结合meg和fmri联合分析的研究较少，没有充分结合多种模态脑影像数据的优势，因此基于计算模型对人脑视觉神经信息进行解码存在精度不高的问题。

技术实现思路

1、基于此，有必要针对上述技术问题，提供一种基于图神经网络的多模态脑影像数据融合解码方法和装置。

2、第一方面，本技术实施例提供了一种基于图神经网络的多模态脑影像数据融合解码方法，所述方法包括：

3、基于被试者在多种任务态下采集的脑磁图，获得所述被试者的脑磁图功率时间序列；以及基于被试者在静息态下采集的脑部功能磁共振成像，获得所述被试者的静息态功能连接；

4、基于选定的脑图谱，构建脑图；

5、使用所述被试者的所述脑磁图功率时间序列以及所述静息态功能连接对所述脑图进行图嵌入，得到嵌入后的脑图；

6、基于所述嵌入后的脑图对图神经网络模型进行训练，获得图神经网络解码模型；

7、使用所述图神经网络解码模型预测目标人员大脑的任务态类别，获得预测结果。

8、在其中一个实施例中，所述基于被试者在任务态下采集的脑磁图，获得所述被试者的脑磁图功率时间序列；以及基于被试者在静息态下采集的脑部功能磁共振成像，获得所述被试者的静息态功能连接包括：

9、对所述被试者在任务态下采集的脑磁图进行预处理，对预处理后的所述脑磁图进行传感器信号分析和溯源重建分析，得到功率时间序列；

10、将所述功率时间序列映射到所述选定的脑图谱上，得到脑磁图功率时间序列；

11、对所述被试者在静息态下采集的脑部功能磁共振成像进行预处理，基于所述选定的脑图谱，计算得到静息态功能连接。

12、在其中一个实施例中，所述基于选定的脑图谱，构建脑图包括：

13、选定脑图谱；其中，所述脑图谱具有n个脑区；

14、构建具有n个脑区的脑图g，所述脑图g为：

15、；

16、其中， v表示大脑皮层划分出的n个脑区，表示各脑区之间的连接， w表示各脑区之间的权重。

17、在其中一个实施例中，所述使用所述被试者的所述脑磁图功率时间序列以及所述静息态功能连接对所述脑图进行图嵌入包括：

18、将所述被试者的所述脑磁图功率时间序列作为所述脑图的节点进行图嵌入；

19、将所述被试者的所述静息态功能连接作为所述脑图的连接进行图嵌入；

20、将所述被试者的所述静息态功能连接的数值作为所述脑图的权重进行图嵌入。

21、在其中一个实施例中，所述将所述被试者的所述静息态功能连接作为所述脑图的连接进行图嵌入包括：

22、基于所述被试者的所述静息态功能连接，获得组平均静息态功能连接；

23、使用最近邻算法对所述组平均静息态功能连接进行稀疏化处理，以使每个脑区与其具有最高连通性的k个邻接脑区连接，得到处理后的组平均静息态功能连接；

24、将所述处理后的组平均静息态功能连接作为所述脑图的连接进行图嵌入。

25、在其中一个实施例中，所述图神经网络解码模型包括图卷积层和全连接层；所述使用所述图神经网络解码模型预测目标人员大脑的任务态类别，获得预测结果包括：

26、基于目标人员在任务态下采集的脑磁图，获得所述目标人员的脑磁图功率时间序列；以及基于目标人员在静息态下采集的脑部功能磁共振成像，获得所述目标人员的静息态功能连接；

27、将所述目标人员的所述脑磁图功率时间序列以及所述静息态功能连接进行图嵌入，输入至所述图卷积层，获得图表征结果；

28、将所述图表征结果进行展平操作后接入所述全连接层，经由交叉熵损失定义的损失函数后输出预测结果。

29、在其中一个实施例中，所述基于所述嵌入后的脑图对图神经网络模型进行训练，获得图神经网络解码模型包括：

30、将所述嵌入后的脑图按照所述被试者划分为训练集、验证集和测试集；

31、基于不同的模型超参数，使用所述训练集对所述图神经网络模型进行多次训练，直至达到预设迭代次数，得到训练完成的图神经网络模型；

32、将所述验证集输入至所述训练完成的图神经网络模型，保存在所述验证集上预测得分最高的图神经网络模型；

33、将所述预测得分最高的图神经网络模型作为图神经网络解码模型，并在所述测试集上进行模型评估。

34、第二方面，本技术实施例还提供了一种基于图神经网络的多模态脑影像数据融合解码装置，所述装置包括：

35、获得模块，用于基于被试者在多种任务态下采集的脑磁图，获得所述被试者的脑磁图功率时间序列；以及基于被试者在静息态下采集的脑部功能磁共振成像，获得所述被试者的静息态功能连接；

36、构建模块，用于基于选定的脑图谱，构建脑图；

37、嵌入模块，用于使用所述被试者的所述脑磁图功率时间序列以及所述静息态功能连接对所述脑图进行图嵌入，得到嵌入后的脑图；

38、训练模块，用于基于所述嵌入后的脑图对图神经网络模型进行训练，获得图神经网络解码模型；

39、预测模块，用于使用所述图神经网络解码模型预测目标人员大脑的任务态类别，获得预测结果。

40、第三方面，本技术实施例还提供了一种计算机设备，包括存储器和处理器，所述存储器中存储有计算机程序，所述处理器被设置为运行所述计算机程序以执行如上述第一方面所述的方法。

41、第四方面，本技术实施例还提供了一种计算机可读存储介质，所述存储介质中存储有计算机程序，其中，所述计算机程序被处理器执行时实现如上述第一方面所述的方法。

42、上述基于图神经网络的多模态脑影像数据融合解码方法和装置，通过基于被试者在多种任务态下采集的脑磁图，获得所述被试者的脑磁图功率时间序列；以及基于被试者在静息态下采集的脑部功能磁共振成像，获得所述被试者的静息态功能连接；基于选定的脑图谱，构建脑图；使用所述被试者的所述脑磁图功率时间序列以及所述静息态功能连接对所述脑图进行图嵌入，得到嵌入后的脑图；基于所述嵌入后的脑图对图神经网络模型进行训练，获得图神经网络解码模型；使用所述图神经网络解码模型预测目标人员大脑的任务态类别，获得预测结果。本技术通过对多模态脑影像数据进行融合，使用图神经网络构建图神经网络解码模型实现对人脑视觉神经信息进行解码，提高了解码的精度。

43、本技术的一个或多个实施例的细节在以下附图和描述中提出，以使本技术的其他特征、目的和优点更加简明易懂。