一种核磁共振成像数据的对抗适应图像检索方法及装置

本发明涉及图像检索，尤其涉及一种一种核磁共振成像数据的对抗适应图像检索方法及装置。

背景技术：

1、功能性核磁共振成像(functional magnetic resonance imaging，fmri)是一种非侵入性的脑成像技术，用于研究大脑活动。它结合了磁共振成像(mri)和神经科学的原理，通过测量脑血流变化来推断大脑的活动情况。fmri基于一种被称为血氧水平依赖性信号(blood oxygenation level-dependent，bold)的现象。当神经细胞活跃时，局部脑区的血液供应会增加，为供氧和代谢产物的交换提供更多的机会。这种活动引起的血液流动变化可以通过测量血氧水平的变化来检测。在fmri扫描中，被试者被置于磁共振成像仪中，仪器通过生成强磁场和无害的无线电波来获取大脑的图像。通过在时间上连续获取多个图像，可以观察到不同时间点上的血氧水平变化。通过分析这些数据，研究人员可以确定不同脑区在特定任务或刺激下的活动情况。fmri技术已经广泛应用于认知神经科学和临床研究领域。它可以帮助研究人员了解不同脑区在感知、注意、记忆、语言和运动等认知功能中的作用。同时，它也用于研究精神疾病、神经退行性疾病和脑损伤等疾病的神经机制，并在临床中用于诊断和治疗方面的研究。

2、现有技术中fmri图像检索系统只是简单地将fmri数据与真实图像联系起来，而忽视了个体差异导致的fmri数据差异问题，这会恶化在新被试者上的泛化效果。

技术实现思路

1、本发明提供了一种核磁共振成像数据的对抗适应图像检索方法及装置，用于解决现有的fmri图像检索忽视了个体差异导致的fmri数据差异，导致fmri图像检索的泛化效果较差的技术问题。

2、本发明提供了一种核磁共振成像数据的对抗适应图像检索方法，包括：

3、采集预设图像的被试fmri数据；

4、将若干待检索图像输入所述对抗适应图像检索模型中，输出特征数据；

5、采用所述特征数据计算各所述待检索图像与所述被试fmri数据之间的相似性分数；

6、根据所述相似性分数计算确定所述被试fmri数据对应的目标图像。

7、可选地，所述采集预设图像的被试fmri数据的步骤之前，还包括：

8、获取真实图像数据、所述真实图像的fmri数据及分类标签；

9、将所述fmri数据划分为源域样本和目标域样本；

10、采用所述真实图像数据、所述源域样本、所述目标域样本及所述分类标签训练对抗适应图像检索模型。

11、可选地，所述采用所述真实图像数据、所述源域样本、所述目标域样本及所述分类标签训练对抗适应图像检索模型的步骤，包括：

12、生成初始对抗适应图像检索模型；所述初始对抗适应图像检索模型包括对抗适应网络和语义对抗网络；

13、将所述源域样本、所述目标域样本和所述分类标签输入所述对抗适应网络，得到fmri判别结果和分类判别结果；

14、将所述真实图像和所述分类标签输入所述语义对抗网络，生成语义信息判别结果；

15、根据预设损失函数、所述语义信息判别结果、所述fmri判别结果、所述分类判别结果判断所述对抗适应图像检索模型是否收敛；

16、若否，对所述初始对抗适应图像检索模型进行参数优化，并返回将所述源域样本、所述目标域样本和所述分类标签输入所述对抗适应网络，得到fmri判别结果和分类判别结果的步骤；

17、若是，结束训练，将所述初始对抗适应图像检索模型作为对抗适应图像检索模型。

18、可选地，所述对抗适应网络包括第一卷积神经网络、第二卷积神经网络、fmri生成器、fmri判别器和分类器；所述将所述源域样本、所述目标域样本和所述分类标签输入所述对抗适应网络，得到fmri判别结果和分类判别结果的步骤，包括：

19、将所述源域样本输入所述第一卷积神经网络，得到第一原始特征；

20、将所述目标域样本输入所述第二卷积神经网络，得到第二原始特征；

21、将所述第一原始特征输入所述fmri生成器，生成第一潜在特征；

22、将所述第二原始特征输入所述fmri生成器，生成第二潜在特征；

23、将所述第一潜在特征和所述第二潜在特征输入所述fmri判别器，得到fmri判别结果；

24、将所述分类标签和所述第一潜在特征输入所述分类器，得到分类判别结果。

25、可选地，所述语义对抗网络包括第三卷积神经网络、自编码器、图像生成器和语义信息判别器；所述将所述真实图像和所述分类标签输入所述语义对抗网络，生成语义信息判别结果的步骤，包括：

26、将所述真实图像数据输入所述第三卷积神经网络，得到第三原始特征；

27、将所述分类标签输入所述自编码器中，生成原始语义信息；

28、将所述第三原始特征输入所述图像生成器，生成第三潜在特征；

29、将所述第一潜在特征、所述第三潜在特征和所述语义信息输入所述语义信息判别器，得到原始语义与生成语义信息判别结果。

30、本发明还提供了一种核磁共振成像数据的对抗适应图像检索装置，包括：

31、被试fmri数据采集模块，用于采集预设图像的被试fmri数据；

32、特征数据输出模块，用于将若干待检索图像输入所述对抗适应图像检索模型中，输出特征数据；

33、相似性分数计算模块，用于采用所述特征数据计算各所述待检索图像与所述被试fmri数据之间的相似性分数；

34、目标图像确定模块，用于根据所述相似性分数计算确定所述被试fmri数据对应的目标图像。

35、可选地，还包括：

36、获取模块，用于获取真实图像数据、所述真实图像的fmri数据及分类标签；

37、划分模块，用于将所述fmri数据划分为源域样本和目标域样本；

38、模型训练模块，用于采用所述真实图像数据、所述源域样本、所述目标域样本及所述分类标签训练对抗适应图像检索模型。

39、可选地，所述模型训练模块，包括：

40、初始对抗适应图像检索模型生成子模块，用于生成初始对抗适应图像检索模型；所述初始对抗适应图像检索模型包括对抗适应网络和语义对抗网络；

41、fmri判别结果和分类判别结果生成子模块，用于将所述源域样本、所述目标域样本和所述分类标签输入所述对抗适应网络，得到fmri判别结果和分类判别结果；

42、语义信息判别结果生成子模块，用于将所述真实图像和所述分类标签输入所述语义对抗网络，生成语义信息判别结果；

43、收敛判断子模块，用于根据预设损失函数、所述语义信息判别结果、所述fmri判别结果、所述分类判别结果判断所述对抗适应图像检索模型是否收敛；

44、返回子模块，用于若否，对所述初始对抗适应图像检索模型进行参数优化，并返回将所述源域样本、所述目标域样本和所述分类标签输入所述对抗适应网络，得到fmri判别结果和分类判别结果的步骤；

45、对抗适应图像检索模型生成子模块，用于若是，结束训练，将所述初始对抗适应图像检索模型作为对抗适应图像检索模型。

46、本发明还提供了一种电子设备，所述设备包括处理器以及存储器：

47、所述存储器用于存储程序代码，并将所述程序代码传输给所述处理器；

48、所述处理器用于根据所述程序代码中的指令执行如上任一项所述的核磁共振成像数据的对抗适应图像检索方法。

49、本发明还提供了一种计算机可读存储介质，所述计算机可读存储介质用于存储程序代码，所述程序代码用于执行如上任一项所述的核磁共振成像数据的对抗适应图像检索方法。

50、从以上技术方案可以看出，本发明具有以下优点：本发明通过采集预设图像的被试fmri数据；将若干待检索图像输入所述对抗适应图像检索模型中，输出特征数据；采用所述特征数据计算各所述待检索图像与所述fmri数据之间的相似性分数；根据所述相似性分数计算确定所述被试fmri数据对应的目标图像。从而提高了fmri图像检索的泛化效果。