一种基于多模态影像数据的异动症预测方法、装置及设备与流程

本发明涉及数据处理，特别是一种基于多模态影像数据的异动症预测方法、装置及设备。

背景技术：

1、左旋多巴（levodopa）是治疗帕金森病（parkinson’s disease，pd）最有效的药物，但长期服用可导致约60%的pd患者在接受治疗5年后出现左旋多巴诱导的异动症（levodopa-induced dyskinesia，lid）。lid具有极强的致残性，严重影响患者的生活质量。而精准评估lid的发生风险，从而及时调整和优化pd患者的治疗方案，可显著延缓或减少lid的发生，进而有效提升pd患者的生活质量。

2、基于结构磁共振成像（magnetic resonance imaging，mri）、扩散张量成像（diffusion tensor imaging，dti）、定量磁敏感（quantitative susceptibilitymapping，qsm）、静息态功能磁共振（resting state functional mri，rs-fmri）和正电子发射断层扫描（positron emission tomography，pet）等单模态影像分析的研究发现lid的发生与人脑结构、铁沉积、功能和代谢密切相关。然而，lid的发病机制十分复杂，单一模态提供的信息具有局限性，难以准确有效评估lid的发生风险；

3、随着深度学习等信息技术的快速发展，基于深度学习的多模态影像分析已在pd诊断等方面取得显著进展，可将pd诊断的准确率提升至90%以上。然而目前基于多模态影像智能分析预测lid发生风险的研究尚处于起步阶段，面临一定挑战：

4、1）lid累及脑内精细亚区，难以精准识别；

5、2）多模态影像信息庞杂，难以提取有效特征；

6、3）多模态数据易存在高维特征空间不对齐和数据缺失等问题，难以有效融合。

技术实现思路

1、本发明要解决的技术问题是提供一种基于多模态影像数据的异动症预测方法、装置及设备，解决了难以有效评估大脑影像数据的问题。

2、为解决上述技术问题，本发明的技术方案如下：

3、一种基于多模态影像数据的异动症预测方法，包括：

4、获取待检测对象的至少一种大脑影像数据；所述大脑影像数据包括结构磁共振成像的影像数据、定量磁敏感的影像数据、正电子发射断层扫描的影像数据、扩散张量成像的影像数据、静息态功能磁共振的影像数据中的至少一种；

5、对所述大脑影像数据进行脑区分割处理，得到脑区分割结果；

6、根据所述脑区分割结果，对所述大脑影像数据进行特征提取处理，得到至少一种模态的特征图；

7、通过预设预测模型对所述至少一种模态的特征图进行预测处理，得到预测结果；所述预设预测模型用于对每种模态的特征图特征嵌入之后进行多模态融合预测。

8、可选的，当所述大脑影像数据为结构磁共振成像的影像数据、定量磁敏感的影像数据和/或正电子发射断层扫描的影像数据时，对所述大脑影像数据进行特征提取处理，得到至少一种模态的特征图，包括：

9、对所述大脑影像数据进行脑区分割处理，得到脑区分割结果；

10、通过第一特征提取模型对所述脑区分割结果进行第一特征提取处理，得到特征图；所述第一特征提取模型在密集连接卷积网络的各密集块之间设置有压缩和激励网络。

11、可选的，通过第一特征提取模型对所述脑区分割结果进行第一特征提取处理，得到特征图，包括：

12、依次通过三维卷积层和3×3×3平均池化层对所述脑区分割结果进行处理，得到第一处理结果；

13、将所述第一处理结果依次输入第一密集块进行处理，由所述第一密集块内的至少一个复合函数进行处理，得到第一特征图；

14、依次通过第一过渡层和第一压缩和激励网络层对所述第一特征图进行处理，得到第二处理结果；

15、将所述第二处理结果依次输入第二密集块进行处理，由所述第二密集块内的至少一个复合函数进行处理，得到第二特征图；

16、依次通过第二过渡层和第二压缩和激励网络层对所述第二特征图进行处理，得到第三处理结果；

17、将所述第三处理结果依次输入第三密集块进行处理，由所述第三密集块内的至少一个复合函数进行处理，得到目标特征图。

18、可选的，当所述大脑影像数据为扩散张量成像的影像数据和/或静息态功能磁共振的影像数据时，对所述大脑影像数据进行特征提取处理，得到至少一种模态的特征图，包括：

19、对所述大脑影像数据进行脑区分割处理，得到脑区分割结果；

20、通过第二特征提取模型对所述脑区分割结果进行第二特征提取处理，得到特征图；所述第二特征提取模型是基于三个图卷积隐藏层，并通过交叉熵损失函数量化损失，用预设优化器更新模型参数训练得到的。

21、可选的，通过第二特征提取模型对所述脑区分割结果进行第二特征提取处理，得到特征图，包括：

22、对所述脑区分割结果进行图节点提取，得到图特征；

23、将所述图特征输入预设图卷积网络进行图卷积处理，得到图卷积层特征图；所述预设图卷积网络包括图卷积层、修正线性单元以及退出层；

24、通过全局平均池化层对所述图卷积层特征图进行处理，得到特征图。

25、可选的，通过预设预测模型对所述至少一种模态的特征图进行预测处理，得到预测结果，包括：

26、对至少一种模态的所述特征图进行特征融合处理，得到模态数据；

27、将所述模态数据输入所述预设预测模型进行预测处理，得到第一预测结果；

28、根据所述第一预测结果进行特征重构，得到目标预测结果。

29、可选的，将所述模态数据输入所述预设预测模型进行预测处理，得到第一预测结果，包括：

30、将所述模态数据依次输入n层多路多模态变换块进行处理，得到第n层的输出结果；所述多路多模态变换块包括多路多模态交互模块和点成模块，用于计算得到以每个第二单模态特征为核心的多路多模态交互信息；

31、通过多层感知器对所述输出结果进行处理，得到第一预测结果。

32、本发明还提供一种基于多模态影像数据的异动症预测装置，包括：

33、获取模块，用于获取待检测对象的至少一种大脑影像数据；所述大脑影像数据包括结构磁共振成像的影像数据、定量磁敏感的影像数据、正电子发射断层扫描的影像数据、扩散张量成像的影像数据、静息态功能磁共振的影像数据中的至少一种；

34、处理模块，用于对所述大脑影像数据进行脑区分割处理，得到脑区分割结果；根据所述脑区分割结果，对所述大脑影像数据进行特征提取处理，得到至少一种模态的特征图；通过预设预测模型对所述至少一种模态的特征图进行预测处理，得到预测结果；所述预设预测模型用于对每种模态的特征图特征嵌入之后进行多模态融合预测。

35、本发明提供一种计算设备，包括：处理器、存储有计算机程序的存储器，所述计算机程序被处理器运行时，执行如上述的方法。

36、本发明还提供一种计算机可读存储介质，存储指令，当所述指令在计算机上运行时，使得计算机执行如上述的方法。

37、本发明的上述方案至少包括以下有益效果：

38、本发明的上述方案，通过获取待检测对象的至少一种大脑影像数据；大脑影像数据包括磁共振成像扫描的影像数据、定量磁化率成像的影像数据、正电子发射型计算机断层显像的影像数据、弥散张量成像的影像数据、静息状态功能磁共振成像的影像数据中的至少一种；对所述大脑影像数据进行脑区分割处理，得到脑区分割结果；根据所述脑区分割结果，对大脑影像数据进行特征提取处理，得到至少一种模态的特征图；通过预设预测模型对至少一种模态的特征图进行预测处理，得到预测结果；预设预测模型用于对每种模态的特征图特征嵌入之后进行多模态融合预测；解决了难以有效评估大脑影像数据的问题，实现了对大脑影像数据关于异动症的精准预测。