一种基于多模态数据可解释深度学习的分类系统

本发明属于深度学习，特别是涉及一种基于多模态数据可解释深度学习的分类系统。

背景技术：

1、目前的大脑图像正常与否的分类标准包括询问患者病史，客观的认知评估，如简易智力状况检查量表(mmse)或神经心理学测试，以及结构性mri或pet图像以排除某些图像异常的结果。

2、近年来，随着深度学习的发展，神经影像技术在大脑影像分类方面取得了惊人的成绩。目前的分类方法结合患者病史、神经心理学检测和mri或pet图像来对大脑图像进行分类，然而有效的做法仍然应用不一，缺乏敏感性和特异性。尽管深度学习模型对许多大脑图像进行分类时精度非常高，但它们既没有阐明底层的分类决策，也没有指出与输出的预测相关的输入特征。并且传统的深度神经网络，如具有完全连接层的cnn需要固定大小的输入，对不同尺寸的数据需要单独训练分类系统，应用起来具有局限性。

3、因此，目前亟需一种基于多模态数据可解释深度学习的分类系统解决上述问题。

技术实现思路

1、本发明的目的是提供一种基于多模态数据可解释深度学习的分类系统，将完全卷积网络(fcn)与传统的多层感知器(mlp)连接起来，解决了深度学习不可解释性，以及利用多模态数据进行分类，解决单一模态缺乏敏感性和特异性的问题，以解决上述现有技术存在的问题。

2、为实现上述目的，本发明提供了一种基于多模态数据可解释深度学习的分类系统，包括：

3、图像预处理模块，用于对mri图像和pet图像进行标准化处理、分割处理以及归一化处理；

4、模型构建模块，与所述图像预处理模块连接，用于构建完全卷积神经网络并进行训练，基于训练后的完全卷积神经网络对预处理后的mri图像和pet图像进行特征提取，获得对应的异常概率图；

5、多层感知模块，与所述模型构建模块连接，用于分别筛选所述异常概率图中的高危体素，并与非影像学特征结合后输入到多层感知机中进行处理，获得对应的两个标量值，并且两个标量值有排列顺序；

6、结果分类模块，与所述多层感知模块连接，用于找到两个标量值中最大的标量值，然后基于两个标量值的排列顺序，判断所述最大的标量值排在第一个还是第二个，如果是第一个则分类为正常，如果是第二个则分类为异常。

7、可选地，所述图像预处理模块包括：

8、标准化单元，用于对输入的mri图像和pet图像进行标准化处理，将所述mri图像和pet图像的个体空间转化为mni空间；

9、分割单元，用于对标准化后的mri图像和pet图像进行脑组织分割，去除非脑部组织器官；

10、归一化单元，用于基于z-score归一化方法对分割处理后的mri图像和pet图像的体素强度进行归一化处理。

11、可选地，所述模型构建模块包括：

12、模型构建单元，用于构建完全卷积神经网络，所述完全卷积神经网络包括输入层、卷积层、最大池化层、批归一化层、adam优化器、drop out层及leaky relu函数；

13、模型训练单元，用于将卷积层中的卷积层5和卷积层6替换为全连接层，获得训练后的完全卷积神经网络。

14、可选地，所述图像处理模块包括：

15、第一特征提取单元，用于将预处理后的脑部mri图像输入到所述训练后的完全卷积神经网络中进行特征提取，获得对应的异常概率图；

16、第二特征提取单元，用于将预处理后的脑部pet图像输入到所述训练后的完全卷积神经网络中进行特征提取，获得对应的异常概率图。

17、可选地，所述卷积层包括：

18、卷积层1：卷积核为4*4*4，步长为1，填充为0；

19、卷积层2：卷积核为4*4*4，步长为1，填充为0；

20、卷积层3：卷积核为3*3*3，步长为1，填充为0；

21、卷积层4：卷积核为3*3*3，步长为1，填充为0；

22、卷积层5：卷积核为6*6*6，步长为1，填充为0；

23、卷积层6：卷积核为1*1*1，步长为1，填充为0。

24、可选地，所述最大池化层包括：

25、最大池化层1：池化核为3*3*3，步长为1，填充为0；

26、最大池化层2：池化核为3*3*3，步长为2，填充为0；

27、最大池化层3：池化核为3*3*3，步长为2，填充为0；

28、最大池化层4：池化核为3*3*3，步长为1，填充为0。

29、可选地，所述多层感知模块包括：

30、感知构建单元，用于基于归一化层、drop out层和全连接层，构建多层感知机；

31、特征结合单元，用于分别筛选所述异常概率图中的高危体素，并与非影像学特征结合；

32、感知处理单元，用于基于所述多层感知机分别对结合后的特征进行处理，获得对应的标量值。

33、本发明的技术效果为：

34、1.本发明提出将完全卷积神经网络与多层感知机相结合的网络框架，将影像数据与临床数据进行组合，充分利用了多模态数据，相比较传统分类系统只关注影像数据提高了数据的多样性和特异性。

35、2.本发明利用块分析的理念进行设计研究，通过完全卷积神经网络的6组cnn卷积层直接得到异常概率图，然后通过多层感知机对异常概率图进行处理，获得对应的标量值，最后对所述对应的标量值进行排序，将最大的标量值输出为正常，反之输出为异常，实现对图像的分类，有助于增强神经网络的可解释性。

36、3.相较于传统深度学习网络的需要固定大小输入，本发明的完全卷积神经网络能够对任意大小的输入进行操作，因此可以处理不同大小的影像数据，而不需要为每种尺寸的影像数据单独训练分类系统，应用更加广泛。

技术特征：

1.一种基于多模态数据可解释深度学习的分类系统，其特征在于，包括：

2.根据权利要求1所述的基于多模态数据可解释深度学习的分类系统，其特征在于，

3.根据权利要求1所述的基于多模态数据可解释深度学习的分类系统，其特征在于，

4.根据权利要求1所述的基于多模态数据可解释深度学习的分类系统，其特征在于，

5.根据权利要求3所述的基于多模态数据可解释深度学习的分类系统，其特征在于，

6.根据权利要求3所述的基于多模态数据可解释深度学习的分类系统，其特征在于，

7.根据权利要求1所述的基于多模态数据可解释深度学习的分类系统，其特征在于，

技术总结
本发明公开了一种基于多模态数据可解释深度学习的分类系统，包括：图像预处理模块，用于对脑部的MRI图像和PET图像进行处理；模型构建模块，用于构建完全卷积神经网络并进行训练；图像处理模块，基于训练后的完全卷积神经网络对预处理后的MRI图像和PET图像进行特征提取，获得对应的异常概率图；多层感知模块，用于分别筛选异常概率图中的高危体素，并与非影像学特征结合后输入到多层感知机中进行处理，获得对应的两个标量值，并且两个标量值有排列顺序；结果分类模块，用于基于两个标量值进行分类。本发明提出将完全卷积神经网络与多层感知机相结合的网络框架，有助于增强神经网络的可解释性。

技术研发人员：陈志,张恒
受保护的技术使用者：中国科学技术大学
技术研发日：
技术公布日：2024/3/27