一种基于多模态的儿童脑炎分类系统

本发明属于医学人工智能领域，尤其是涉及一种基于多模态的儿童脑炎分类系统。

背景技术：

1、儿童脑炎是儿科一种较为常见但后果严重的疾病，重症脑炎常常导致患儿遗留如脑积水、癫痫、智力低下、肢体臃肿等不可逆的神经系统后遗症，严重情况会导致儿童死亡。

2、现阶段脑炎诊断的决定指定是脑脊液检测，但其依赖腰椎穿刺技术且耗时较长，且其作为一种侵入性检查，会给患儿带来极大痛苦和创伤。除此之外，医生也会通过临床症状、影像学和脑电图检测等方法进行检查，但前者不太准确，后者只能观察到重症。且病毒性脑炎与化脓性脑炎在某些方面表现不是特别明显，容易造成诊断错误，继而采用错误的诊疗方案，延误患儿的精准诊治，甚至造成严重后果。因此，运用新的方法和无创技术实现儿童多类脑炎早期精准诊断和治疗并改善患儿预后，具有重要的临床价值。

3、人工智能和深度学习技术在医学很多方向都实现了良好应用，比如基于医学影像的病灶分割、疾病分类、疾病检测等。如公开号为cn112132808a的中国专利文献公开了一种基于常态模型学习的乳腺x线图像病变检测方法和装置；公开号为cn109165667a的中国专利文献公开了一种基于自注意力机制的脑疾病分类系统。

4、因此，可应用深度学习技术实现儿童多类脑炎的精准诊断具有较高可行性。然而，对于部分案例而言，病毒性脑炎与化脓性脑炎在影像上表现差异较小，常规的深度学习方法很难识别出两者的差异，实现脑炎之间、脑炎与非脑炎之间的准确诊断。

技术实现思路

1、本发明提供了一种基于多模态的儿童脑炎分类系统，基于mr图像和临床信息进行病毒性脑炎、化脓性脑炎、非脑炎的三分类诊断，具有较高的准确率。

2、一种基于多模态的儿童脑炎分类系统，包括计算机存储器、计算机处理器以及存储在计算机存储器中并可在计算机处理器上执行的计算机程序，所述的计算机存储器中存储有训练好的分类模型；所述计算机处理器执行所述计算机程序时实现以下步骤：

3、将待分类的儿童脑部临床信息与mr影像数据输入训练好的分类模型中，预测得到病毒性脑炎、化脓性脑炎、非脑炎的三分类结果；

4、具体的，所述的分类模型采用多模态数据作为输入，包含临床信息处理模块、mr影像处理模块、预测模块；

5、临床信息处理模块中，对预处理的临床信息进行单因素分析，提取与分类强相关的因素，组成一维特征矩阵xclic；

6、mr影像处理模块中，通过mm-senet(multi-dimension and multi-plane squeezeand excitation net))网络模型对mr影像进行特征提取，具体为：先通过3d网络提取影像的三维特征矩阵；接着对mr影像分别按横状位、矢状位、冠状位进行切片，采用2d网络提取二维特征矩阵；然后将三维特征矩阵和二维特征矩阵进行拼接；拼接后的特征经过se模块，通过压缩-扩张通道数来筛选出有效特征；经过se部分后的筛选出的有效特征输入到全连接层，得到来自于mr影像的一维特征矩阵xmr；

7、预测模块中，将筛选的临床信息的一维特征矩阵xclic与mr影像的一维特征矩阵xmr进行拼接，然后输入到softmax层，得到属于病毒性脑炎、化脓性脑炎、非脑炎的概率，以最大概率值的类别作为预测类别。

8、进一步地，所述分类模型的训练过程如下：

9、(1)收集患有病毒性脑炎、化脓性脑炎和正常儿童患者的临床信息数据与t2w序列mr影像数据，对mr影像数据和临床信息数据分别进行预处理；

10、(2)将所有案例随机划分为训练集、验证集和测试集；

11、(3)将训练集送入到构建的分类模型中进行训练，利用验证集对分类模型的性能进行评估，根据评估的效果对模型的超参数进行调整，通过反复训练、验证，最终得到性能达标的分类模型，并在测试集上进行验证。

12、对mr影像数据进行预处理的具体过程如下：

13、对所有图像采用脑部分割算法提取脑部区域；然后对分割后的脑部区域进行校正，减少图像采集过程对图像的噪声影响；最后通过3d连通域对脑部图像进行裁剪，减少无关区域，使模型集中于关键区域，然后缩放到统一的尺寸64*64*64。

14、对临床信息数据进行预处理的具体过程如下：将文本数据转变为数字序列或者数字类别，然后进行归一化。

15、临床信息处理模块中，采用student t检验对所有预处理的临床信息进行单因素分析，过滤出p值小于0.05的因素进入下一轮分析；这些因素特征组成一维特征矩阵xclic。

16、通过3d网络提取影像的三维特征矩阵具体包括：

17、提取过程为五次相同操作，每次操作包括大小为5*5*5的3d卷积核的卷积层、批正则化层和relu的非线性激活层，最终获取三维特征矩阵x3d。

18、采用2d网络提取二维特征矩阵具体包括：

19、将原始图像分别按照横状位、矢状位、冠状位进行切片；每个状位中，均将图像分为64张大小为64*64的切片，然后通过resnet-18网络进行特征提取，最终将每一切片的特征矩阵进行拼接，分别获得大小一致的三个状位面的特征矩阵xc，xs，xa。

20、se模块的具体结构如下：

21、输入表示为x(c*w*h)，其中c,w,h分别代表特征矩阵的通道数、宽、高；首先用大小为1*1的核进行全局池化，获得大小相同的特征矩阵f1＝gobelpool(x)，然后进行全连接卷积，输出通道数为1/16*c，获得大小为c/16*w*h的特征矩阵f2＝fc(f1)，然后用c通道数的卷积层进行卷积，获得大小为c*1*1的特征向量f3＝fc(f2)，然后用sigmoid激活函数将权重归一化到0-1之间，获得大小为c*1*1的权重向量f4＝sigmoid(f3)，最后对

22、输入数据进行加权，获得大小为c*w*h的特征矩阵

23、与现有技术相比，本发明具有以下有益效果：

24、1、本发明创新性地提出了基于多模态的深度学习模态，通过将儿童脑部mr图像和临床信息进行有效整合和学习，实现了对儿童病毒性脑炎、化脓性脑炎、非脑炎的三分类诊断，既不需要具有伤害的腰穿脑脊液检查，也可以准确区分脑炎类别，为后续治疗方案的选择提供有力参考，从而实现儿童脑炎的早期诊断、早期干预，从而减少儿童脑炎的危害。

25、2、本发明中采用mm-sene网络模型进行mr影像关键特征的提取，此模型分为两部分，第一部分是多维度多平面的特征提取，包括三维特征和不同状位的二维的特征提取，其中二维特征提取分别按照横状位、矢状位、冠状位进行特征提取，这一部分可以保证模型充分提取了影像的各种特征。第二部分采用se模块，通过给特征赋权重的方式筛选出对结果有高度相关的特征，从而提升模型的学习能力，避免过拟合，进而提升了模型的分类性能。

技术特征：

1.一种基于多模态的儿童脑炎分类系统，包括计算机存储器、计算机处理器以及存储在计算机存储器中并可在计算机处理器上执行的计算机程序，其特征在于，所述的计算机存储器中存储有训练好的分类模型；所述计算机处理器执行所述计算机程序时实现以下步骤：

2.根据权利要求1所述的基于多模态的儿童脑炎分类系统，其特征在于，所述分类模型的训练过程如下：

3.根据权利要求2所述的基于多模态的儿童脑炎分类系统，其特征在于，步骤(1)中，对mr影像数据进行预处理的具体过程如下：

4.根据权利要求2所述的基于多模态的儿童脑炎分类系统，其特征在于，步骤(1)中，对临床信息数据进行预处理的具体过程如下：将文本数据转变为数字序列或者数字类别，然后进行归一化。

5.根据权利要求1所述的基于多模态的儿童脑炎分类系统，其特征在于，临床信息处理模块中，采用student t检验对所有预处理的临床信息进行单因素分析，过滤出p值小于0.05的因素进入下一轮分析；这些关键因素特征组成一维特征矩阵xclic。

6.根据权利要求1所述的基于多模态的儿童脑炎分类系统，其特征在于，通过3d网络提取影像的三维特征矩阵具体包括：

7.根据权利要求1所述的基于多模态的儿童脑炎分类系统，其特征在于，采用2d网络提取二维特征矩阵具体包括：

8.根据权利要求1所述的基于多模态的儿童脑炎分类系统，其特征在于，se模块的具体结构如下：

技术总结
本发明公开了一种基于多模态的儿童脑炎分类系统，包括计算机存储器、计算机处理器以及存储在计算机存储器中并可在计算机处理器上执行的计算机程序，计算机处理器执行计算机程序时实现以下步骤：将待分类的儿童脑部临床信息和MR影像输入训练好的分类模型中，得到其属于病毒性脑炎、化脓性脑炎、非脑炎的分类结果。其中，分类模型中，临床信息通过Student T检验进行关键特征筛选，MR影像部分通过MM‑SENet网络模型实现三维特征和不同状位的二维特征的提取、筛选，最终将两部分特征进行拼接，并通过全连接层和Softmax层获得最后的分类结果。利用本发明，可以实现无创的儿童脑炎临床诊断，减少对儿童患者的伤害。

技术研发人员：俞刚,黄坚,周海春,沈忱
受保护的技术使用者：浙江大学
技术研发日：
技术公布日：2024/1/13