本发明涉及图像处理,特别是涉及基于多模态原型网络的可解释医学图像分类系统。
背景技术:
1、本部分的陈述仅仅是提到了与本发明相关的背景技术,并不必然构成现有技术。
2、医学图像处理是指计算机图像处理技术对医学图像进行分析和处理,它可以辅助医生对病变体以及其它感兴趣的区域进行定性定量的分析,从而大大提高医疗诊断的准确性和可靠性。近几十年来,使用深度神经网络的自动化诊断方法取得了很高的性能,但是模型由于缺乏可解释性,导致这些模型在临床中很少使用。这是因为医疗决策关乎病人生命,这要求模型不仅有高准确性,还需要给出模型推理的依据。可解释人工智能(xai,explanable artificial intelligence)旨在研究可解释的模型,同时保持高水平的学习性能和预测准确性。
3、发明人发现,近年来,原型网络受到了研究者的关注,原型通过比较待测试图像的区域补丁与特征原型的相似度来给出分类判断依据。现有的方法其在生成原型时,原型会不可避免的生成在一些重复出现的相似医学背景区域中,因此得到的原型可能呈现出疾病无关的特征。在胸部x射线图像中,大部分区域都是重复的健康区域,病变区域非常小并且是稀疏的,这为生成准确的疾病原型制造了障碍。最近的研究表明,机器学习模型容易学习医学无关特征(例如健康组织的模式)和预测目标(例如肿瘤边缘的类型)之间的虚假关联。除此之外,传统的基于原型的解决方案只关注原型在像素特征的相似度,忽略了原型的位置信息,在医学图像中,一些疾病往往发生在相似位置,这些信息并没有被利用。
技术实现思路
1、为了解决现有技术的不足,本发明提供了基于多模态原型网络的可解释医学图像分类系统;利用多模态数据引入专家知识,值得注意的是,本发明的模型仅仅在训练阶段使用医学图像和其对应医学文本报告,而在测试阶段,本发明只使用待测试医学图像。本发明的网络通过利用医学文本报告来为原型训练提供文本语义支持。与其他方法相比,本发明的模型保证了原型生成在医学语义密集的区域而不是无用的医学背景区域,为原型训练提供了专家依据,提高了模型的可解释性。本发明设计了一个位置嵌入层,生成的原型可以携带位置信息。此外,本发明还提出了一种多因子相似性计算方法,该方法使模型能够综合像素和位置信息来进行分类决策。
2、基于多模态原型网络的可解释医学图像分类系统,包括:
3、获取模块,其被配置为:获取训练集,所述训练集为已知健康区域和病变区域的医学图像和医学诊断报告;
4、训练模块,其被配置为:将训练集,输入到多模态原型网络中,对网络进行训练得到训练后的多模态原型网络;
5、输出模块,其被配置为:获取待分类的医学图像,将待分类的医学图像输入到训练后的多模态原型网络中,输出可解释医学图像分类结果;
6、其中,训练后的多模态原型网络,对待分类的医学图像进行图像特征提取,得到图像特征图,为图像特征图嵌入位置特征,将嵌入位置信息的特征图划分为若干个潜在补丁,计算每一个潜在补丁与已知疾病原型的距离,找到距离原型最近的潜在补丁,将与最近的潜在补丁处于相同位置的原始医学图像区域进行可视化显示,同时,将距离转换为相似性分数,将相似性分数转换为预测分数,得到医学图像分类结果;其中已知疾病原型是训练集中已知病变图像区域对应的特征图。
7、上述技术方案具有如下优点或有益效果:
8、本发明中设计了一种包括特征提取层、多模态注意力层,位置嵌入层,原型层和分类层的可解释医学图像分类模型;多模态注意力层解决了长期困扰于其他基于原型模型中普遍存在的局限性问题,即存在不明显的原型含义,可以帮助训练更为准确的原型。位置嵌入层证明了在原型中嵌入其他信息的可能性,提升了模型分类的精度。设计的原型激活限制性损失,抑制了疾病原型在非文本关联区域的激活,促进了原型学习,远离了可能出现在不是原型指定类中的任何特性。
1.基于多模态原型网络的可解释医学图像分类系统,其特征是,包括:
2.如权利要求1所述的基于多模态原型网络的可解释医学图像分类系统,其特征是,所述将训练集,输入到多模态原型网络中,对网络进行训练得到训练后的多模态原型网络,其中,多模态原型网络,网络结构包括:
3.如权利要求2所述的基于多模态原型网络的可解释医学图像分类系统,其特征是,所述图像特征提取层,采用resnet-50网络来实现;
4.如权利要求2所述的基于多模态原型网络的可解释医学图像分类系统,其特征是,所述文本特征提取层,采用bert网络来实现。
5.如权利要求2所述的基于多模态原型网络的可解释医学图像分类系统,其特征是,所述位置嵌入层,用于嵌入位置信息;
6.如权利要求2所述的基于多模态原型网络的可解释医学图像分类系统,其特征是,所述多模态注意力层,用于使用图像特征和文本特征计算相似度,生成多模态注意力矩阵:
7.如权利要求2所述的基于多模态原型网络的可解释医学图像分类系统,其特征是,所述原型层,由c组原型单元构成,其中c为疾病个数,每组原型单元g包含k个疾病原型;每个原型单元g的作用是计算该单元的疾病原型与特征图各补丁z之间的欧式距离;所述原型层使用多因子相似度机制计算特征图潜在补丁和疾病原型之间的欧式距离,并将距离转换为相似性分数:
8.如权利要求2所述的基于多模态原型网络的可解释医学图像分类系统,其特征是,所述分类层,采用全连接层来实现,使用分组的全连接层将相似性分数转换为预测分数,在每组分类层中,仅考虑一种疾病类别对应的原型来计算相似度;
9.如权利要求2所述的基于多模态原型网络的可解释医学图像分类系统,其特征是,所述将训练集,输入到多模态原型网络中,对网络进行训练得到训练后的多模态原型网络,网络训练过程包括:
10.如权利要求9所述的基于多模态原型网络的可解释医学图像分类系统,其特征是,网络的总损失函数,公式表达为: