一种基于多模态异构数据的肺部疾病自动识别方法及装置与流程

本发明涉及计算机领域，尤其涉及一种基于多模态异构数据的肺部疾病自动识别方法及装置。

背景技术：

1、随着医疗信息化的快速发展和医疗设备的更新迭代，海量多样的医疗数据应运而生，其大致可以被分为临床文本数据和影像数据。文本数据主要包括血红蛋白、尿常规、基因检测结果等结构化的检验数据，以及医生记录的患者主诉、病理文本等非结构化的文本数据；影像数据则包括超声图像、ct图像、x光、核磁共振图像等影像数据和心电图、脑电图等信号数据。目前，大多数人工智能在医学上的应用都是使用单模态数据来处理特定的任务，例如计算机断层扫描显像(ct)和视网膜图像的单疾病诊断，该方法忽视了更广泛的临床背景环境，这不可避免的削弱了人工智能模型的潜力。相比之下，对于临床医生在诊断肺部感染、进行预后评估和决定治疗计划时，往往会处理来自多个源的多模态的数据。不同模态的医学数据从不同的特定角度提供了患者的诊疗信息，结合多种类的医学信息进一步提高了诊断治疗的准确性，使得人工智能更加接近临床实践。然而，从理论上讲，人工智能模型也应该能够使用所有临床医生通常可以获得的数据资源，甚至是大多数临床医生无法获得的资源(例如，大多数普通临床医生往往没有审阅诊断成千上万份来自不同地区，不同医院，不同科室的多模态数据)，而不同模态的数据集成往往会增加诊断的鲁棒性和准确性。然而，不同模态数据之间的信息是互补和冗余的，如何有效利用不同模态之间的互补信息，弥补自身模态的缺陷，减少模态之间冗余信息的影响，提高对病人全局状态的掌握情况，成为多模态识别肺部常见多种疾病研究的重中之重。

技术实现思路

1、本发明旨在提供一种克服上述问题或者至少部分地解决上述问题的基于多模态异构数据的肺部疾病自动识别方法及装置。

2、为达到上述目的，本发明的技术方案具体是这样实现的：

3、本发明的一个方面提供了一种基于多模态异构数据的肺部疾病自动识别方法，包括：使用全局统一的文字嵌入特征，对非结构化的文本数据进行预处理；对结构化的文本数据进行预处理；使用结构的影像特征提取模型对医疗影像数据进行特征提取，得到影像特征，其中，结构的影像特征提取模型使用transformer结构作为主干模型；进行词汇之间的关系映射表达；进行多个维度的特征提取和分析，对多模态数据进行特征融合，多模态数据包括对非结构化的文本数据进行预处理和对结构化的文本数据进行预处理得到的文本特征与影像特征；对融合后的特征进行分类，得到输出结果。

4、其中，对非结构化的文本数据进行预处理包括：使用规则导向的结构化算法对非结构化的文本数据进行转换。

5、其中，对结构化的数据进行预处理包括：判断预设数值是否在合理区间内，对于不同数量级的数据进行归一化。

6、其中，结构的影像特征提取模型包括：多个多层编码器，每个编码器的输入先流入self-attention层，卷积核为16*16的卷积核。

7、其中，结构的影像特征提取模型包括：基于征象的异常检测模型和基于疾病的诊断模型，其中，使用基于征象的异常检测模型对基于疾病的诊断模型进行特征增强。

8、其中，进行多个维度的特征提取和分析，对多模态数据进行特征融合包括：利用多模态注意力融合机制进行特征融合，多模态注意力融合机制表示为：其中，y(i)表示某一个形符和其他所有形符之间的关系输出，xi和yj表示在该融合的向量的其中两个形符；i代表计算其响应的输出为止的索引，j是枚举所有可能位置的索引；θ(xi,yj)计算两个不同特征位置之间的关系；g(xj)计算位置j处的特征；最后，通过标准化处理1/c(x)最终的关系结果。

9、本发明另一个方面提供了一种基于多模态异构数据的肺部疾病自动识别装置，包括：数据结构化模块，用于使用全局统一的文字嵌入特征，对非结构化的文本数据进行预处理；数据预处理模块，用于对结构化的文本数据进行预处理；卷积神经网络模块，用于使用结构的影像特征提取模型对医疗影像数据进行特征提取，得到影像特征，其中，结构的影像特征提取模型使用transformer结构作为主干模型；文本嵌入模块，用于进行词汇之间的关系映射表达；特征融合模块，用于进行多个维度的特征提取和分析，对多模态数据进行特征融合，多模态数据包括对非结构化的文本数据进行预处理和对结构化的文本数据进行预处理得到的文本特征与影像特征；分类器，用于对融合后的特征进行分类，得到输出结果。

10、其中，数据结构化模块通过如下方式对非结构化的文本数据进行预处理：使用规则导向的结构化算法对非结构化的文本数据进行转换。

11、其中，数据预处理模块通过如下方式对结构化的数据进行预处理：判断预设数值是否在合理区间内，对于不同数量级的数据进行归一化。

12、其中，结构的影像特征提取模型包括：多个多层编码器，每个编码器的输入先流入self-attention层，卷积核为16*16的卷积核。

13、其中，结构的影像特征提取模型包括：基于征象的异常检测模型和基于疾病的诊断模型，其中，使用基于征象的异常检测模型对基于疾病的诊断模型进行特征增强。

14、其中，特征融合模块通过如下方式进行多个维度的特征提取和分析，对多模态数据进行特征融合：利用多模态注意力融合机制进行特征融合，多模态注意力融合机制表示为：其中，y(i)表示某一个形符和其他所有形符之间的关系输出，xi和yh表示在该融合的向量的其中两个形符；i代表计算其响应的输出为止的索引，j是枚举所有可能位置的索引；θ(xi,yj)计算两个不同特征位置之间的关系；g(xj)计算位置j处的特征；最后，通过标准化处理1/c(x)最终的关系结果。

15、由此可见，通过本发明提供的基于多模态异构数据的肺部疾病自动识别方法及装置，通过融合病人主诉、临床病历实验室检查等文本信息以及ct、x-光等影像信息进行胸部常见多种疾病及其同征异病细分类疾病进行识别，针对胸部常见疾病的多模态异构模型可以从宏观角度观察病人，更有效地克服现有技术的局限性，从而辅助临床医生做出更为准确的判断。

技术特征：

1.一种基于多模态异构数据的肺部疾病自动识别方法，其特征在于，包括：

2.根据权利要求1所述的方法，其特征在于，所述对非结构化的文本数据进行预处理包括：

3.根据权利要求1所述的方法，其特征在于，所述对结构化的数据进行预处理包括：

4.根据权利要求1所述的方法，其特征在于，所述结构的影像特征提取模型包括：多个多层编码器，每个所述编码器的输入先流入self-attention层，卷积核为16*16的卷积核。

5.根据权利要求1所述的方法，其特征在于，所述结构的影像特征提取模型包括：

6.根据权利要求1所述的方法，其特征在于，所述进行多个维度的特征提取和分析，对多模态数据进行特征融合包括：

7.一种基于多模态异构数据的肺部疾病自动识别装置，其特征在于，包括：

8.根据权利要求7所述的装置，其特征在于，所述数据结构化模块通过如下方式对非结构化的文本数据进行预处理：

9.根据权利要求7所述的装置，其特征在于，所述数据预处理模块通过如下方式对结构化的数据进行预处理：

10.根据权利要求7所述的装置，其特征在于，所述结构的影像特征提取模型包括：多个多层编码器，每个所述编码器的输入先流入self-attention层，卷积核为16*16的卷积核。

11.根据权利要求7所述的方法，其特征在于，所述结构的影像特征提取模型包括：

12.根据权利要求7所述的装置，其特征在于，所述特征融合模块通过如下方式进行多个维度的特征提取和分析，对多模态数据进行特征融合：

技术总结
本发明提供了一种基于多模态异构数据的肺部疾病自动识别方法及装置，其中方法包括：使用全局统一的文字嵌入特征，对非结构化的文本数据进行预处理；对结构化的文本数据进行预处理；使用结构的影像特征提取模型对医疗影像数据进行特征提取，得到影像特征，其中，结构的影像特征提取模型使用transformer结构作为主干模型；进行词汇之间的关系映射表达；进行多个维度的特征提取和分析，对多模态数据进行特征融合，多模态数据包括对非结构化的文本数据进行预处理和对结构化的文本数据进行预处理得到的文本特征与影像特征；对融合后的特征进行分类，得到输出结果。

技术研发人员：俞益洲,马杰超,张树,李一鸣,乔昕
受保护的技术使用者：北京深睿博联科技有限责任公司
技术研发日：
技术公布日：2024/1/13