一种多模态的眼底疾病辅助诊断方法及系统与流程

本发明涉及数据处理，特别是涉及一种多模态的眼底疾病辅助诊断方法及系统。

背景技术：

1、随着计算机技术和图像处理技术的发展，基于医学图像的辅助诊断研究越来越多。然而，大多数人工智能研究都是基于单一的输入数据，缺乏像临床医生那样综合多个信息源进行诊断，因此辅助诊断效果有限。

2、大多数利用影像数据对眼底疾病进行分类的方法都是基于机器学习或深度学习，基于机器学习的方法通常使用手工设计的特征或者使用特定的医学图像分析软件提取出影像特征，然后使用机器学习分类器，如svm、k-means等方法来进行眼底疾病的分类。基于深度学习的方法，通常以完整的原始影像或者病灶区域影像作为输入，然后利用基于卷积神经网络的模型或者基于注意力机制的模型来进行眼底疾病分类。通常基于深度学习的方法比基于机器学习的方法具有更好的性能。

3、目前大多数医学影像分析方法基于单一模态的影像数据，无法全面而准确的表征病灶的信息。而在实际临床应用上，眼科医生在进行疾病判别的时候往往会综合考虑患者的多种模态数据信息，如该病灶的不同成像模态(光学相干断层扫描图像oct/彩色眼底图像cfp/荧光素眼底血管造影ffa/吲哚菁绿血管造影icga等)、同一成像模态的不同扫描方式(如oct的扫描方式有水平、垂直、环形、放射状以及不同角度的线性扫描)以及患者临床信息(年龄/性别/既往病史/生活习惯等)等，然后给出最终的诊断结果。然而，现有的关于医学影像多模态融合方法还很欠缺，忽略各模态彼此之间的交互，可能导致有用信息的丢失，且缺乏对全局信息的感知力，诊断性能有待提升。

4、因此，提供一种解决上述问题，有效提高辅助诊断性能与精度的多模态的眼底疾病辅助诊断方法及系统是本领域技术人员亟待解决的问题。

技术实现思路

1、本发明的目的在于提供一种多模态的眼底疾病辅助诊断方法，该方法逻辑清晰，安全、有效、可靠且操作简便，能有效提高辅助诊断性能与精度。

2、基于以上目的，本发明提供的技术方案如下：

3、一种多模态的眼底疾病辅助诊断方法，包括如下步骤：

4、预处理待识别的多模态图像数据，得到预处理后的多模态图像数据；

5、根据所述预处理后的多模态图像数据和预设规则，获取基于图结构的多模态匹配图像对；

6、构建由特征提取网络和模态间融合模块组成的辅助诊断模型；

7、将所述多模态匹配图像对输入所述辅助诊断模型中进行训练，以获取预测结果；

8、根据预设聚合策略聚合所述预测结果，得到眼底疾病辅助诊断结果。

9、优选地，所述预处理待识别的多模态图像数据，得到预处理后的多模态图像数据，包括如下步骤：

10、获取待识别的多模态图像数据；

11、依次对所述待识别的多模态图像数据进行脱密、ocr识别、裁剪、降噪、整合、标注处理，以获取预处理后的多模态图像数据。

12、优选地，所述依次对所述待识别的多模态图像数据进行脱密、ocr识别、裁剪、降噪、整合、标注处理，以获取预处理后的多模态图像数据，包括如下步骤：

13、去除每张待识别的图像数据中的个人信息；

14、ocr识别每张所述待识别的图像数据中的文字内容，以获取眼睛信息、模态信息和时间信息；

15、根据所述眼睛信息裁剪每张所述待识别的图像数据；

16、噪声筛选每张所述待识别的图像数据，降噪处理保留下的所述待识别的图像数据；

17、根据所述模态信息和所述时间信息，整合降噪处理后的所述待识别的图像数据，以获取待识别的图像数据集；

18、在所述待识别的图像数据集中标注特定特征，以获取预处理后的多模态图像数据。

19、优选地，所述根据所述预处理后的多模态图像数据和预设规则，获取基于图结构的多模态匹配图像对，包括如下步骤：

20、根据所述模态信息将所述预处理后的多模态图像数据划分为若干个集合，每个集合包括多张图像；

21、以第一集合中每张图像为第一顶点，在所述第一集合之外的多个所述集合中选取一张图像作为第二顶点，连接所述第一顶点和所述第二顶点，形成所述图结构；

22、定义所述第一顶点所对应的图像和所述第二顶点对应的图像为所述基于图结构的多模态匹配图像对。

23、优选地，所述特征提取网络包括：卷积块和过渡块；

24、所述卷积块包括：多头注意力模块；

25、所述过渡块包括：层归一化模块和gelu激活函数；

26、所述卷积块，用于提取高频局部特征；

27、所述过渡块，用于提取低频全局特征；

28、构建所述特征提取网络，具体为：

29、将二维相对位置编码加入所述多头自注意力模块中；

30、将所述多头注意力模块替换所述卷积块中的3×3卷积，，且后接所述层归一化模块和所述gelu激活函数。

31、优选地，所述模态间融合模块实现模态融合的过程具体为：

32、

33、

34、其中，x1,x2,…,xn为不同模态的特征，h×w×c为特征大小，i＝1,2,…,n为不同模态，wq,wk,wl为预设的权值矩阵，z为模态融合后的输出。

35、优选地，所述二维相对位置编码的公式具体为：

36、

37、其中，rk是key的位置编码，rv是value的位置编码，rq是query的位置编码，d为键的维数。

38、优选地，根据预设聚合策略聚合所述预测结果，得到眼底疾病辅助诊断结果，包括如下步骤：

39、获取单一眼睛下的所述预测结果；

40、判断所述预测结果是都大于预设概率阈值；

41、若是，则保留至可信图集合中；

42、在所述可信图集合中进行投票决策，得到眼底疾病辅助诊断结果。

43、一种多模态的眼底疾病辅助诊断系统，包括：

44、预处理模块，用于预处理待识别的多模态图像数据，得到预处理后的多模态图像数据；

45、图像对模块，用于根据所述预处理后的多模态图像数据和预设规则，获取基于图结构的多模态匹配图像对；

46、构建模块，用于构建由特征提取网络和模态间融合模块组成的辅助诊断模型；

47、预测模块，用于将所述多模态匹配图像对输入所述辅助诊断模型中进行训练，以获取预测结果；

48、辅助诊断结果模块，用于根据预设聚合策略聚合所述预测结果，得到眼底疾病辅助诊断结果。

49、本发明公开了一种多模态的眼底疾病辅助诊断方法，是通过将待识别的多模态图像数据进行预处理，得到预处理后的多模态图像数据；根据预设规则创建图结构，结合预处理后的多模态图像数据与图结构，获取基于图结构的多模态匹配图像对；构建由特征提取网络和模态间融合模块组成的辅助诊断模型；将多模态匹配图像对输入至辅助诊断模型中进行训练，从而获取预测结果；根据预设聚合策略聚合预测结果，得到眼底疾病辅助诊断结果。

50、相比于现有技术，通过基于图结构的多模态匹配图像对、包含模态间融合模块的辅助诊断模型和预设聚合策略等特征，有助于基于多模态影像数据对患者眼睛进行眼底疾病类别预判，从而能辅助提高医生的眼底疾病类别诊断准确率，进而改善治疗效率和提升预后效果。

51、本发明还公开了一种多模态的眼底疾病辅助诊断系统，由于与该方法属于相同的技术构思、解决相同的技术问题，理应具有相同的有益效果，在此不再赘述。