一种基于迁移学习的青光眼多模态智能识别系统

1.本发明涉及多模态神经网络分类技术领域，具体涉及一种基于迁移学习的青光眼多模态智能识别系统。


背景技术：

2.深度学习的最新进展已被应用到不同的医疗领域，用以早期检测或预测某些异常。在眼科领域，使用深度学习方法的医学影像分析开始受到广泛关注。在主要的眼科异常中，青光眼是最严重的一种，它可能会对人类的视力造成不可逆的损害，因为它会影响到负责传递与视觉有关的感觉信息的视神经纤维。作为一种无症状的疾病，大多数患者察觉不到明显的体征，往往发现症状时已为时过晚。因此，早期发现和治疗对于预防视力下降极为重要。现有的青光眼智能诊断方法中，普遍基于眼底照片进行深度学习研究。但基于眼底照片的深度学习方法有以下缺陷：第一、提取特征单一、具有局限性，无法充分利用眼底照片中的青光眼有效信息，准确性较低。第二、数据集分布不均衡、由于采集数据时受到光照、角度等外界条件等的影响、训练后的神经网络准确率往往受限于所用的数据集。
3.如何尽早诊断青光眼，提高诊断准确率，已成为青光眼诊断中亟待解决的问题。青光眼的主要特征是视野丧失，其主要原因是眼压(iop)升高和/或视神经血流量丧失。然而，由于iop正常时仍存在视觉损伤，因此iop的特异性和敏感性都不足以成为有效的青光眼指标。青光眼还可以通过测量青光眼角度、视神经纤维层厚度等特征来诊断。但青光眼症状复杂，诊断准确率低。以往的研究表明，基于彩色眼底照片和海德堡光学相干断层扫描图片的神经网络对青光眼早期诊断的准确性接近或优于眼科医生。同时，该方法还可以根据基线检查结果，预测未来的疾病变化，如视野缺损程度、神经纤维层厚度等。另一种诊断青光眼的方法是通过光学相干断层扫描血管造影(octa)识别血管分布特征。octa是一种新型无创眼底成像技术，可高分辨率识别视网膜脉络膜血流信息，成像体内视网膜脉络膜微血管循环。在正常视网膜脉络膜血管改变、疾病管理随访、治疗效果检测等方面具有独特优势。基于高质量的多模态图像数据，并结合神经网络，有望大大提高青光眼患者的诊断准确性。人工智能与医学影像的结合，为青光眼的临床诊治带来突破性创新。
4.迁移学习是一种利用其他相关领域的大量先验知识，在特定领域执行新任务的过程中模仿人类视觉系统的学习方法。采用迁移学习，在医学图像数据集数量较少的情况下，也可以快速训练出理想的效果。因此，实现一种基于迁移学习的多模态青光眼识别网络系统具有重要的现实意义。


技术实现要素：

5.为解决上述技术问题，本发明的目的是提供一种基于迁移学习的青光眼多模态智能识别系统，通过使用文字提取的神经网络提取患者的年龄、性别、主诉、现病史、既往史、视力、眼压、各项专科检查以及诊断的关键词汇信息；使用u-net网络构建，用于对眼底照片图像中的血管进行分割，输出青光眼血管分布特征，对眼底照片中的青光眼视盘和视杯进
行分割，输出视盘和视杯的面积之比；使用深度学习分类网络构建神经网络，捕捉青光眼全局、局部特征，进行模型参数训练，随后使用梯度加权类激活映射(grad-cam)方法标定青光眼识别过程中神经网络重点关注区域；通过以上三条分支综合识别青光眼病型。
6.为实现上述技术效果，本发明提出的一种基于迁移学习的青光眼多模态智能识别系统，包括多模态数据预处理模块、多模态识别模块；通过多模态数据预处理模块对文本信息进行提取、对图像数据进行预处理，得到青光眼数据集；通过多模态识别模块针对多标签和多模态的数据集构建基于迁移学习方法的青光眼亚型病例识别模型。
7.所述数据预处理模块包括关键字提取模块、高斯滤波模块、图像增强模块、图像裁剪模块；所述关键字提取模块使用深度学习(dl)的方法提取数据库电子病历中的青光眼病症关键文字；所述滤波模块用于对图像数据进行高斯滤波处理；所述图像增强模块使用图像增强方法扩大训练样本以避免过拟合；所述裁剪模块基于卷积神经网络(cnn)针对原始图像进行视杯盘周围1.5倍方格像素裁剪。
8.所述多模态识别模块包括三个分支，第一个分支为输入经预处理模块处理后的患者电子病志的文本信息，经卷积层、循环层和长短时记忆神经网络(lstm)处理后得到青光眼关键字的特征矩阵，并将输出与catboost分类器相接；第二个分支基于u-net网络构建，用于对眼底照片图像中的血管进行分割，输出青光眼血管分布特征，对眼底照片中的青光眼视盘和视杯进行分割，输出视盘和视杯的面积之比，并将输出与catboost分类器相接；第三个分支基于深度学习分类网络构建，输入预处理后的数据集，通过深度学习网络捕获海德堡光学相干断层扫描图像和视神经纤维层厚度图像的全局、局部特征，进行模型参数训练，随后使用梯度加权类激活映射(grad-cam)方法标定青光眼识别过程中神经网络重点关注区域；第一个分支与第二个分支的输出端进行融合，融合后连接catboost分类器，catboost分类器的输出端与第三个分支中的输出端进行多模态信息融合，输出可解释性的视觉分析和青光眼病型。
9.所述第三个分支中的深度学习网络包括resnet、googlenet、densenet、shufflenet、efficientnet和vision transformer，将预处理后的图像数据分别输入深度学习网络中进行模型参数训练，根据训练样本准确率，选择出准确率最高的深度学习网络，作为与catboost分类器的输出端进行融合的深度学习网络。
10.所述系统执行过程包括：
11.步骤1：采集青光眼原始电子病志与医学影像数据，标注数据标签为正常(n)、原发性开角型青光眼(poag)、原发性闭角型青光眼(pacg)、正常眼压型青光眼(ng)，构建原始青光眼多模态数据集；
12.步骤2：将原始青光眼多模态数据集输入数据预处理模块进行预处理，生成青光眼数据集；
13.步骤3：输入预处理后的数据集对多模态识别模块进行参数训练，得到基于青光眼分类的多模态识别模块；
14.步骤4：将需要进行青光眼亚型分类的患者数据输入到已经训练好的多模态识别模块中，进行青光眼识别。
15.所述步骤2包括：
16.步骤2.1：基于卷积神经网络，针对患者电子病志中青光眼亚型的文字信息进行提
取，提取的信息包括该人体的年龄、性别、主诉、现病史、既往史、视力、眼压、各项专科检查以及诊断的关键词汇，用来作为多模态识别模块第一个分支的输入；
17.步骤2.2：将眼底照片裁剪成以视盘为中心的572
×
572图像，将海德堡光学相关断层图像和视神经纤维层厚度图像裁剪成以视盘为中心的224
×
224图像；
18.步骤2.3：对数据进行数据增强，包括垂直和水平镜像、90
°
、180
°
和270
°
旋转，以及用固定尺寸的图框在原有分辨率上进行滑窗分割，得到扩增后的数据集；
19.步骤2.4：对数据进行高斯滤波以平衡对图像噪声的抑制和对图像的模糊，输入为扩增后的数据集，输出为滤波器窗口内的像素的均值；
20.步骤2.5：使用极大极小标准化方法，对图像进行标准化处理，经过数据标准化处理后，各指标处于同一数量级。
21.所述步骤3包括：
22.将预处理后的文字信息输入到多模态识别模块的第一个分支，通过k-means算法对青光眼患者的电子病志中的词语进行聚类；
23.第二个分支采用深度学习模型u-net，输入眼底照片进行视神经血管分割，输出青光眼血管分布特征，输入三维眼底照片进行视杯与视盘分割，输出视神经血管分布特征和杯盘比；
24.第一个分支和第二个分支的输出融合在一起作为元数据，并使用catboost分类器处理；
25.多模态神经网络的第三个分支将训练集中的海德堡oct、视神经纤维层厚度和眼底照片同时输入到深度学习网络模型中，利用迁移学习方法对构建的神经网络进行参数预训练，并使用度加权类激活映射(grad-cam)方法标定青光眼识别过程中神经网络重点关注区域，随后与catboost分类器的输出端融合，得到青光眼亚型的综合诊断结果。
26.所述通过k-means算法对青光眼患者的电子病志中的词语进行聚类，包括：
27.使用青光眼关键词语料库进行word2vec模型训练，输入为语料库数据，输出为青光眼病型；
28.对于患者电子病志中的文本进行分词、词性标注、去重和去除停用词的数据预处理操作，最终得到n个候选关键词；
29.遍历候选关键词，从词向量文件中抽取候选关键词的词向量表示；
30.对候选关键词进行k-means聚类，得到各个类别的聚类中心；
31.计算各类别下组内词语与聚类中心的欧几里得距离，按聚类大小进行升序排序；
32.对候选关键词计算结果得到排名前n个词汇作为识别青光眼的文本关键词。
33.本发明的有益效果是：
34.本发明提出了一种基于迁移学习的青光眼多模态智能识别系统，使用迁移学习方法，针对多标签和多模态数据集进行青光眼亚型病例的深度学习模型构建，包括多模态数据预处理模块、多模态识别模块；通过对网络参数的预训练，极大减少了训练网络所使用的数据量，充分利用数据的文本信息和图像信息，构建多模态神经网络模型进行多特征综合识别，有效提高了青光眼识别的准确性，本发明所述系统实现了识别深入到青光眼的亚型，突破了传统只能识别是否为青光眼的技术手段。
附图说明
35.图1为本发明中基于迁移学习的青光眼多模态智能识别系统框图；
36.图2为本发明中resnet的网络流程图；
37.图3为本发明中googlenet的网络流程图；
38.图4为本发明中densenet的网络流程图；
39.图5为本发明中shufflenet的网络流程图；
40.图6为本发明中shufflenet的网络流程图；
41.图7为本发明中vision transformer的网络流程图。
具体实施方式
42.下面结合附图和具体实施实例对发明做进一步说明。
43.如图1所示，一种基于迁移学习的青光眼多模态智能识别系统，使用迁移学习方法，针对多标签和多模态数据集进行青光眼亚型病例的深度学习模型构建，包括多模态数据预处理模块、多模态识别模块；所述数据预处理模块用于对数据库中已收集并标注的原始图像进行预处理，得到数据集，包括关键字提取模块、高斯滤波模块、图像增强模块、图像裁剪模块；所述关键字提取模块使用深度学习(dl)的方法提取数据库电子病历中的青光眼病症关键文字；所述滤波模块用于对图像数据进行高斯滤波处理；所述图像增强模块使用图像增强方法扩大训练样本以避免过拟合；所述裁剪模块基于卷积神经网络(cnn)针对原始图像进行视杯盘周围1.5倍方格像素裁剪。
44.所述多模态识别模块包括三个分支，第一个分支为输入经预处理模块处理后的患者电子病志的文本信息，使用文字提取神经网络，经卷积层、循环层和长短时记忆神经网络(lstm)处理后得到青光眼关键字的特征矩阵，并将输出与catboost分类器相接；第二个分支基于u-net网络构建，用于对眼底照片图像中的血管进行分割，输出青光眼血管分布特征，对眼底照片中的青光眼视盘和视杯进行分割，输出视盘和视杯的面积之比，并将输出与catboost分类器相接；第三个分支基于深度学习分类网络构建，输入预处理后的数据集，通过深度学习网络捕获海德堡光学相干断层扫描图像和视神经纤维层厚度图像的全局、局部特征，进行模型参数训练，随后使用梯度加权类激活映射(grad-cam)方法标定青光眼识别过程中神经网络重点关注区域；第一个分支与第二个分支的输出端进行融合，融合后连接catboost分类器，catboost分类器的输出端与第三个分支中的输出端进行多模态信息融合，输出可解释性的视觉分析和青光眼病型。
45.所述第三个分支中的深度学习网络包括resnet、googlenet、densenet、shufflenet、efficientnet和vision transformer，将预处理后的图像数据分别输入深度学习网络中进行模型参数训练，根据训练样本准确率，选择出准确率最高的深度学习网络，作为与catboost分类器的输出端进行融合的深度学习网络。
46.resnet中，海德堡oct与眼底照片经过3个卷积(conv)模块后进行信息融合，随后再经过2个conv模块后与单独经过5个conv模块的视神经纤维层图像进行融合；其他神经网络模型也进行类似处理，海德堡oct与眼底照片在经过一定数量卷积模块后进行融合，随后一同经过剩余的卷积模块后与单独卷积的视神经纤维层图像进行融合，这是由于海德堡oct和眼底照片都采样视盘周围的区域，经过多次卷积，特征提取大致相同，而视神经纤维
层厚度图像是前两层视神经纤维层的扩展图像，提取的特征是视神经纤维层厚度。
47.catboost是一种流行的集成增强方法，它引入了一种有序的目标统计策略来有效地处理分类特征。它用期望的特征值替换排在样本前面的类别特征，并添加优先级和权重。因此，它可以将类别特征转化为数值特征，有效地降低了低频类别特征的噪声，增强了算法的鲁棒性。
48.所述的多模块识别模块，所有模型都使用了adam优化，以0.0001的初始学习率为基准，对300个epoch进行了微调，批量大小等于32，网络是基于pytorch和tensorflow实现的，所有的实验都是在nvidia tesla a100上进行的。
49.将图像特性引入元数据，本发明在分割视盘和光杯区域时，采用了一种流行的深度学习模型u-net，这是一种著名的基于fcn的u型结构模型，它由类似于英文大写字母u的下采样和上采样结构组成，并在同一阶段采用跳跃连接，从而确保更多的高级和低级功能被集成到最终的功能图中。
50.本发明使用特征表示级知识迁移学习，特征表示级知识迁移是利用一组精心制作的特征将目标域映射到源域。通过这种特征表示级的知识转移，可以显著减少目标域和源域之间的数据发散，从而提高任务在目标域中的性能。
51.本发明选取了焦点损耗作为损耗函数，焦点损失是分类交叉熵损失的一种变体，用于处理不平衡数据。不平衡数据在医学领域很常见，这使得分类器更多地关注主类而忽略了次类，导致了对次要类的敏感性较低，对主要类的特异性较低，这可以通过修正损失函数在一定程度上得到解决。分类交叉熵损失是多类分类学习中常用的损失函数，它将相同的权重分配给每个类，这导致对次要类的关注很少，并导致对未充分代表的类的敏感度较低。为了克服数据不平衡的影响，本发明引入了焦点损耗作为损耗函数。焦点损失是分类交叉熵损失的一种变体，已被提出处理不平衡数据。
52.所述基于迁移学习的青光眼多模态智能识别系统的执行过程如下：
53.步骤1：采集青光眼原始电子病志与医学影像数据，标注数据标签为正常(n)、原发性开角型青光眼(poag)、原发性闭角型青光眼(pacg)、正常眼压型青光眼(ng)，构建青光眼多模态数据集；
54.数据集是基于赫尔辛基宣言收集317位个体的医学影像，每个个体具有电子病历，电子病历上明确标注了该人体的年龄、性别、主诉、现病史、既往史、视力、眼压、各项专科检查以及诊断的文本信息；同时全部个体采集了海德堡oct、视网膜神经纤维层图片和眼底照片，多数个体有ubm、slo、octa和眼压数据。
55.步骤2：对数据库中已收集并标注的原始图像输入数据预处理模块进行预处理，生成训练集；包括：
56.步骤2.1：基于卷积神经网络，针对患者电子病志中青光眼亚型的文字信息进行提取，提取的信息包括该人体的年龄、性别、主诉、现病史、既往史、视力、眼压、各项专科检查以及识别的关键词汇，用来作为多模态识别模块第一分支的输入；
57.步骤2.2：将原始的眼底照片裁剪成以视盘为中心的572
×
572像素的图像，将原始的海德堡oct和视神经纤维层厚度图像裁剪成以视盘为中心的224
×
224像素的图像，裁剪使用的方法为通过基本的cnn寻找视盘区域中最可能的像素，使用阈值来筛选候选像素以完成图像的裁剪，该基本的cnn由5个卷积模块组成，每个模块由3个卷积层和1个最大池化
层组成，卷积层的卷积核大小为3，padding为2，池化层的核大小为2，步距为2，卷积最后的输出将由卷积模块3、4、5经过不同大小的卷积核卷积并拼接而成；
58.微调过程的眼底图像被自动裁剪在1.5倍视盘半径的边界框周围。此外还包括：高斯滤波、图像增强、图像直方图均衡化、归一化等。对图像和元数据进行预处理的目的是减少数据集中噪声和不平衡类的影响，从而提高模型对隐藏在元数据和图像中的重要特征的学习能力。在深度学习(图像领域)中，数据增强是一种非常常用的增加训练样本数量的手段，特别是对于数量较少的医学数据。构成训练范例的医学影像中正常眼和其他青光眼亚型的数量接近1:1。
59.步骤2.3：对数据进行数据增强，采用垂直和水平镜像、90
°
、180
°
和270
°
旋转的方法，以及用固定尺寸的图框在原有分辨率上进行滑窗分割的方法，由上述方法得到扩增后的数据集,数据集中正常眼和青光眼亚型的数量比应尽量满足1:1；
60.步骤2.4：对数据进行高斯滤波以平衡对图像噪声的抑制和对图像的模糊，输入为扩增后的数据集，输出为滤波器窗口内的像素的均值，其窗口模板的系数随着距离模板中心的增大而系数减小；
61.步骤2.5：使用极大极小标准化方法，对图像进行标准化处理，经过数据标准化处理后，各指标处于同一数量级，适合进行综合对比评价；
62.步骤3：使用迁移学习的方法将文字识别网络参数赋值给分支一中的卷积神经网络，将分割网络参数赋值给分支二的u-net网络，将分类网络模型参数赋值给多模态青光眼识别模块中分支三的神经网络，并将神经网络除输出层外的参数固定，输入预处理后的训练集对多模态识别模块进行模型参数训练，得到训练后的多模态识别模块；包括：
63.将预处理后的文字信息输入到多模态识别模块的第一分支，通过k-means算法对青光眼患者的电子病志中的词语进行聚类，选择聚类中心作为一个主要关键词，计算其他词与聚类中心的距离即相似度，选择前n个距离聚类中心最近的词作为文本关键词；
64.使用青光眼关键词语料库进行word2vec模型训练，输入为语料库数据，输出为青光眼病型；
65.对于患者电子病志中的文本进行分词、词性标注、去重和去除停用词的数据预处理操作，最终得到n个候选关键词；
66.遍历候选关键词，从词向量文件中抽取候选关键词的词向量表示；
67.对候选关键词进行k-means聚类，得到各个类别的聚类中心；
68.计算各类别下，组内词语与聚类中心的距离(欧几里得距离)，按聚类大小进行升序排序；
69.对候选关键词计算结果得到排名前n个词汇作为诊断青光眼的文本关键词；
70.第二分支采用深度学习模型u-net，输入眼底照片进行视神经血管分割，输入三维眼底照片进行视杯与视盘分割，输出视神经血管分布特征和杯盘比；u-net采用全卷积神经网络，对图像进行卷积和池化操作以降低数据维度，随后使用上采样操作扩增图像维度，并将产生的特征图与卷积和池化操作得到的特征图进行concatenate拼接融合，最后再经过两次卷积操作生成特征图；
71.第一分支和第二分支的输出融合在一起作为元数据，输入到catboost分类器处理；
72.多模态神经网络的第三个分支将训练集中的海德堡oct、视神经纤维层厚度同时输入到深度学习网络模型中，利用迁移学习方法对构建的神经网络进行参数预训练，并使用度加权类激活映射(grad-cam)方法标定青光眼识别过程中神经网络重点关注区域，随后与catboost分类器的输出端融合，得到青光眼亚型的综合诊断结果；
73.对于多模态识别模块的第二分支，需将图像特性引入元数据，因此，本发明在分割视盘和光杯区域时，采用了一种流行的深度学习模型u-net，这是一种著名的基于fcn的u型结构模型，它由类似于英文大写字母u的下采样和上采样结构组成，并在同一阶段采用跳跃连接，从而确保更多的高级和低级功能被集成到最终的功能图中。unet采用全卷积神经网络。由使用conv和pooling的特征提取网络和使用上采样产生的特征图与左侧特征图进行concatenate操作的特征融合网络组成。最后再经过两次卷积操作，生成特征图，再用两个卷积核大小为1*1的卷积做分类得到最后的两张heatmap，然后作为softmax函数的输入，算出概率比较大的softmax，再进行loss，反向传播计算。第一分支和第二分支随后会混合在一起作为元数据，并使用catboost分类器处理。
74.对于多模态识别模块的第三分支将海德堡oct、视神经纤维层厚度和彩色眼底照片同时输入到基于迁移学习的神经网络中。所述的深度学习模型骨干包括resnet、googlenet、densenet、shufflenet、efficientnet和vision transformer。
75.如图2所示，深度学习模型骨干resnet利用残差模块和批量归一化(bn)层对数据进行标准化，有效解决了梯度消失和梯度爆炸的问题。残差模块使用了三个卷积层，第一个是1x1的卷积层用来压缩channel维度，第二个是3x3的卷积层，第三个是1x1的卷积层用来还原channel维度。海德堡oct和眼底照片都采样视盘周围的区域，经过多次卷积，特征提取大致相同，所以在构建网络时将这两种信息在卷积模块3的输出端进行融合。视神经纤维层厚度图像是视神经纤维层的扩展图像，提取的特征是视神经纤维层厚度，因此图像单独卷积了5个模块。最后，三种数据在卷积模块5的输出端进行融合，一起进入平均池，输出青光眼分类。
76.如图3所示，深度学习模型骨干googlenet由inception模块和辅助分类器构成，inception结构一共有4个分支，分支1是卷积核大小为1x1的卷积层，stride＝1；分支2首先经过卷积核大小为1x1的卷积层，然后是卷积核大小为3x3的卷积层，stride＝1，padding＝1(保证输出特征矩阵的高和宽和输入特征矩阵相等)；分支3首先经过卷积核大小为1x1的卷积层，然后是卷积核大小为5x5的卷积层，stride＝1，padding＝2(保证输出特征矩阵的高和宽和输入特征矩阵相等)，分支4首先经过池化核大小为3x3的最大池化下采样，stride＝1，padding＝1(保证输出特征矩阵的高和宽和输入特征矩阵相等)，随后经过卷积核大小为1x1的卷积层。海德堡oct和眼底照片的数据在inception模块(4d)的输出端进行融合，视神经纤维层单独处理，在inception(5b)的输出端与前两种数据进行融合，一起进入softmax中，进行青光眼分类。
77.如图4所示，深度学习模型骨干densenet的一个优点是网络更窄，参数更少。每一层都可以直接获取损失函数和原始输入信号的梯度，从而得到隐式的深度监督。经过7
×
7卷积层和pooling层后，再经过dense block和transition layer的交叉结构，dense block的主要思想是：对于每一层，前面所有层的特征映射作为当前层输入，而自己的特征映射为后续层输入，形成全互链接。每层提取出来的特征映射都可以供后续层使用。海德堡oct和
眼底照片图像在transition layer2的输出端进行融合，将三个分支网络合并为两个分支。经过一个dense block和transition layer，将视神经纤维层厚度信息与前二者信息融合，一起进入全局平均池化层，进行青光眼分类。
78.如图5所示，深度学习模型骨干shufflenet利用逐点群卷积(pointwise group convolution)和通道混洗(channel shuffle),与现有先进模型相比在类似的精度下大大降低计算量，海德堡oct和眼底照片图像在模块3的输出端进行融合。经过模块4后，将视神经纤维层厚度信息与前二者信息融合，一起进入卷积层和全局平均池化层，进行青光眼分类。
79.如图6所示，深度学习模型骨干efficient网络总共分成了9个stage，第一个stage是一个卷积核大小为3x3，步距为2的普通卷积层(包含bn和激活函数swish)，stage2～stage8都是在重复堆叠mbconv结构，stage9由一个普通的1x1的卷积层(包含bn和激活函数swish)一个平均池化层和一个全连接层组成。mbconv结构主要由一个1x1的普通卷积(升维作用，包含bn和swish)，一个k x k的depthwise conv卷积(包含bn和swish)，一个se模块，一个1x1的普通卷积(降维作用，包含bn)，一个dropout层构成。
80.如图7所示，深度学习模型骨干vision transformer(vit)的模型框架。简单而言，模型由三个模块组成：embedding层、transformer encoder和mlp head。transformer encoder其实就是重复堆叠encoder block l次，主要由以下几部分组成：layer norm，multi-head attention，dropout/droppath和mlp block。
81.步骤4：将需要进行青光眼亚型分类的患者数据输入到已经训练好的多模态识别模块中，进行青光眼识别。患者电子病志中的文本信息输出第一个分支进行特征文字提取，将患者的医学影像进行预处理后分别输入第二分支和第三分支，利用第二分支进行杯盘比特征提取；利用第三分支得到多种医学影像综合诊断的青光眼类型。
82.本发明可以运用迁移学习的方法，通过对网络参数的预训练，极大减少了训练网络所使用的数据量。本发明首次提出青光眼诊断的多模态神经网络，充分利用了数据的文本信息和图像信息，多特征综合诊断，极大提高了青光眼诊断的准确性。同时，本发明实现了诊断深入到青光眼的亚型，突破了传统只能诊断是否为青光眼的技术手段。通过基于迁移学习的青光眼多模态智能诊断网络，实现自动从训练数据库中学习诊断青光眼的多模态特征。在测试中，本方法使用了317位人体的数据进行训练，相比于医师人工诊断和传统技术，本方法的总体精度平均为94.7％。我们的数据集在青光眼诊断方面优于大多数数据集，准确率为87.8％。采用本发明可以运用于医院临床诊断，大规模体检，边远山区检查以及居家检查。