基于多模态的糖尿病及其并发症智能辅助预测与诊断平台

本发明涉及的领域：人工智能，医疗诊断，深度学习，图像处理，辅助诊断系统。

背景技术：

1、糖尿病致死致残率高的核心就是血管并发症，其中冠状动脉病变(coronaryartery disease,cad)是最主要的大血管并发症，糖尿病视网膜病变(diabetesretinopathy,dr)是最主要的微血管并发症之一。糖尿病患者cad的发病率可高达55％,是糖尿病患者最常见的死亡原因,dr是主要的致盲疾病,均需要庞大的社会资源及医疗资源支出。因此，如何更准确地预测、预防、减少糖尿病及其血管并发症(cad、dr)的发生是今后糖尿病及其并发症防控的关键。未病先防，可从源头上减少糖尿病的发生，是最基础、最经济有效的管理策略，但传统的糖尿病风险预测模型存在效能差、稳定性差、成本高、实施难度大等特点。因此，开发高效、稳定性高、无创、可及性高的糖尿病及dr和cad的预测评估模型十分必要。

2、糖尿病的确诊至今仍依靠单一的血糖指标，即血清葡萄糖水平或糖化血红蛋白(hba1c)水平。从诊断上看，糖尿病已经成为一种“数字病”。而糖尿病的主要血管并发症如dr及cad的诊断则需要多种医疗技术进行辅助诊断，dr的诊断主要通过眼底检查明确，cad的诊断则需要依靠于患者的症状、体征、心电图、运动试验、冠脉ct或者冠脉造影等结果综合进行诊断。这种方式不仅增加了诊断开销与临床医师的压力，同时难以满足糖尿病及dr和cad早期预测的需求。

3、从以上痛点出发，本文提出通过人工智能的方式，开发一款自动化的、实时的糖尿病及dr和cad的预测评估模型，进而辅助医生诊断。在给出患者视网膜眼底图像以及相应临床指标的前提下，利用人工智能的算法实现糖尿病及dr和cad的准确预测与评估，有效预防疾病的发生，减轻家庭及社会的负担，为经济社会发展做出贡献。

技术实现思路

1、基于多模态的糖尿病及其并发症智能辅助预测与诊断平台包括：

2、信息采集存储处理模块，眼底视网膜图像预处理模块，糖尿病风险预测模块，dr评估与预测模块，cad预测评估模块，初步诊断生成模块，预测评估模型更新优化模块；

3、所述的信息采集存储处理模块用于该平台的信息录入人员将社会面上的正常人群、糖尿病前期人群的病例数据信息录入平台；

4、所述的眼底视网膜图像预处理模块用于将采集的眼底视网膜图像进行预处理操作并将其与个人编码信息进行特征融合得到临床与生物指标特征；

5、所述的糖尿病风险预测模块用于将临床与生物指标特征输入风险预测模块进行风险等级预测；

6、所述的dr预测与评估模块用于对于糖尿病检测为阳性的患者，进行糖尿病并发症dr的评估与预测；

7、所述的cad预测评估模块用于提取患者视网膜眼底图像的特征，随后利用注意力机制捕获患者个人信息与生物指标的编码结果以及图像特征上下文联系并构建并行分支，最后将并行分支进行决策融合得到cad评估结果；

8、所述的初步诊断生成模块用于根据预测评估模块得到预测结果生成初步诊断意见和初步分析报告，医生查看初步诊断意见和初步分析报告，进行人工复核生成最终分析报告；

9、所述的预测诊断评估模型更新优化模块用于将糖尿病及dr和cad评估与风险预测模型部署到不同的医疗机构，利用联邦学习策略实现模型的实时更新。

10、进一步地，所述的信息采集存储处理模块用于该平台的信息录入人员将社会面上的正常人群、糖尿病前期人群的病例数据信息录入平台；实现步骤如下；

11、(1)预测糖尿病前瞻性纵向队列的构建

12、所述的信息采集人群包括健康受试者或糖尿病前期患者，年龄范围为18-70周岁，具备视网膜照片，血糖代谢，肝肾功能；

13、所述的病例数据信息包括人口资料，糖代谢病史及家族史，视网膜照片，血糖代谢，肝肾功能；

14、(2)预测dr纵向队列的构建

15、所述的信息采集人群包括既往诊断为2型糖尿病患者，年龄范围为18-70周岁，具备不少于两次视网膜照片，其中第一次视网膜照片显示无dr，具备血糖代谢，肝肾功能相关数据；

16、所述的病例数据信息包括人口资料，糖代谢病史及家族史，眼底照片；

17、(3)评估糖尿病cad横断面数据构建

18、所述的信息采集人群包括既往诊断为2型糖尿病患者，年龄范围为18-70周岁，完成冠状动脉造影，具备视网膜照片，血糖代谢，肝肾功能相关数据；

19、所述的病例数据信息包括人口资料，糖代谢病史及家族史，冠状动脉造影狭窄结果、眼底照片。

20、进一步地，所述的眼底视网膜图像预处理模块用于将采集的眼底视网膜图像进行预处理操作并将其与个人编码信息进行特征融合得到临床与生物指标特征；实现步骤如下：

21、(1)生物指标计算模块

22、所述的生物指标包括：眼底图像血管分支角度、弯曲度、分形维数、crae、crve、avr；

23、(2)个人信息编码模块

24、所述的个人信息为年龄、性别、吸烟、喝酒、bmi、血压、血糖、血脂；

25、进一步地，所述的糖尿病风险预测模块用于将临床与生物指标特征输入风险预测模型进行风险等级预测；具体步骤为：

26、(1)首先构建糖尿病风险预测网络，对输入的眼底视网膜图像进行模型训练

27、(2)将用户的临床特征与相关生物标志物特征以及糖尿病预测模型特征融合，输入至多层感知机(mlp)进行预测用户两年后2型糖尿病患病风险分层。

28、进一步地，所述的dr评估与预测模块用于对于糖尿病检测为阳性的患者，进行糖尿病并发症dr的评估与预测；具体步骤为：

29、(1)dr评估模块

30、采用多尺度特征提取技术，输入不同尺寸的图像，提取低分辨率特征图的语义信息和高分辨率特征图的细节信息，并将其进行融合，提高网络的性能，之后将编码器的结果连接到一个全连接层，实现dr等级评估任务，最后，通过解码器实现分割任务，实现硬参数共享的分割、分类；

31、(2)dr预测模块

32、采用2年后患dr状况作为标签，用基线视网膜眼底图像进行特征提取器的预训练并得到热图，随后利用2年后眼底图像的病变区域与热图突出显示区域对比，对网络的特征提取模块进行校正，以提升提取有效特征的能力，用训练好的特征提取模块提取眼底图像的特征，并将吸烟状况及高血脂等临床指标和crve及小动脉弯曲度等生物指标进行编码得到向量，最后采用特征拼接的方式将这些特征进行融合送到全连接层中进行分类得到dr的风险分层预测；

33、进一步地，所述的cad预测评估模块用于提取患者视网膜眼底图像的特征，随后利用注意力机制捕获患者个人信息与生物指标的编码结果以及图像特征上下文联系并构建并行分支，最后将并行分支进行决策融合得到cad评估结果；具体步骤如下：

34、(1)通过视网膜眼底图像、临床数据与提取的视网膜血管指标三种信息进行多模态混合融合，以造影检测结果为辅助作为诊断标签，对患者是否患有cad及所患cad严重等级进行诊断

35、(2)临床数据与提取的视网膜血管指标通过特征融合以扩充信息量，融合信息与视网膜眼底图像分别输入到网络中进行并行训练，该网络以深度学习网络为主干，添加注意力模块以提升模型性能，网络训练结果通过决策融合方法统筹网络输出结果得到患者所患cad严重等级

36、(3)cad严重等级根据心血管狭窄程度分类

37、进一步地，所述的初步诊断模块用于根据各预测评估模块得到预测结果生成初步诊断意见和初步分析报告；具体步骤如下：

38、医生将视网膜眼底图像及病例信息和初步分析报告进行复核，结合初步诊断意见通过报告生成模块生成诊断报告。

39、进一步地，所述的预测诊断评估模型更新优化模块用于将糖尿病及dr和cad评估与风险预测模型部署到不同的医疗机构，利用联邦学习策略实现模型的实时更新；实现步骤如下：

40、(1)采用融合先验知识与混沌理论的多用户诊断模型联合迭代方法，将先验分布与源客户端数据一同训练，使得每一个源客户端的训练过程中优化目标包含三个分量，即源监督损失、先验监督损失和先验对齐损失

41、(2)将训练后的参数进行混沌加密生成与客户端模型训练所得模型参数数量相同的随机数列，然后对该随机数列进行顺序排列，得到其索引序列，通过索引序列的值，对各个客户端的训练模型参数进行置乱，将置乱后的参数进行同态加密后送入中心服务器进行聚合运算

42、(3)服务器将计算后的密文传回客户端经过同态解密、混沌解密后可以更新客户端模型且保护数据隐私，在源客户端训练完毕后将模型参数与先验分布运用于目标客户端进行训练优化先验监督损失和领域适应损失以完善模型。

43、发明效果

44、1.多模式构建糖尿病及dr和cad数据平台，积累数据资源

45、本平台以前瞻性队列为研究基础，为预测糖尿病、dr提供更精准可靠的数据，提供更加准确预测发病的风险和时机，据此方可制定更有针对性的预防策略。评估cad方面，独创性的使用视网膜图片评估cad诊断金标准：冠脉造影狭窄程度，为cad的评估提供更加精准详细的分析结果。通过视网膜影像技术在糖尿病及其相关并发症发生之前进行预测，将关口前移使本平台更具有疾病预防的价值。

46、2.以深度学习为主线，结合糖尿病及dr和cad诊断先验知识

47、本平台是深度学习在糖尿病及其并发症早期预测与评估的具体应用。大多数深度模型为一般性任务或者其他特殊任务提出，直接用在本项目的任务上难以取得好的效果。通过结合具体情况设计不同的深度神经网络，同时融入糖尿病及其并发症诊断相关的先验知识，有效提高深度模型的性能。

48、3.量化糖尿病及dr和cad生物指标，探索未知风险因素

49、当前对于糖尿病、dr以及cad的早期预测与评估的研究较少，临床上缺少早期预测与评估的量化指标与规律，但这些规律对于临床诊断是至关重要的。通过对视网膜眼底图像进行大数据分析，探索糖尿病及dr和cad早期阶段引起的眼底形态结构的变化，为临床诊断提供宝贵的经验，同时也可以进一步提升自动诊断系统的性能。

50、4.联邦知识迁移，实时更新模型

51、目前的方法泛化性能较差，只适用于部分医疗机构，且无法实现模型的实时更新，难以满足实际应用中眼底图像复杂多变的要求。将模型进行云端部署，利用联邦学习策略，在保护数据隐私的前提下利用不同医疗机构的实现模型的实时更新，不断提升模型的泛化性能，以使本软件具有跨平台、跨机构的普适性。