眼底照片分类方法、眼底图像处理方法和系统

1.本发明涉及到医疗图像分类检测技术领域，具体涉及一种眼底照片分类方法、眼底图像处理方法和系统。


背景技术：

2.慢性肾病(ckd)是一种影响全球公共卫生问题的慢性疾病。慢性肾病的流行率和发病率逐年增加，具有高发病率、治疗困难、死亡率高和知晓率低的特点。慢性肾病往往伴随着高血压、糖尿病等心血管疾病，当慢性肾病逐渐恶化，患者需要肾移植或长期依赖透析来维持生命。
3.研究表明，对慢性肾病患者进行早期诊断和治疗能够有效地防止病情的进一步恶化，而防治的其中一个手段是通过眼底照相检查，定期体检观察病情的进展，以便及时干预。但是仅凭医生肉眼观察眼底照片有诸多不便，一来只靠经验很难准确判断和分类，二来需要巨大的阅片工作量。如何把潜在的目标眼底照片分类并挑选出来，供医生参考，提高分类的准确性，是一直以来急需解决的问题。
4.近年来，随着计算机视觉技术的发展，许多深度学习模型已经在医疗图像领域得到广泛应用。因此，为了在保证识别准确率的同时减少人工筛查的时间和精力，设计一种可用于慢性肾病检测的眼底照片的图像预处理和深度学习分类方法是十分必要的。
5.目前基于眼底照片的分类方法主要分为三类：第一类是通过医生肉眼观察，手动标定疾病相关区域；第二类是使用图像分割、特征提取等手段，提取眼底照片的视杯/视盘比、动静脉比等特征，并结合机器学习的方法进行分类；第三类是使用端对端的深度学习模型，直接进行预测。
6.通过医生肉眼观察、手动标定的手段，较为依靠医生的主观经验，且工作量巨大、效率低下；使用图像分割、特征提取等手段，提取眼底照片的视杯/视盘比、动静脉比等特征，并结合机器学习的方法进行分类，一般算法流程设计复杂，计算速度慢，非常考验疾病和提取特征的相关性，如果提取的特征和疾病的相关性不佳或是提取特征的算法不稳定，都可能导致分类效果不理想；使用端对端的深度学习模型进行分类，需要保证输入端眼底照片的质量控制，一旦输入的眼底照片质量不佳，深度学习模型无法达到正常的分类效果。


技术实现要素：

7.本发明提出的一种眼底照片分类方法和系统，可解决现有慢性肾病检测中基于眼底照片的分类方法效率低且准确度低的技术问题。
8.为实现上述目的，本发明采用了以下技术方案：
9.根据本发明一方面，提供了一种可用于慢性肾病检测的眼底照片分类方法，
10.包括以下步骤：
11.s100、获取眼底照片并进行预处理，生成标准化的眼底图片；
12.s200、把所述眼底图片划分为训练集和测试集，并对训练集进行数据扩增；
13.s300、对s200的训练集和测试集进行数据预处理，保证在训练阶段输入模型的每个batch类别均匀；
14.s400、基于s300集成学习策略，并训练分支神经网络模型；
15.s500、进行模型融合，得到最终检测模型，实现对眼底照片的分类。
16.进一步的，所述s100获取眼底照片并进行预处理，生成标准化的眼底图片；
17.包括：
18.1.8)对于每张眼底照片，首先提取感兴趣区域(roi)，提取眼底照片的r通道分量，二值化处理；
19.1.9)对二值化之后的r通道分量使用5x5的卷积核进行闭运算，选定种子点(int(h/2),int(w/2))，其中h为图像的高度，w为图像的宽度，int表示对浮点数进行取整，使用连通组件分析算法提取位于眼底照片正中央的圆形/圆形截面区域作为掩模1；
20.1.10)求出二值化掩模1图像的最小外接矩形，并向外扩张10个像素点值作为掩模2；
21.1.11)基于掩模1图像对原始眼底照片进行pixel-wise操作，即对于原始图像和二值化掩模1图像中相对应的点，若掩模1图像上对应的点值为1，则保留原始图像rgb三通道的值；若掩模1图像上对应的点值为0，则将原始图像rgb三通道的值均置0；
22.1.12)基于二值化掩模2图像，剪切原始眼底照片得到中间图像，达到提取roi区域的目的；
23.1.13)提取中间图像的g通道分量，对于相应掩模1图像中像素值不为0的点使用直方图均衡化的方法，增强图像对比度，其中，n为像素点数总数目，v为原始灰度级，s为直方图均衡化处理后的灰度级，取值从0到255，cdf为v的累计分布函数，round表示四舍五入为整数；cdf
min
为cdf的最小值；
24.1.14)合并中间图像和r通道分量、直方图均衡化处理后的g通道分量以及b通道分量，得到预处理之后的眼底照片。
25.进一步的，所述s200、把处理后的眼底照片划分为训练集和测试集，并对训练集进行数据扩增；
26.其中，把处理后的眼底照片划分为训练集和测试集，具体包括：
27.按照4:1的比例，使用分层抽样的方法将原始的眼底照片数据集随机划分为训练集和测试集；
28.在训练集中，再次使用分层抽样的方法将数据随机划分为训练集1、训练集2、训练集3、训练集4、训练集5一共5个互不相交的子集。
29.进一步的，所述s200、把处理后的眼底照片划分为训练集和测试集，并对训练集进行数据扩增；
30.其中，并对训练集进行数据扩增，具体包括：
31.对于每一个训练集子集中的眼底照片，通过随机使用以下任意一种方法实现数据扩增：
32.3.1)左右翻转；
33.3.2)以0到0.1之间的随机比例裁剪图像后resize成原始图像尺寸；
34.3.3)使用尺寸为5x5，σ随机的高斯滤波器进行平滑处理。
35.进一步的，所述s300、对s200的训练集和测试集进行数据预处理，保证在训练阶段输入模型的每个batch类别均匀；
36.具体包括：
37.4.1)经过图像预处理后的眼底照片维度为：(h,w,c)，其中h为图像的高度，w为图像的宽度，c为通道数；每个通道的像素点取值范围为0～255，对像素点的取值范围进行归一化处理，将其映射到0～1区间；
38.4.2)设定模型训练的超参数；
39.批处理量batch size和尺寸l，设定各训练集中的batch size＝16，l＝600；
40.对于训练集，按阴性样本即无慢性肾病和阳性样本即有慢性肾病以12:4的比例准备输入数据，其中阴性样本为无放回抽样，阳性样本为有放回抽样；测试集的batch size＝1，阴性和阳性样本均为无放回抽样；
41.对输入的眼底图像进行resize操作，使其维度为(l,l,c)，进而得到的输入数据格式为m个(l,l,c,n)的张量数据，其中n即batch size，m为总的batch个数。
42.进一步的，所述s400基于s300集成学习策略，并训练分支神经网络模型；
43.其中，集成学习策略，具体包括：
44.在5个互不相交的训练集子集的基础上各训练5个分支模型；
45.每一个模型使用4个训练集子集作为训练集，留下的一个训练集子集作为测试集调整参数分支模型；
46.每一个分支模型的训练和调参过程互相独立。
47.进一步的，所述s400基于s300集成学习策略，并训练分支神经网络模型；
48.其中，训练分支神经网络模型；具体包括：
49.6.1)对于每一个分支模型，都以densenet-101为基本网络结构，并去掉densenet-101最后的全连接层，添加输出维度为2的全连接层，模型参数使用基于imagenet预训练好的参数进行迁移学习或重新训练；
50.6.2)深度学习模型的损失函数采用focal loss损失函数，其具体公式为：
[0051][0052]
其中，α和γ为人工设置的超参数，具体的α＝0.6，γ＝0.25，p为softmax输出的图像为阳性样本的概率值，y为图像的真实标签，y＝1表示患有慢性肾病，y＝0表示未患慢性肾病，为了防止过拟合现象，再使用l2正则化对模型进行约束；
[0053]
6.3)模型的优化策略采用adam优化器进行；adam优化步骤如下：
[0054][0055]mt
＝β1m
t-1
+(1-β1)g
t
[0056]
[0057][0058]
其中，g
t
为t时刻损失函数l对参数θ的梯度，β1和β2均为超参数，β1＝0.9和β2＝0.999，且m0＝0，v0＝0，α为学习率，e为分母保护参数；α＝0.0001，e＝1*10-8
，θ
t
为更新后的参数；
[0059]
6.4)dropout策略，在训练过程中模型后层有40％的随机参数不参与梯度的反向传播；
[0060]
6.5)early-stop策略，在分支模型的训练过程中，一旦出现训练集上的loss和测试集上的loss绝对值距离明显越来越大时，停止训练，保留出现偏差过大情况之前的模型。
[0061]
进一步的，所述s500进行模型融合，得到最终检测模型，实现对眼底照片的分类；
[0062]
具体包括：
[0063]
对于训练完毕的分支模型，在测试过程中，使用soft-voting的方式求得模型的最终分类结果。
[0064]
另一方面，本发明还公开一种眼底照片分类系统，包括以下单元：
[0065]
眼底照片预处理单元，用于获取眼底照片并进行预处理，生成标准化的眼底图片；
[0066]
眼底照片划分单元，用于把处理后的眼底照片划分为训练集和测试集，并对训练集进行数据扩增；
[0067]
训练集和测试集处理单元，对训练集和测试集进行数据预处理，保证在训练阶段输入模型的每个batch类别均匀；
[0068]
模型训练单元，用于基于集成学习策略，并训练分支神经网络模型；
[0069]
模型融合确定单元，用于进行模型融合，得到最终检测模型，实现对眼底照片的分类。
[0070]
根据本发明又一方面，还提供了一种眼底图像处理方法，其特征在于包括以下步骤：
[0071]
构建第一数据集,包括原始眼底图像预处理以及对预处理后的眼底图像进行数据筛选，所述原始眼底图像预处理包括数据脱敏、提取roi以及增强对比度，所述对预处理后的眼底图像进行数据筛选包括利用mobilenet v3 large模型以及soft voting的方法对预处理后的眼底图像进行筛选，清除质量不达标的眼底图像，构建所述第一数据集；
[0072]
构建具有ccam模块的卷积神经网络模型，所述卷积神经网络模型包括主干网络和所述ccam模块，所述主干网络包括输入、第一卷积层、mlp和第一sigmoid，所述ccam模块包括上层支路和下层支路，所述上层支路用于在第一特征图的基础上使用第二卷积层实现cam的提取，并用第二sigmoid差异化特征的重要性；所述下层支路使用激励和挤压操作提取第一特征图的通道权重，结合cam进行scale操作得到带通道注意力机制的通道cam图，所述通道cam图再与所述第一特征图做哈达玛积操作并与所述第一特征图相加输入全连接层或者gap中；所述第一特征图为第一卷积层的输出；
[0073]
以focal loss作为损失函数，利用所述第一数据集训练所述具有ccam模块的卷积神经网络模型；
[0074]
利用训练后的所述具有ccam模块的卷积神经网络模型对用户的眼底图像进行处理并输出分类结果。
[0075]
根据本发明又一方面，mlp为全连接层或者gap(全局平均池化)。
[0076]
根据本发明又一方面，采集用户的左右眼底图像并进行数据脱敏、提取roi以及增强对比度。
[0077]
根据本发明又一方面，采用训练后的所述具有ccam模块的卷积神经网络模型并行对所述左右眼底图像进行处理，分别输出左眼第二特征图和右眼第二特征图，然后以通道为轴，聚合到一起，作为输入全连接层或gap的特征张量，最后输出分类结果。
[0078]
根据本发明又一方面，利用smoothgrad-cam++方法对所述卷积神经网络模型的决策依据区域进行可视化并生成热力图。
[0079]
由上述技术方案可知，本发明的眼底照片分类方法基于眼底照片进行实现。本发明的针对眼底照片预处理的方法以及对于深度学习分类模型；具体来说，包括通过眼底照片预处理，生成标准化的眼底照片整个的图像预处理步骤；以及输入数据预处理中的按比例分配每个batch中阳性与阴性样本的数量；集成学习加上focal loss解决眼底照片分类中的类不平衡问题。
[0080]
相比于通过医生肉眼观察、手动标定的手段，本发明效果高，自动化程度优秀；相比于使用图像分割、特征提取等手段，提取眼底照片的视杯/视盘比、动静脉比等特征，并结合机器学习的方法进行分类的方法，本发明计算速度快，运行时占用计算机资源较少；相比于使用端对端的深度学习模型进行分类，本发明保证了输入端眼底照片的质量控制，且在一定程度上解决了过拟合的问题。
附图说明
[0081]
图1是本发明的方法的原理图；
[0082]
图2是本发明的方法中通过眼底照片预处理，生成标准化的眼底照片的示意图；
[0083]
图3是本发明网络模型训练示意图；
[0084]
图4是本发明模型融合示意图；
[0085]
图5是本发明具有ccam模块的卷积神经网络模型的示意图；
[0086]
图6是本发明左右眼特征融合网络示意图。
具体实施方式
[0087]
为使本发明实施例的目的、技术方案和优点更加清楚，下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例是本发明一部分实施例，而不是全部的实施例。
[0088]
实施例1
[0089]
本发明实施例所述的眼底照片分类方法，主要运用图像形态学和深度学习方法，使用形态学的方法对眼底照片进行预处理，然后在参照densenet-101网络模型的基础上引入了更适用于发病率问题的focal loss损失函数和类不平衡问题的训练策略，设计出了一种基于densenet-101网络模型的自动分类方法。
[0090]
为实现上述发明目的，本发明实施例提出一种基于深度学习算法的眼底照片的图
像预处理和自动分类方法，包括以下步骤：
[0091]
(1)通过眼底照片预处理，生成标准化的眼底照片，如图2所示
[0092]
1.15)对于每张眼底照片，首先提取感兴趣区域(roi)，提取眼底照片的r通道分量，二值化处理；
[0093]
1.16)对二值化之后的r通道分量使用5x5的卷积核进行闭运算，选定种子点(int(h/2),int(w/2))，其中h为图像的高度，w为图像的宽度，int表示对浮点数进行取整，使用连通组件分析算法提取位于眼底照片正中央的圆形/圆形截面区域作为掩模1；
[0094]
1.17)求出二值化掩模1图像的最小外接矩形，并向外扩张10个像素点值作为掩模2；
[0095]
1.18)基于掩模1图像对原始眼底照片进行pixel-wise操作，即对于原始图像和二值化掩模1图像中相对应的点，若掩模1图像上对应的点值为1，则保留原始图像rgb三通道的值；若掩模1图像上对应的点值为0，则将原始图像rgb三通道的值均置0；
[0096]
1.19)基于二值化掩模2图像，剪切原始眼底照片得到中间图像，达到提取roi区域的目的；
[0097]
1.20)提取中间图像的g通道分量，对于相应掩模1图像中像素值不为0的点使用直方图均衡化的方法，增强图像对比度，其中，n为像素点数总数目，v为原始灰度级，s为直方图均衡化处理后的灰度级，取值从0到255，cdf为v的累计分布函数，round表示四舍五入为整数；cdf
min
为cdf的最小值；
[0098]
1.21)合并中间图像和r通道分量、直方图均衡化处理后的g通道分量以及b通道分量，得到预处理之后的眼底照片。
[0099]
(2)划分训练集和测试集
·
[0100]
按照4:1的比例，使用分层抽样的方法将原始的眼底照片数据集随机划分为训练集和测试集。在训练集中，再次使用分层抽样的方法将数据随机划分为训练集1、训练集2、训练集3、训练集4、训练集5一共5个互不相交的子集。
[0101]
(3)通过数据扩增，扩充训练集
[0102]
对于每一个训练集子集中的眼底照片，通过随机使用以下一种或多种方法实现数据扩增：
[0103]
3.1)左右翻转；
[0104]
3.2)以0到0.1之间的随机比例裁剪图像后resize成原始图像尺寸；
[0105]
3.3)使用尺寸为5x5，σ随机的高斯滤波器进行平滑处理。
[0106]
(4)输入数据预处理
[0107]
4.1)经过图像预处理后的眼底照片维度为(h,w,c)，其中h为图像的高度，w为图像的宽度，c为通道数。每个通道的像素点取值范围为0～255，这里对像素点的取值范围进行归一化处理，将其映射到0～1区间；
[0108]
4.2)设定模型训练的超参数——批处理量batch size和尺寸l，这里设定各训练集中的batch size＝16，l＝600。对于训练集，按阴性样本(无慢性肾病)和阳性样本(有慢性肾病)以12:4的比例准备输入数据，其中阴性样本为无放回抽样，阳性样本为有放回抽样；测试集的batch size＝1，阴性和阳性样本均为无放回抽样。训练集维持阳性样本与阴
性样本比例恒定是为了保证每次更新梯度时不会因为类不平衡问题而陷入局部最小点。对输入的眼底图像进行resize操作，使其维度为(l,l,c)，进而得到的输入数据格式为m个(l,l,c,n)的张量数据，其中n即batch size，m为总的batch个数。
[0109]
(5)集成学习策略
[0110]
训练深度学习模型的主要策略为集成学习，即在5个互不相交的训练集子集的基础上各训练5个分支模型。每一个模型使用4个训练集子集作为训练集，留下的一个训练集子集作为测试集调整参数分支模型。举例而言，分支模型1使用训练集2、3、4、5作为训练集训练，以训练集1作为验证集调整参数。每一个分支模型的训练和调参过程互相独立。
[0111]
(6)网络模型训练，如图3所示
[0112]
6.1)对于每一个分支模型，都以densenet-101为基本网络结构，并去掉densenet-101最后的全连接层，添加输出维度为2的全连接层，模型参数可以使用基于imagenet预训练好的参数进行迁移学习，也可以重新训练；
[0113]
其中网络模型结构还可以采用vgg、resnet等；
[0114]
6.2)深度学习模型的损失函数采用focal loss损失函数，其具体公式为：
[0115][0116]
其中，α和γ为人工设置的超参数，这里α＝0.6，γ＝0.25，p为softmax输出的图像为阳性样本的概率值，y为图像的真实标签，y＝1表示患有慢性肾病，y＝0表示未患慢性肾病，为了防止过拟合现象，再使用l2正则化对模型进行约束；
[0117]
6.3)模型的优化策略采用adam优化器进行。adam优化步骤如下：
[0118][0119]mt
＝β1m
t-1
+(1-β1)g
t
[0120][0121][0122]
其中，g
t
为t时刻损失函数l对参数θ的梯度，β1和β2均为超参数，β1＝0.9和β2＝0.999，且m0＝0，v0＝0，α为学习率，e为分母保护参数。这里α＝0.0001，e＝1*10-8
，θ
t
为更新后的参数；
[0123]
6.4)dropout策略，在训练过程中模型后层有40％的随机参数不参与梯度的反向传播；
[0124]
6.5)early-stop策略，在分支模型的训练过程中，一旦出现训练集上的loss和测试集上的loss偏差绝对值明显越来越大时，停止训练，保留出现偏差过大情况之前的模型。
[0125]
(7)测试集上的模型融合，如图4所示
[0126]
对于训练完毕的5个分支模型，在测试过程中，使用soft-voting的方式求得模型的最终分类结果，将该最终分类结果提供给例如医生参考。
[0127]
其中本步骤还可以采用hard-voting替换soft-voting。
[0128]
可以理解是的，采用本发明实施例的方法确定后的训练模型，可以直接输入眼底照片然后自动输出分类结果，快速且准确。
[0129]
综上可知，本发明实施例的眼底照片分类方法，相比于通过医生肉眼观察、手动标定的手段，本发明效果高，自动化程度优秀；相比于使用图像分割、特征提取等手段，提取眼底照片的视杯/视盘比、动静脉比等特征，并结合机器学习的方法进行分类的方法，本发明计算速度快，运行时占用计算机资源较少；相比于使用端对端的深度学习模型进行分类，本发明保证了输入端眼底照片的质量控制，且在一定程度上解决了过拟合的问题。
[0130]
另一方面，本发明还公开一种眼底照片分类系统，包括以下单元：
[0131]
眼底照片预处理单元，用于获取眼底照片并进行预处理，生成标准化的眼底图片；
[0132]
眼底照片划分单元，用于把处理后的眼底照片划分为训练集和测试集，并对训练集进行数据扩增；
[0133]
训练集和测试集处理单元，对训练集和测试集进行数据预处理，保证在训练阶段输入模型的每个batch类别均匀；
[0134]
模型训练单元，用于基于集成学习策略，并训练分支神经网络模型；
[0135]
模型融合确定单元，用于进行模型融合，得到最终检测模型，实现对眼底照片的分类。
[0136]
可理解的是，本发明实施例提供的系统与本发明实施例提供的方法相对应，相关内容的解释、举例和有益效果可以参考上述方法中的相应部分。
[0137]
本技术实施例还提供了一种电子设备，包括处理器、通信接口、存储器和通信总线，其中，处理器，通信接口，存储器通过通信总线完成相互间的通信；
[0138]
存储器，用于存放计算机程序；
[0139]
处理器，用于执行存储器上所存放的程序时，实现上述眼底照片分类方法；
[0140]
在本技术提供的又一实施例中，还提供了一种计算机可读存储介质，该计算机可读存储介质内存储有计算机程序，所述计算机程序被处理器执行时实现上述任一眼底照片分类方法的步骤。
[0141]
在本技术提供的又一实施例中，还提供了一种包含指令的计算机程序产品，当其在计算机上运行时，使得计算机执行上述实施例中任一眼底照片分类方法。
[0142]
实施例2
[0143]
现有技术中，采用注意力分支模块的卷积神经网络模型被用于处理眼底图像数据，但注意力分支模块仍存在很多不足。首先，注意力分支模块参考了cam的做法，将与softmax相连的全连接层替换为gap，相比于参数可训练的全连接层，gap只是池化操作，无法调参，增加了前一层卷积层的训练压力，导致全局收敛速度变慢。其次，注意力分支模块接收来自上一卷积层输出的特征图，通过普通卷积和1x1x1卷积的方式将特征图信息压缩成cam；另一条分路上，注意力分支模块用1x1卷积与gap的方式约束损失函数，实际上1x1卷积与gap这两个部件本身就可以直接导出cam，可以认为gap导出的cam是实际约束损失函数的，而1x1x1卷积导出的cam则是作用于原始特征图增强有效特征表达的。这种由于结构设计而引起的cam歧义性，导致了注意力分支模块的两个分支的关注点可能存在差异。然后，注意力分支模块对主干网络添加的损失函数约束只作用于训练阶段，也就是说在测试阶
段，注意力分支模块中的参数很大部分都处于被动冻结状态，占用存储空间的同时不参与计算，增加了无端的硬件开销。
[0144]
为了提高对眼底照片或图像进行分类的准确性，解决上述的一个或多个技术问题，本发明进一步提出了一种新的卷积神经网络模型，以解决现有技术中模型训练速度慢、cam歧义性的问题；同时将模块融入网络之中，删除了对损失函数的约束，减小了无端的硬件开销。
[0145]
具体地，参见图5，根据本发明一种优选实施方式，提供了一种眼底图像处理方法，其特征在于包括以下步骤：
[0146]
构建第一数据集,包括原始眼底图像预处理以及对预处理后的眼底图像进行数据筛选，所述原始眼底图像预处理包括数据脱敏、提取roi以及增强对比度，所述对预处理后的眼底图像进行数据筛选包括利用mobilenet v3 large模型以及soft voting的方法对预处理后的眼底图像进行筛选，清除质量不达标的眼底图像，构建所述第一数据集；
[0147]
构建具有ccam模块的卷积神经网络模型，所述卷积神经网络模型包括主干网络和所述ccam模块，所述主干网络包括输入、第一卷积层、mlp和第一sigmoid，所述ccam模块包括上层支路和下层支路，所述上层支路用于在第一特征图的基础上使用第二卷积层实现cam的提取，并用第二sigmoid差异化特征的重要性；所述下层支路使用激励和挤压操作提取第一特征图的通道权重，结合cam进行scale操作得到带通道注意力机制的通道cam图，所述通道cam图再与所述第一特征图做哈达玛积操作并与所述第一特征图相加输入全连接层或者gap中；所述第一特征图为第一卷积层的输出；
[0148]
以focal loss作为损失函数，利用所述第一数据集训练所述具有ccam模块的卷积神经网络模型；
[0149]
利用训练后的所述具有ccam模块的卷积神经网络模型对用户的眼底图像进行处理并输出分类结果。
[0150]
优选地，mlp为全连接层或者gap(全局平均池化)。ccam具体为cam和通道注意力模块(class activation mapping and channel attention module)。
[0151]
有利地，mobilenet v3 large模型实现了良好的数据筛选效果，在5折交叉验证的情况下取得了平均准确率为0.9800、平均kappa系数为0.9686、平均macro f1为0.9769的表现，同时flops只有299.88m，参数规模为4199259，size占用为16.11mb，平均执行任务时间为0.1221秒。
[0152]
有利地，focal loss可以显著改善模型的灵敏度，ccam提升了auc以及模型分类准确度。
[0153]
有利地，具有ccam模块的卷积神经网络模型在例如trckds数据集上取得了平均auc为0.8450、平均准确率为0.8024、平均灵敏度为0.7138、平均特异性为0.8261的表现，多种指标下的结果显示，该泛化能力较强，在跨人种的数据集上没有太多的性能损失。ccam可以自适应地增强与慢性肾病相关联的局部特征的表达以及对最终分类结果的贡献。
[0154]
具体地，同仁慢性肾病研究(tongren chronic kidney disease study,trckds)数据集主要收录的是在中国北京市首都医科大学附属北京同仁医院进行眼科检查和体检的对象，共有12740个对象的慢性肾病相关数据和20461张眼底图像。
[0155]
优选地，参见图5，所述上层支路包括第二卷积层、bn(批标准化)、1x1卷积、relu函
数、1x1卷积(尖端通道数为1)、bn以及第二sigmoid。所述下层支路包括gap(全局平均池化,global average pooling)、bn(批标准化)、fc(全连接层)、fc以及第一sigmoid。
[0156]
根据本发明又一种优选实施方式，所述分类结果可用于表达慢性肾病的相关度，例如可以输出一个分值。优选地，该分类结果用于提供给医生参考。优选地，所述分类结果还可以为慢性肾病的概率或预测概率。
[0157]
根据本发明又一种优选实施方式，采集用户的左右眼底图像并进行数据脱敏、提取roi以及增强对比度。roi为感兴趣区域。
[0158]
根据本发明又一种优选实施方式，参见图6，采用训练后的所述具有ccam模块的卷积神经网络模型并行对所述左右眼底图像进行处理，分别输出左眼第二特征图和右眼第二特征图，然后以通道为轴，聚合到一起，作为输入全连接层或gap的特征张量，最后输出分类结果(第一分类结果)。有利地，本发明整合了左右眼的特征，使左右眼特征融合，能够有效地提高对慢性肾病患者的分类准确度。
[0159]
根据本发明又一种优选实施方式，进一步，采用训练后的所述具有ccam模块的卷积神经网络模型分别对所述左右眼底图像进行处理，分别输出左眼第二特征图和右眼第二特征图，分别作为输入全连接层或gap的特征张量，最后输出对应的第二分类结果(左眼)和第三分类结果(左眼)。优选地，比较第二分类结果与第三分类结果获得第一差值，当第一差值位于第一预定范围时，输出第一分类结果作为最终的分类结果。进一步，当第一差值位于第一预定范围之外时，将第二分类结果和第三分类结果中的较大值作为最终的分类结果。这是考虑到左右眼的分类结果相差较大时，存在某种潜在的误差，此时的第一分类结果(融合结果)将会偏离实际情况，针对这种情形，本发明采取将第二分类结果和第三分类结果中的较大值(即与慢性肾病相关度较高)作为最终的分类结果，有利于将该用户定位出来以供医生进一步检测，而不发生遗漏或误检测的风险，这种风险对于用户而言可能是相当不利的。
[0160]
优选地，当第一差值位于第一预定范围时，在第二分类结果与第三分类结果之中确定更接近第一分类结果的一者作为邻近结果，根据第一分类结果和所述邻近结果输出最终的分类结果。例如可以对第一分类结果和所述邻近结果取均值等等。该方法能够进一步提升检测的准确度。
[0161]
根据本发明又一种优选实施方式，利用smoothgrad-cam++方法对所述卷积神经网络模型的决策依据区域进行可视化并生成热力图。有利地，通过smoothgrad-cam++方法获得的热力图，可以提升聚焦区域的准确性以及且能够聚焦到异常区域。
[0162]
通过实验验证，本发明的具有ccam模块的卷积神经网络模型(resnet-ccam)与其它主流的分类网络模型sknet、densenet、inception v4的对比结果如下表所示。
[0163]
不同模型在trckds上的表现
[0164]
[0165][0166]
附注1：auc、准确率、灵敏度和特异性的表示方法为均值(标准差)，其中加粗的结果为最好的结果，*表示和最好的结果之间配对t检验的结果在显著性水平为0.05的情况下有显著性差异。
[0167]
可见，本发明在auc、准确率、灵敏度和特异性的多种评价指标上都取得了最好的效果。
[0168]
最后，需要说明的是，实施例2中的具有ccam模块的卷积神经网络模型可以结合到实施例1中使用。
[0169]
以上实施例仅用以说明本发明的技术方案，而非对其限制；尽管参照前述实施例对本发明进行了详细的说明，本领域的普通技术人员应当理解：其依然可以对前述各实施例所记载的技术方案进行修改，或者对其中部分技术特征进行等同替换；而这些修改或者替换，并不使相应技术方案的本质脱离本发明各实施例技术方案的精神和范围。