数据偏差下的眼底图分类方法及成像方法与流程

1.本发明书属于图像处理领域，具体涉及一种数据偏差下的眼底图分类方法及成像方法。


背景技术：

2.随着经济技术的发展和人们生活水平的提高，人工智能算法已经广泛应用于人们的生产和生活中，给人们的生产和生活带来了无尽的便利。
3.目前，基于人工智能算法的计算机辅助图像处理技术，已经广泛应用于医院等单位。在医疗领域，基于人工智能算法的计算机辅助图像处理技术已经广泛应用于眼底图像的分类、识别和成像等，给相关人员带来了巨大的便利，也极大地提高了效率。
4.但是，基于人工智能算法的计算机辅助图像处理技术在具体应用时，依旧存在一些问题：由于异常图像的数目较少，以及异常图像难以具体正确分类的问题，这使得目前的基于人工智能算法的计算机辅助图像处理技术，存在较大的数据偏差；而假阳性的判断指标的引入，会在模型训练时会导致模型产生一些偏差，从而严重影响模型的分类结果和分类精确性。


技术实现要素：

5.本发明的目的之一在于提供一种可靠性高、敏感性好和分类准确性高的数据偏差下的眼底图分类方法。
6.本发明的目的之二在于提供一种包括了所述数据偏差下的眼底图分类方法的成像方法。
7.本发明提供的这种数据偏差下的眼底图分类方法，包括如下步骤：
8.s1.获取历史的眼底图像数据，标记并分类；
9.s2.构建目标网络和在线网络的基础模型；
10.s3.采用指数移动平均法共享目标网络和在线网络的参数权重；
11.s4.为目标网络提供课程模块；
12.s5.为在线网络构建监督对抗损失函数；
13.s6.进行第一阶段学习：通过在线网络的对抗学习，使得模型收敛至某个表征空间；
14.s7.进行第二阶段学习：固定步骤s6得到的在线网络的表征参数并传递给目标网络，同时根据双课程样本加权方法，更新目标网络的分类器参数，从而得到最终的网络模型；
15.s8.采用步骤s7得到的最终的网络模型，对实时获取的眼底图像数据进行分类。
16.步骤s1所述的历史的眼底图像数据，标记并分类，具体为获取历史的眼底图像数据，根据设定的要求进行标记分类，同时将数据分为训练集和测试集。
17.步骤s2所述的构建目标网络和在线网络的基础模型，具体为采用如下步骤构建模
型：
18.a.目标网络包括双分支结构和分类器；双分支结构包括空间注意力网络和通道注意力网络；分类器采用双线性融合分类器；
19.b.空间注意力网络的输入为原始图像，监督标签是注意力图或者分割标签图；网络为注意力unet结构，具有五层编码和五层解码；从编码最底层输出的向量，为双线性融合提供一条高级语义信息；
20.c.通道注意力网络为se
‑
resnet50结构，在每一个网络大模块结构前均加入通道注意力模块，最后删除分类器层，输出一条和空间注意力网络输出的向量维度所匹配的向量；
21.d.分类器为双线性融合分类器，对于空间注意力网络和通道注意力网络输出的卷积，操作后得到的增强的鉴别特征计算公式为式中为定义的鉴别特征图，f为来源于卷积层的输入特征图，m(f)为三维注意力特征图，
×
为点乘；
22.e.将步骤b得到的空间注意力网络的输出向量进行转置，然后与步骤c得到的通道注意力网络的通道向量，采用如下公式进行计算，并将计算的融合的结果进行矩阵向量化，并上传至分类器从而得到最终的预测概率：
[0023][0024]
式中m(f)为注意力的特征图，且提供了一个权重给每个局部的像素和通道；sqrt为数学符号开根号；m
s
(f)为空间注意力特征图；m
c
(f)为通道注意力特征图；为叉乘计算；
[0025]
f.对在线网络模型进行训练。
[0026]
步骤s3所述的采用指数移动平均法共享目标网络和在线网络的参数权重，具体为采用如下步骤进行共享：
[0027]
设定表示第k次迭代后的在线网络的权重，表示第k次迭代后的目标网络的权重，为第k
‑
1次迭代后的目标网络的权重；
[0028]
采用如下公式计算：式中γ为权重参数且γ∈[0,1)；
[0029]
通过上述计算，使用目标网络学到的历史参数来更新在线网络的参数；
[0030]
同时，采用指数移动平均法来对目标网络和在线网络的参数进行共享。
[0031]
步骤s4所述的为目标网络提供课程模块，具体为采用如下步骤提供课程模块：
[0032]
a.构建样本课程模块：动态的编码损失函数的权重，来平衡训练中的损失贡献度；采用如下公式作为样本损失加权公式：
[0033][0034]
式中α
i
为每个样本损失的权重；p
i
为依据目标网络进行模型评估标签为y＝1的预测分数，且测分数，且为第t步迭代时判定为难样本的概率分数；η为超参数；t为迭代次数；
[0035]
b.采用如下公式作为难样本的判别公式：
[0036][0037]
式中为难样本鉴别分数；
[0038]
c.采用如下算式计算迭代t次内识别难样本的预测分数阈值：
[0039][0040]
式中为第0步迭代时判定为难样本的概率分数；
[0041]
d.构建特征课程模块：通过每个样本上一组空间的权重对局部特征进行编码；通过提高高度鉴别区域和相应的特异性证据特征的权重，从而提高识别精度；采用如下公式计算非线性加权，从而加强课程学习中的卷积特征：
[0042][0043]
式中β
i
为空间位置卷积特征的权重；σ为sigmoid激活函数；mlp为多层感知器；upconv为上采样卷积算子；e
i
为空间注意力特征图；f
i
为从mlp输出的特征映射；为点乘；
[0044]
e.设计了1x1卷积层，将多维矩阵转化为单通道；sigmoid函数用于限定取值的范围在[0,1]，上采样算子使得矩阵恢复至与原始图像同样维度，并对位置的每个特征施加一个权重；
[0045]
f.将构建的样本课程模块和特征课程模块融入损失函数，进行参数更新。
[0046]
步骤s5所述的为在线网络构建监督对抗损失函数，具体为通过为每个样本和相应的特征向量分配自适应的权值来进行在线网络的再平衡训练；采用如下公式进行计算：
[0047][0048][0049]
式中ζ为定义的重平衡损失函数；为边界损失函数；α
i
为权重函数；为具有权重函数α
i
和β
i
的样本i上的交叉熵损失；β
i
为权重函数；为网络权重；n为样本数；ι(y
i
＝y
j
)为样本为自身时二值化的指示函数；m(z
i
·
z
j
/τ)为计算归一化的特征向量间的相似函数；ι(k≠i)为样本不为自身时二值化的指示函数；z
i
·
z
j
为在归一化特征向量z
i
和z
j
之间计算一个内积。
[0050]
步骤s6所述的进行第一阶段学习：通过在线网络的对抗学习，使得模型收敛至某个表征空间，具体为采用如下步骤进行学习：
[0051]
(1)对原始样本进行对抗样本采样，针对每个样本进行数据增强，然后随机选取其中一个增强的样本作为对抗样本，与原始样本进行维度拼接，并作为新的样本对输入网络。
[0052]
(2)将网络模型的分类器部分除去，并只剩下网络提取表征的结构；
[0053]
(3)对步骤(2)得到的网络采用sgd优化器进行优化，优化参数为：动量参数设置为0.9，对在线网络的表征空间进行学习，学习率为0.01，学习率的衰减策略每10个epoch下降90％；
[0054]
(4)训练完成后，保存训练完成后的模型参数。
[0055]
步骤s7所述的进行第二阶段学习：固定步骤s6得到的在线网络的表征参数并传递给目标网络，同时根据双课程样本加权方法，更新目标网络的分类器参数，从而得到最终的网络模型，具体为采用如下步骤得到最终的网络模型：
[0056]
1)在线网络获取步骤s6得到并保存的模型参数，然后接入分类器；
[0057]
2)在线网络通过指数移动平均法将网络参数传递给目标网络，并固定目标网络的表征参数；
[0058]
3)目标网络接入分类器，并开始结合课程模块进行模型训练；
[0059]
4)模型参数和训练参数为：学习率设置为4
×
10
‑3，采用sgd优化器，动量参数设置为0.9，学习率的衰减策略每10个epoch下降90％。
[0060]
本发明还提供了一种包括上述数据偏差下的眼底图分类方法的成像方法，还包括如下步骤：
[0061]
s9.根据步骤s8获取的眼底图像数据的分类结果，对实时获取的眼底图像进行再次标记和成像。
[0062]
本发明提供的这种数据偏差下的眼底图分类方法及成像方法，在线网络通过监督对抗损失学习表征，目标网络采用双课程模块，有利于处理样本中存在的偏差问题；同时在线网络和目标网络的网络参数相互自适应的调整，动态的引导模型对样本进行从易到难的学习，从而使得模型的预测从有偏转向无偏，提升了模型的敏感度，而且可靠性高，敏感性好，分类准确性高。
附图说明
[0063]
图1为本发明分类方法的方法流程示意图。
[0064]
图2为本发明分类方法中在线网络与目标网络共用的网络结构组成示意图。
[0065]
图3为本发明分类方法中加权损失与难易样本的预测分数的关系变化示意图。
[0066]
图4为本发明分类方法中加权损失与控制参数η的关系变化示意图。
[0067]
图5为本发明成像方法的方法流程示意图。
具体实施方式
[0068]
如图1所述为本发明分类方法的方法流程示意图：本发明提供的这种数据偏差下的眼底图分类方法，包括如下步骤：
[0069]
s1.获取历史的眼底图像数据，标记并分类；具体为获取历史的眼底图像数据，根据设定的要求进行标记分类，同时将数据分为训练集和测试集；
[0070]
s2.构建目标网络和在线网络的基础模型(如图2所示)；具体为采用如下步骤构建模型：
[0071]
a.目标网络包括双分支结构和分类器；双分支结构包括空间注意力网络和通道注意力网络；分类器采用双线性融合分类器；
[0072]
b.空间注意力网络的输入为原始图像，监督标签是注意力图或者分割标签图；网络为注意力unet结构，具有五层编码和五层解码；从编码最底层输出的向量，为双线性融合提供一条高级语义信息；
[0073]
c.通道注意力网络为se
‑
resnet50结构，在每一个网络大模块结构前均加入通道注意力模块，最后删除分类器层，输出一条和空间注意力网络输出的向量维度所匹配的向量；
[0074]
d.分类器为双线性融合分类器，对于空间注意力网络和通道注意力网络输出的卷积，操作后得到的增强的鉴别特征计算公式为式中为定义的鉴别特征图，f为来源于卷积层的输入特征图，m(f)为三维注意力特征图，
×
为点乘；
[0075]
e.将步骤b得到的空间注意力网络的输出向量进行转置，然后与步骤c得到的通道注意力网络的通道向量，采用如下公式进行计算，并将计算的融合的结果进行矩阵向量化，并上传至分类器从而得到最终的预测概率：
[0076][0077]
式中m(f)为注意力的特征图，且提供了一个权重给每个局部的像素和通道；sqrt为数学符号开根号；m
s
(f)为空间注意力特征图；m
c
(f)为通道注意力特征图；为叉乘计算；
[0078]
f.对在线网络模型进行训练；
[0079]
其中，对在线网络模型进行训练，具体为在线网络是由网络部分和对抗损失组成，其网络部分结构和目标网络的结构一致，其目的用于模型收敛到合适的表征空间，并将参数固定传给目标网络，用于第二阶段的模型学习；
[0080]
s3.采用指数移动平均法共享目标网络和在线网络的参数权重；具体为采用如下步骤进行共享：
[0081]
设定表示第k次迭代后的在线网络的权重，表示第k次迭代后的目标网络的权重，为第k
‑
1次迭代后的目标网络的权重；
[0082]
采用如下公式计算：式中γ为权重参数且γ∈[0,1)；
[0083]
通过上述计算，使用目标网络学到的历史参数来更新在线网络的参数；
[0084]
同时，采用指数移动平均法来对目标网络和在线网络的参数进行共享；
[0085]
s4.为目标网络提供课程模块；具体为采用如下步骤提供课程模块：
[0086]
a.构建样本课程模块：动态的编码损失函数的权重，来平衡训练中的损失贡献度；采用如下公式作为样本损失加权公式：
[0087][0088]
式中α
i
为每个样本损失的权重；p
i
为依据目标网络进行模型评估标签为y＝1的预测分数，且测分数，且为第t步迭代时判定为难样本的概率分数；η为超参数；t为迭代次数；
[0089]
b.采用如下公式作为难样本的判别公式：
[0090][0091]
式中为难样本鉴别分数；
[0092]
c.采用如下算式计算迭代t次内识别难样本的预测分数阈值：
[0093][0094]
式中为第0步迭代时判定为难样本的概率分数；
[0095]
样本损失所加权重与预测分数的关系的仿真图如图3所示；样本所加损失权重与超参数的关系的仿真图如图4所示；
[0096]
d.构建特征课程模块：通过每个样本上一组空间的权重对局部特征进行编码；通过提高高度鉴别区域和相应的特异性证据特征的权重，从而提高识别精度；采用如下公式计算非线性加权，从而加强课程学习中的卷积特征：
[0097][0098]
式中β
i
为空间位置卷积特征的权重；σ为sigmoid激活函数；mlp为多层感知器；upconv为上采样卷积算子；e
i
为空间注意力特征图；f
i
为从mlp输出的特征映射；为点乘；
[0099]
e.设计了1x1卷积层，将多维矩阵转化为单通道；sigmoid函数用于限定取值的范围在[0,1]，上采样算子使得矩阵恢复至与原始图像同样维度，并对位置的每个特征施加一个权重；
[0100]
f.将构建的样本课程模块和特征课程模块融入损失函数，进行参数更新；
[0101]
s5.为在线网络构建监督对抗损失函数；具体为通过为每个样本和相应的特征向量分配自适应的权值来进行在线网络的再平衡训练；采用如下公式进行计算：
[0102][0103][0104]
式中ζ为定义的重平衡损失函数；为边界损失函数；α
i
为权重函数；为具有权重函数α
i
和β
i
的样本i上的交叉熵损失；β
i
为权重函数；θ
yi
为网络权重；n为；ι(y
i
＝y
j
)为；m(z
i
·
z
j
/τ)为计算归一化的特征向量间的相似函数；ι(k≠i)为样本不为自身时二值化的指示函数；z
i
·
z
j
为在归一化特征向量z
i
和z
j
之间计算一个内积；
[0105]
s6.进行第一阶段学习：通过在线网络的对抗学习，使得模型收敛至某个表征空间；具体为采用如下步骤进行学习：
[0106]
(1)对原始样本进行对抗样本采样，针对每个样本进行数据增强，然后随机选取其中一个增强的样本作为对抗样本，与原始样本进行维度拼接，并作为新的样本对输入网络；
[0107]
(2)将网络模型的分类器部分除去，并只剩下网络提取表征的结构；
[0108]
(3)对步骤(2)得到的网络采用sgd优化器进行优化，优化参数为：动量参数设置为0.9，对在线网络的表征空间进行学习，学习率为0.01，学习率的衰减策略每10个epoch下降90％；
[0109]
(4)训练完成后，保存训练完成后的模型参数；
[0110]
s7.进行第二阶段学习：固定步骤s6得到的在线网络的表征参数并传递给目标网络，同时根据双课程样本加权方法，更新目标网络的分类器参数，从而得到最终的网络模型；具体为采用如下步骤得到最终的网络模型：
[0111]
1)在线网络获取步骤s6得到并保存的模型参数，然后接入分类器；
[0112]
2)在线网络通过指数移动平均法将网络参数传递给目标网络，并固定目标网络的表征参数；
[0113]
3)目标网络接入分类器，并开始结合课程模块进行模型训练；
[0114]
4)模型参数和训练参数为：学习率设置为4
×
10
‑3，采用sgd优化器，动量参数设置为0.9，学习率的衰减策略每10个epoch下降90％；
[0115]
s8.采用步骤s7得到的最终的网络模型，对实时获取的眼底图像数据进行分类。
[0116]
如图5所述为本发明成像方法的方法流程示意图：本发明还提供了一种包括上述数据偏差下的眼底图分类方法的成像方法，还包括如下步骤：
[0117]
s1.获取历史的眼底图像数据，标记并分类；具体为获取历史的眼底图像数据，根据设定的要求进行标记分类，同时将数据分为训练集和测试集；
[0118]
s2.构建目标网络和在线网络的基础模型(如图2所示)；具体为采用如下步骤构建模型：
[0119]
a.目标网络包括双分支结构和分类器；双分支结构包括空间注意力网络和通道注意力网络；分类器采用双线性融合分类器；
[0120]
b.空间注意力网络的输入为原始图像，监督标签是注意力图或者分割标签图；网络为注意力unet结构，具有五层编码和五层解码；从编码最底层输出的向量，为双线性融合提供一条高级语义信息；
[0121]
c.通道注意力网络为se
‑
resnet50结构，在每一个网络大模块结构前均加入通道注意力模块，最后删除分类器层，输出一条和空间注意力网络输出的向量维度所匹配的向量；
[0122]
d.分类器为双线性融合分类器，对于空间注意力网络和通道注意力网络输出的卷积，操作后得到的增强的鉴别特征计算公式为式中为定义的鉴别特征图，f为来源于卷积层的输入特征图，m(f)为三维注意力特征图，
×
为点乘；
[0123]
e.将步骤b得到的空间注意力网络的输出向量进行转置，然后与步骤c得到的通道注意力网络的通道向量，采用如下公式进行计算，并将计算的融合的结果进行矩阵向量化，并上传至分类器从而得到最终的预测概率：
[0124][0125]
式中m(f)为注意力的特征图，且提供了一个权重给每个局部的
像素和通道；sqrt为数学符号开根号；m
s
(f)为空间注意力特征图；m
c
(f)为通道注意力特征图；为叉乘计算；
[0126]
f.对在线网络模型进行训练；
[0127]
对在线网络模型进行训练，在线网络是由网络部分和对抗损失组成，其网络部分结构和目标网络的结构一致，其目的用于模型收敛到合适的表征空间，并将参数固定传给目标网络，用于第二阶段的模型学习。)；
[0128]
s3.采用指数移动平均法共享目标网络和在线网络的参数权重；具体为采用如下步骤进行共享：
[0129]
设定表示第k次迭代后的在线网络的权重，表示第k次迭代后的目标网络的权重，为第k
‑
1次迭代后的目标网络的权重；
[0130]
采用如下公式计算：式中γ为权重参数且γ∈[0,1)；
[0131]
通过上述计算，使用目标网络学到的历史参数来更新在线网络的参数；
[0132]
同时，采用指数移动平均法来对目标网络和在线网络的参数进行共享；
[0133]
s4.为目标网络提供课程模块；具体为采用如下步骤提供课程模块：
[0134]
a.构建样本课程模块：动态的编码损失函数的权重，来平衡训练中的损失贡献度；采用如下公式作为样本损失加权公式：
[0135][0136]
式中α
i
为每个样本损失的权重；p
i
为依据目标网络进行模型评估标签为y＝1的预测分数，且测分数，且为第t步迭代时判定为难样本的概率分数标准；η为超参数；t为迭代次数；
[0137]
b.采用如下公式作为难样本的判别公式：
[0138][0139]
式中为难样本鉴别分数；
[0140]
c.采用如下算式计算迭代t次内识别难样本的预测分数阈值：
[0141][0142]
式中为第0步迭代时判定为难样本的概率分数；
[0143]
样本损失所加权重与预测分数的关系的仿真图如图3所示；样本所加损失权重与超参数的关系的仿真图如图4所示；
[0144]
d.构建特征课程模块：通过每个样本上一组空间的权重对局部特征进行编码；通过提高高度鉴别区域和相应的特异性证据特征的权重，从而提高识别精度；采用如下公式计算非线性加权，从而加强课程学习中的卷积特征：
[0145][0146]
式中β
i
为空间位置卷积特征的权重；σ为sigmoid激活函数；mlp为多层感知器；upconv为上采样卷积算子；e
i
为空间注意力特征图；f
i
为从mlp输出的特征映射；为点乘；
[0147]
e.设计了1x1卷积层，将多维矩阵转化为单通道；sigmoid函数用于限定取值的范围在[0,1]，上采样算子使得矩阵恢复至与原始图像同样维度，并对位置的每个特征施加一个权重；
[0148]
f.将构建的样本课程模块和特征课程模块融入损失函数，进行参数更新；
[0149]
s5.为在线网络构建监督对抗损失函数；具体为通过为每个样本和相应的特征向量分配自适应的权值来进行在线网络的再平衡训练；采用如下公式进行计算：
[0150][0151][0152]
式中ζ为定义的重平衡损失函数；为边界损失函数；α
i
为权重函数；为具有权重函数α
i
和β
i
的样本i上的交叉熵损失；β
i
为权重函数；为网络权重；n为；ι(y
i
＝y
j
)为；m(z
i
·
z
j
/τ)为计算归一化的特征向量间的相似函数；ι(k≠i)为样本不为自身时二值化的指示函数；z
i
·
z
j
为在归一化特征向量z
i
和z
j
之间计算一个内积；
[0153]
s6.进行第一阶段学习：通过在线网络的对抗学习，使得模型收敛至某个表征空间；具体为采用如下步骤进行学习：
[0154]
(1)对原始样本进行对抗样本采样，针对每个样本进行数据增强，然后随机选取其中一个增强的样本作为对抗样本，与原始样本进行维度拼接，并作为新的样本对输入网络；
[0155]
(2)将网络模型的分类器部分除去，并只剩下网络提取表征的结构；
[0156]
(3)对步骤(2)得到的网络采用sgd优化器进行优化，优化参数为：动量参数设置为0.9，对在线网络的表征空间进行学习，学习率为0.01，学习率的衰减策略每10个epoch下降90％；
[0157]
(4)训练完成后，保存训练完成后的模型参数；
[0158]
s7.进行第二阶段学习：固定步骤s6得到的在线网络的表征参数并传递给目标网络，同时根据双课程样本加权方法，更新目标网络的分类器参数，从而得到最终的网络模型；具体为采用如下步骤得到最终的网络模型：
[0159]
1)在线网络获取步骤s6得到并保存的模型参数，然后接入分类器；
[0160]
2)在线网络通过指数移动平均法将网络参数传递给目标网络，并固定目标网络的表征参数；
[0161]
3)目标网络接入分类器，并开始结合课程模块进行模型训练；
[0162]
4)模型参数和训练参数为：学习率设置为4
×
10
‑3，采用sgd优化器，动量参数设置为0.9，学习率的衰减策略每10个epoch下降90％；
[0163]
s8.采用步骤s7得到的最终的网络模型，对实时获取的眼底图像数据进行分类；
[0164]
s9.根据步骤s8获取的眼底图像数据的分类结果，对实时获取的眼底图像进行再次标记和成像。
[0165]
在具体实施时，本发明的成像方法，可以直接应用于眼底图像成像的设备，该设备在每次成像并获取对应的眼底图像以后，采用本发明的分类方法进行眼底图像的分类和识别，并根据分类和识别结果，可以再次对眼底图像进行对应的成像和标记操作(比如根据分类的类别，在各个眼底图像上进行分类结果的标记)。