一种眼底分类模型集成系统、方法、电子设备及介质与流程

[0001]
本发明涉及医学影像分类技术领域，尤其涉及一种眼底分类模型集成系统、方法、电子设备及介质。


背景技术：

[0002]
很多的眼底疾病，比如青光眼，年龄性黄斑退化，糖尿病性视网膜病变等都会导致不可挽回的视力损伤甚至失明。视网膜眼底图像是观察视网膜和诊断眼底疾病的一种重要影像手段。视盘是视网膜上视觉神经和血管汇集穿出眼球的部位。视盘区的异常通常与视神经和视网膜血管的异常密切相关。视盘区的大部分异常都可以通过眼底图像观察到，比如视盘前膜，视乳头水肿，青光眼，视神经萎缩，有髓神经纤维，牵牛花综合症等。
[0003]
近年来，随着基于神经网络的深度学习算法的发展，深度学习模型在医疗影像领域，如基于眼底图像的病灶分类，得到了广泛的应用。尽管如此，由于眼底图像的多样性和病灶的多样性，基于眼底图像的病灶分类依然是一个很具有挑战性的任务，基于目前的深度学习模型仍然存在分类性能不高的问题。


技术实现要素：

[0004]
本发明提供一种眼底分类模型集成系统、方法、电子设备及介质，解决现有技术中由于眼底图像的多样性和病灶的多样性，基于目前的深度学习模型仍然存在分类性能不高的问题。
[0005]
在本发明实施的第一方面，提供了一种眼底分类模型集成系统，包括：
[0006]
基础网络集训练模块，用于将预先存储的视盘图像数据集作为训练样本，对多个不同的深度学习网络结构进行视盘异常分类训练，获得多个基础分类模型；其中所述视盘图像数据集包括多个异常类别的视盘图像；
[0007]
基础网络置信度集成模块，用于将目标视盘图像样本输入到各个基础分类模型，获取各个基础分类模型的置信度向量，并将各个基础分类模型的置信度向量组合，获得集成置信度向量；
[0008]
基础分类网络集成模块，用于将所述集成置信度向量作为输入特征，通过采用预设分类算法的分类器进行视盘异常分类训练，获得集成分类模型。
[0009]
优选的，所述基础网络置信度集成模块包括：
[0010]
第一处理模块，用于将目标视盘图像样本输入到各个基础分类模型，获得各个基础分类模型的输出向量；
[0011]
第二处理模块，用于对各个基础分类模型的输出向量进行校准，并对校准后的输出向量进行归一化处理，获得各个基础分类模型的置信度向量。
[0012]
优选的，所述第二处理模块具体用于：
[0013]
采用温度标定temperature scaling算法对各个基础分类模型的输出向量进行校准，并采用逻辑回归softmax函数对校准后的输出向量进行归一化处理，获得各个基础分类
模型的置信度向量。
[0014]
优选的，还包括：
[0015]
视盘图像检测模块，用于对预先采集的眼底图像数据集中的眼底图像进行视盘检测，获得初始视盘图像数据集；
[0016]
视盘图像增强模块，用于根据所述初始视盘图像数据集中属于各个异常类别的视盘图像的数量，对所述初始视盘图像数据集进行异常类别的平衡性增强和多样性增强处理，获得作为训练样本的视盘图像数据集。
[0017]
优选的，所述采用预设分类算法的分类器为采用机器学习分类算法的分类器。
[0018]
在本发明实施的第二方面，还提供了一种眼底分类模型集成方法，包括：
[0019]
将预先存储的视盘图像数据集作为训练样本，对多个不同的深度学习网络结构进行视盘异常分类训练，获得多个基础分类模型；其中所述视盘图像数据集包括多个异常类别的视盘图像；
[0020]
将目标视盘图像样本输入到各个基础分类模型，获取各个基础分类模型的置信度向量，并将各个基础分类模型的置信度向量组合，获得集成置信度向量；
[0021]
将所述集成置信度向量作为输入特征，通过采用预设分类算法的分类器进行视盘异常分类训练，获得集成分类模型。
[0022]
优选的，所述将目标视盘图像样本输入到各个基础分类模型，获取各个基础分类模型的置信度向量的步骤包括：
[0023]
将目标视盘图像样本输入到各个基础分类模型，获得各个基础分类模型的输出向量；
[0024]
对各个基础分类模型的输出向量进行校准，并对校准后的输出向量进行归一化处理，获得各个基础分类模型的置信度向量。
[0025]
优选的，所述对各个基础分类模型的输出向量进行校准，并对校准后的输出向量进行归一化处理，获得各个基础分类模型的置信度向量的步骤包括：
[0026]
采用温度标定temperature scaling算法对各个基础分类模型的输出向量进行校准，并采用逻辑回归softmax函数对校准后的输出向量进行归一化处理，获得各个基础分类模型的置信度向量。
[0027]
在本发明实施的第三方面，还提供了一种电子设备，包括处理器、通信接口、存储器和通信总线，其中，处理器，通信接口，存储器通过通信总线完成相互间的通信；
[0028]
存储器，用于存放计算机程序；
[0029]
处理器，用于执行存储器上所存放的程序时，实现如上所述的眼底分类模型集成方法中的步骤。
[0030]
在本发明实施的第四方面，还提供了一种计算机可读存储介质，其上存储有计算机程序，该程序被处理器执行时实现如上所述的眼底分类模型集成方法。
[0031]
在本发明实施例的第五方面，还提供了一种包含指令的计算机程序产品，当其在计算机上运行时，使得计算机执行如上所述的眼底分类模型集成方法。
[0032]
针对在先技术，本发明具备如下优点：
[0033]
本发明实施例中，眼底分类模型集成系统包括基础网络集训练模块、基础网络置信度集成模块和基础分类网络集成模块。首先基础网络集训练模块将预先存储的视盘图像
数据集作为训练样本，对多个不同的深度学习网络结构进行视盘异常分类训练，获得多个基础分类模型，其中视盘图像数据集中包括多个异常类别的视盘图像；然后基础网络置信度集成模块将目标视盘图像样本输入到各个基础分类模型，获取各个基础分类模型的置信度向量，并将各个基础分类模型的置信度向量组合，获得集成置信度向量；最后基础分类网络集成模块将集成置信度向量作为输入特征，通过采用预设分类算法的分类器进行视盘异常分类训练，从而对多个基础分类网络的置信度输出进行一个有机结合，获得一个性能更高的集成分类模型。该系统通过融合不同的分类神经网络，提高了视盘异常分类性能，能够更好地提供辅助诊断结果。
[0034]
上述说明仅是本发明技术方案的概述，为了能够更清楚了解本发明的技术手段，而可依照说明书的内容予以实施，并且为了让本发明的上述和其它目的、特征和优点能够更明显易懂，以下特举本发明的具体实施方式。
附图说明
[0035]
为了更清楚地说明本发明实施例或现有技术中的技术方案，下面将对实施例描述中所需要使用的附图作简单地介绍。
[0036]
图1为本发明实施例提供的眼底分类模型集成系统的示意框图；
[0037]
图2为本发明实施例提供的眼底分类模型集成系统的另一示意框图；
[0038]
图3为本发明实施例提供的眼底分类模型集成系统的工作流程示意图；
[0039]
图4为本发明实施例提供的眼底分类模型集成方法的流程示意图；
[0040]
图5为本发明实施例提供的电子设备的示意框图。
具体实施方式
[0041]
下面将参照附图更详细地描述本发明的示例性实施例。虽然附图中显示了本发明的示例性实施例，然而应当理解的是，还可以以各种形式实现本发明而不应被这里阐述的实施例所限制。相反，提供这些实施例是为了能够更透彻地理解本发明，并且能够将本发明的范围完整的传达给本领域的技术人员。
[0042]
目前，基于深度学习的图像分类算法已经多个研究组或者个人研究，也已经形成了多种多样的比较成熟的分类算法，比如基于不同的网络架构的分类网络。我们观察到，不同的网络架构如resnet系列,inception系列等，在同一个分类任务上的表现各有优劣。基于这个观察，本发明提出了一套利用机器学习算法融合不同的分类神经网络，从而实现眼底视盘的自动识别和分类的集成系统。这个系统通过网络融合，提高了视盘异常的分类性能，能够更好地提供辅助诊断结果。
[0043]
图1是本发明实施例提供的一种眼底分类模型集成系统的示意框图，参照图1所示，该眼底分类模型集成系统100包括：
[0044]
基础网络集训练模块101，用于将预先存储的视盘图像数据集作为训练样本，对多个不同的深度学习网络结构进行视盘异常分类训练，获得多个基础分类模型；其中所述视盘图像数据集包括多个异常类别的视盘图像。
[0045]
这里，针对视盘异常识别的目的，基础网络集训练模块101训练了多个视盘异常分类的深度学习模型，获得了多个基础分类模型以进行网络融合。
[0046]
其中，目前深度学习的分类算法和网络结构有多种，都可以应用到本发明实施例中。例如，本发明实施例可使用resnet152，inceptionv3，incxeptionv4，inception-resnet-v2，xception这五种网络结构，通过基础网络集训练模块101对这五种深度学习网络结构进行视盘异常分类训练，获得5个基础分类模型。当然，上述五种网络结构仅为举例说明，任何通过训练能够实现视盘异常分类的深度学习网络结构均能够应用到本发明实施例中，在此不做限定。
[0047]
其中，作为训练样本的视盘图像数据集包括了多个异常类别的视盘图像，以使训练出的网络模型能够识别不同异常类别的视盘图像。
[0048]
基础网络置信度集成模块102，用于将目标视盘图像样本输入到各个基础分类模型，获取各个基础分类模型的置信度向量，并将各个基础分类模型的置信度向量组合，获得集成置信度向量。
[0049]
这里，基础网络置信度集成模块102将目标视盘图像样本输入到各个基础分类模型，获取到各个基础分类模型的置信度向量，其中置信度向量代表了分类模型对于目标视盘样本与各个视盘异常类别的相似性判断，一般置信度值最大的类作为预测类。
[0050]
基础网络置信度集成模块102获取到各个基础分类模型的置信度向量之后，进一步将各个基础分类模型的置信度向量组合，获得集成置信度向量，作为后续网络融合的特征来训练性能更高的分类模型。
[0051]
基础分类网络集成模块103，用于将所述集成置信度向量作为输入特征，通过采用预设分类算法的分类器进行视盘异常分类训练，获得集成分类模型。
[0052]
这里，基础分类网络集成模块103将集成置信度向量作为输入特征，利用采用预设分类算法的分类器进行视盘异常分类学习训练，从而对多个基础分类网络的置信度输出进行一个有机结合，获得一个性能更高的集成分类模型。
[0053]
其中，基础分类网络集成模块103将集成置信度向量作为输入特征，同时可将人工标注的视盘异常分类结果作为金标准，然后利用采用预设算法的分类器来学习进行视盘异常分类。
[0054]
优选的，所述采用预设分类算法的分类器为采用机器学习分类算法的分类器。其中，各种不同的机器学习分类算法都可以使用，如svm，gbdt，knn等。此时，利用机器学习算法融合不同的分类神经网络，从而实现眼底视盘的自动识别和分类，提高了视盘分类性能。
[0055]
本发明实施例提供的眼底分类模型集成系统100，通过融合不同的分类神经网络，实现了眼底视盘的自动识别和分类，且提高了视盘异常分类性能，能够更好地提供辅助诊断结果。
[0056]
优选的，参见图2所示，本发明实施例的眼底分类模型集成系统100还包括：
[0057]
视盘图像检测模块1001，用于对预先采集的眼底图像数据集中的眼底图像进行视盘检测，获得初始视盘图像数据集。
[0058]
这里，首先对采集的眼底图像进行视盘检测，获得初始视盘图像数据集。
[0059]
其中，本发明实施例对视盘检测的方式不做限定，任何能够实现视盘检测的方法都能应用到本发明实施例中。
[0060]
视盘图像增强模块1002，用于根据所述初始视盘图像数据集中属于各个异常类别的视盘图像的数量，对所述初始视盘图像数据集进行异常类别的平衡性增强和多样性增强
处理，获得作为训练样本的视盘图像数据集。
[0061]
这里，由于视盘区各种异常的发病率差异较大，在收集到的数据集中，各类异常类别包含的图像数量可能极不平衡，为了减弱数据集的不平衡性，也为了增加图像的多样性，通过视盘图像增强模块1002对视盘图像数据集进行异常类别的平衡性增强和多样性增强处理后，获得的视盘图像数据集作为训练样本。
[0062]
其中，进行异常类别的平衡性增强和多样性增强处理时，如可增加数量较少的异常类别的图像数量，或者补入其他异常类别的图像等，本发明实施例对具体的增强方式不做限定。
[0063]
优选的，所述基础网络置信度集成模块102包括：
[0064]
第一处理模块1021，用于将目标视盘图像样本输入到各个基础分类模型，获得各个基础分类模型的输出向量。
[0065]
这里，目标视盘图像样本输入到基础分类模型，得到的输出向量一般为logits＝[l1,l2,
…
,ln]，n为视盘异常的类别数。
[0066]
其中，目标视盘图像样本可从视盘图像数据集中提取，但不限于此。
[0067]
第二处理模块1022，用于对各个基础分类模型的输出向量进行校准，并对校准后的输出向量进行归一化处理，获得各个基础分类模型的置信度向量。
[0068]
这里，由于目前的深度学习网络往往会有过度训练的倾向，这导致模型往往会给出
‘
过于自信’的预测类别的置信度值，为了缓解这种情况，第二处理模块1022首先对各个模型输出的logits进行校准，再将校准后的scaled logits进行归一化处理，得到置信度向量[p1,p2,
…
,pn]。通过校准处理使得置信度和模型的预测准确率一致，纠正了分类网络
‘
过于自信’的现象。
[0069]
其中，置信度向量代表了分类模型对于目标视盘样本与各个视盘异常类别的相似性判断，一般置信度值最大的类作为预测类。
[0070]
优选的，所述第二处理模块1022具体用于：
[0071]
采用温度标定temperature scaling算法对各个基础分类模型的输出向量进行校准，并采用逻辑回归softmax函数对校准后的输出向量进行归一化处理，获得各个基础分类模型的置信度向量。
[0072]
此时，第二处理模块1022可使用temperature scaling算法对基础分类模型的置信度进行校准。原理是，以达到置信度和模型的预测准确率一致为目的，通过如下公式(1)所示对置信度进行调整，使置信度在不同类别之间的分布曲线更为平滑：
[0073][0074]
在公式(1)中，q
k
是校准后的类别k的置信度，t是校准需要使用的超参数，temperature。为了平滑置信度曲线，t需要取大于1的值。需要注意的是，temperature scaling的过程并没有改变不同类别的置信度的相对大小关系，所以在完成temperature scaling后，模型的预测结果不会改变。
[0075]
通过校准得到scaled logits后，第二处理模块1022可将scaled logits输入softmax层进行归一化，获得置信度向量[p1,p2,
…
,pn]。
[0076]
此时，通过第二处理模块1022获得各个基础分类模型的置信度向量[p1,p2,
…
,
pn]之后，再将各个基础分类模型的置信度向量组合，获得最终的集成置信度向量。
[0077]
参照图3所示，下面对本发明实施例的眼底分类模型集成系统的一具体工作流程举例说明如下：
[0078]
s1视盘检测：首先视盘图像检测模块1001对预先采集的眼底图像数据集中的眼底图像进行视盘检测，获得初始视盘图像数据集。
[0079]
s2视盘图像增强：然后视盘图像增强模块1002对初始视盘图像数据集进行异常类别的平衡性增强和多样性增强处理，获得作为训练样本的视盘图像数据集。
[0080]
s3基础网络集训练：再由基础网络集训练模块101利用训练样本，对多个不同的深度学习分类网络结构进行视盘异常分类训练，如对resnet152，inceptionv3，incxeptionv4，inception-resnet-v2，xception这五种网络结构进行视盘图像异常分类训练，获得多个基础分类模型。
[0081]
s4基础网络置信度集成：然后基础网络置信度集成模块102将目标视盘图像样本输入到各个基础分类模型，获得各个基础分类模型的输出向量，再将输出向量通过temperature scaling算法进行校准处理以及通过softmax函数进行归一化处理，获得各个基础分类模型的置信度向量，然后将各个基础分类模型的置信度向量组合，形成集成置信度向量。
[0082]
s5模型融合：最后基础分类网络集成模块103将集成置信度向量作为输入特征，同时将人工标注的视盘异常分类结果作为金标准，利用基于传统机器学习算法的分类器来学习进行视盘异常分类训练，从而对多个基础分类模型的置信度输出进行一个有机结合，融合多个分类网络，获得一个性能更高的集成分类模型。
[0083]
s6异常分类：获得集成分类模型后，可利用集成分类模型完成高性能的视盘图像的异常分类。
[0084]
本发明实施例的眼底分类模型集成系统100，通过融合不同的分类神经网络，提高了视盘异常分类性能，能够更好地提供辅助诊断结果。
[0085]
参照图4所示，本发明实施例还提供了一种眼底分类模型集成方法，包括：
[0086]
步骤401：将预先存储的视盘图像数据集作为训练样本，对多个不同的深度学习网络结构进行视盘异常分类训练，获得多个基础分类模型；其中所述视盘图像数据集包括多个异常类别的视盘图像；
[0087]
步骤402：将目标视盘图像样本输入到各个基础分类模型，获取各个基础分类模型的置信度向量，并将各个基础分类模型的置信度向量组合，获得集成置信度向量；
[0088]
步骤403：将所述集成置信度向量作为输入特征，通过采用预设分类算法的分类器进行视盘异常分类训练，获得集成分类模型。
[0089]
本发明实施例的眼底分类模型集成方法，通过融合不同的分类神经网络，提高了视盘异常分类性能，能够更好地提供辅助诊断结果。
[0090]
优选的，上述步骤402中，所述将目标视盘图像样本输入到各个基础分类模型，获取各个基础分类模型的置信度向量的步骤包括：
[0091]
将目标视盘图像样本输入到各个基础分类模型，获得各个基础分类模型的输出向量；
[0092]
对各个基础分类模型的输出向量进行校准，并对校准后的输出向量进行归一化处
理，获得各个基础分类模型的置信度向量。
[0093]
优选的，所述对各个基础分类模型的输出向量进行校准，并对校准后的输出向量进行归一化处理，获得各个基础分类模型的置信度向量的步骤包括：
[0094]
采用温度标定temperature scaling算法对各个基础分类模型的输出向量进行校准，并采用逻辑回归softmax函数对校准后的输出向量进行归一化处理，获得各个基础分类模型的置信度向量。
[0095]
优选的，还包括：
[0096]
对预先采集的眼底图像数据集中的眼底图像进行视盘检测，获得初始视盘图像数据集；
[0097]
根据所述初始视盘图像数据集中属于各个异常类别的视盘图像的数量，对所述初始视盘图像数据集进行异常类别的平衡性增强和多样性增强处理，获得作为训练样本的视盘图像数据集。
[0098]
优选的，所述采用预设分类算法的分类器为采用机器学习分类算法的分类器。
[0099]
本发明实施例的眼底分类模型集成方法，通过融合不同的分类神经网络，提高了视盘异常分类性能，能够更好地提供辅助诊断结果。
[0100]
对于上述方法实施例而言，由于其与系统实施例基本相似，相关之处参见方法实施例的部分说明即可。
[0101]
本发明实施例还提供了一种电子设备，该电子设备可以是服务器。如图5所示，包括处理器501、通信接口502、存储器503和通信总线504，其中，处理器501，通信接口502，存储器503通过通信总线504完成相互间的通信。
[0102]
存储器503，用于存放计算机程序。
[0103]
处理器501用于执行存储器503上所存放的程序时，实现如下步骤：
[0104]
将预先存储的视盘图像数据集作为训练样本，对多个不同的深度学习网络结构进行视盘异常分类训练，获得多个基础分类模型；其中所述视盘图像数据集包括多个异常类别的视盘图像；
[0105]
将目标视盘图像样本输入到各个基础分类模型，获取各个基础分类模型的置信度向量，并将各个基础分类模型的置信度向量组合，获得集成置信度向量；
[0106]
将所述集成置信度向量作为输入特征，通过采用预设分类算法的分类器进行视盘异常分类训练，获得集成分类模型。
[0107]
上述电子设备提到的通信总线可以是外设部件互连标准(peripheral component interconnect，简称pci)总线或扩展工业标准结构(extended industry standard architecture，简称eisa)总线等。该通信总线可以分为地址总线、数据总线、控制总线等。为便于表示，图中仅用一条粗线表示，但并不表示仅有一根总线或一种类型的总线。
[0108]
通信接口用于上述电子设备与其他设备之间的通信。
[0109]
存储器可以包括随机存取存储器(random access memory，简称ram)，也可以包括非易失性存储器(non-volatile memory)，例如至少一个磁盘存储器。可选的，存储器还可以是至少一个位于远离前述处理器的存储装置。
[0110]
上述的处理器可以是通用处理器，包括中央处理器(central processing unit，简称cpu)、网络处理器(network processor，简称np)等；还可以是数字信号处理器
(digital signal processing，简称dsp)、专用集成电路(application specific integrated circuit，简称asic)、现场可编程门阵列(field－programmable gate array，简称fpga)或者其他可编程逻辑器件、分立门或者晶体管逻辑器件、分立硬件组件。
[0111]
在本发明提供的又一实施例中，还提供了一种计算机可读存储介质，该计算机可读存储介质中存储有指令，当其在计算机上运行时，使得计算机执行上述实施例中所述的眼底分类模型集成方法。
[0112]
在本发明提供的又一实施例中，还提供了一种包含指令的计算机程序产品，当其在计算机上运行时，使得计算机执行上述实施例中所述的眼底分类模型集成方法。
[0113]
在上述实施例中，可以全部或部分地通过软件、硬件、固件或者其任意组合来实现。当使用软件实现时，可以全部或部分地以计算机程序产品的形式实现。所述计算机程序产品包括一个或多个计算机指令。在计算机上加载和执行所述计算机程序指令时，全部或部分地产生按照本发明实施例所述的流程或功能。所述计算机可以是通用计算机、专用计算机、计算机网络、或者其他可编程装置。所述计算机指令可以存储在计算机可读存储介质中，或者从一个计算机可读存储介质向另一个计算机可读存储介质传输，例如，所述计算机指令可以从一个网站站点、计算机、服务器或数据中心通过有线(例如同轴电缆、光纤、数字用户线(dsl))或无线(例如红外、无线、微波等)方式向另一个网站站点、计算机、服务器或数据中心进行传输。所述计算机可读存储介质可以是计算机能够存取的任何可用介质或者是包含一个或多个可用介质集成的服务器、数据中心等数据存储设备。所述可用介质可以是磁性介质，(例如，软盘、硬盘、磁带)、光介质(例如，dvd)、或者半导体介质(例如固态硬盘solid state disk(ssd))等。
[0114]
需要说明的是，在本文中，诸如第一和第二等之类的关系术语仅仅用来将一个实体或者操作与另一个实体或操作区分开来，而不一定要求或者暗示这些实体或操作之间存在任何这种实际的关系或者顺序。而且，术语“包括”、“包含”或者其任何其他变体意在涵盖非排他性的包含，从而使得包括一系列要素的过程、方法、物品或者设备不仅包括那些要素，而且还包括没有明确列出的其他要素，或者是还包括为这种过程、方法、物品或者设备所固有的要素。在没有更多限制的情况下，由语句“包括一个
……”
限定的要素，并不排除在包括所述要素的过程、方法、物品或者设备中还存在另外的相同要素。
[0115]
本说明书中的各个实施例均采用相关的方式描述，各个实施例之间相同相似的部分互相参见即可，每个实施例重点说明的都是与其他实施例的不同之处。尤其，对于系统实施例而言，由于其基本相似于方法实施例，所以描述的比较简单，相关之处参见方法实施例的部分说明即可。
[0116]
以上所述仅为本发明的较佳实施例而已，并非用于限定本发明的保护范围。凡在本发明的精神和原则之内所作的任何修改、等同替换、改进等，包含在本发明的保护范围内。