眼底图像处理方法、装置、计算机设备和存储介质与流程

本申请涉及人工智能技术领域，特别是涉及一种眼底图像处理方法、装置、计算机设备和存储介质。

背景技术：

近年来，人工智能在各个领域都得到的显著的发展。人工智能的一个重要的分支就是通过机器学习模拟人脑进行分析学习，以实现解释数据(如图像、声音和文本)的目的。

目前，就对眼底图像的识别而言，主要的识别方法还是由医生凭借经验依靠肉眼观察来诊断患者是否患有眼底疾病，以及眼底疾病的严重程度，这种人工识别的方式耗时耗力，效率低下。而通过机器学习的方式对眼底疾病的识别还仅限于单一化的机器学习模型的构建，识别精确度低。

技术实现要素：

基于此，有必要针对上述技术问题，提供一种能够提高对眼底图像进行分类的精确度的眼底图像识别方法、装置、计算机设备和存储介质。

一种眼底图像处理方法，所述方法包括：

接收采集的眼底图像；

通过第一神经网络识别所述眼底图像，生成眼底图像的第一特征集；

通过第二神经网路识别所述眼底图像，生成眼底图像的第二特征集，其中，所述第一特征集和所述第二特征集表征所述眼底图像不同的病变属性；

组合所述第一特征集和所述第二特征集，得到眼底图像的组合特征集；

将所述组合特征集输入至分类器中，得到分类结果。

在一个实施例中，所述第一特征集表征所述眼底图像的病变类型属性，所述第二特征集表征所述眼底图像的病变级别属性；

所述将所述组合特征集输入至分类器中，得到分类结果为：

将带有病变类型属性和病变级别属性的组合特征集输入至由多个二类分类器按照设定的分类逻辑构成的多级分类器中，得到所述眼底图像的多级分类结果。

在一个实施例中，所述通过第一神经网络识别所述眼底图像，得到眼底图像的第一特征集包括：

将所述眼底图像做象限分割，生成象限图像组；

将所述象限图像组中的每一象限图像输入至第一神经网络中，得到每一象限图像的特征向量；

组合所述每一象限图像的特征向量生成所述眼底图像的第一特征集。

在一个实施例中，接收的所述眼底图像包括来自同一个患者的左眼眼底图像和右眼眼底图像；

所述将组合特征集输入至分类器中，得到分类结果包括：

连接所述左眼眼底图像的组合特征集和所述右眼眼底图像的组合特征集，生成所述眼底图像的组合特征序列；

将所述组合特征序列输入至分类器中，得到分类结果。

在一个实施例中，接收的所述眼底图像包括来自同一患者的第一视野左眼眼底图像、第二视野左眼眼底图像、第一视野右眼眼底图像和第二视野右眼眼底图像；

所述将组合特征集输入至分类器中，得到分类结果包括：

连接所述第一视野左眼眼底图像的组合特征集、第二视野左眼眼底图像的组合特征集、所述第一视野右眼眼底图像的组合特征集，第二视野右眼眼底图像的组合特征集，生成所述眼底图像的组合特征序列；

将所述组合特征序列输入至分类器中，得到分类结果。

在一个实施例中，所述通过第二神经网络识别所述眼底图像，生成眼底图像的第二特征集，包括：

通过第二神经网络识别所述眼底图像的病变级别属性，输出所述眼底图像的病变级别向量，其中，当设置眼底病变包含有n级病变时，生成的病变级别向量的长度为n-1，其中，i级病变的特征向量中前i为1，其余为0。

一种眼底图像处理装置，所述装置包括：

图像采集模块，用于接收采集的眼底图像；

第一神经网络识别模块，用于通过第一神经网络识别所述眼底图像，生成眼底图像的第一特征集；

第二神经网络识别模块，用于通过第二神经网路识别所述眼底图像，生成眼底图像的第二特征集，其中，所述第一特征集和所述第二特征集表征所述眼底图像不同的病变属性；

特征组合模块，用于组合所述第一特征集和所述第二特征集，得到眼底图像的组合特征集；

分类模块，用于将所述组合特征集输入至分类器中，得到分类结果。

在一个实施例中，所述第一特征集表征所述眼底图像的病变类型属性，所述第二特征集表征所述眼底图像的病变级别属性；

所述分类模块，还用于将带有病变类型属性和病变级别属性的组合特征集输入至由多个二类分类器按照设定的分类逻辑构成的多级分类器中，得到所述眼底图像的多级分类结果。

一种计算机设备，包括存储器和处理器，所述存储器存储有计算机程序，所述处理器执行所述计算机程序时实现以下步骤：

接收采集的眼底图像；

通过第一神经网络识别所述眼底图像，生成眼底图像的第一特征集；

通过第二神经网路识别所述眼底图像，生成眼底图像的第二特征集，其中，所述第一特征集和所述第二特征集表征所述眼底图像不同的病变属性；

组合所述第一特征集和所述第二特征集，得到眼底图像的组合特征集；

将所述组合特征集输入至分类器中，得到分类结果。

一种计算机可读存储介质，其上存储有计算机程序，所述计算机程序被处理器执行时实现以下步骤。

接收采集的眼底图像；

通过第一神经网络识别所述眼底图像，生成眼底图像的第一特征集；

通过第二神经网路识别所述眼底图像，生成眼底图像的第二特征集，其中，所述第一特征集和所述第二特征集表征所述眼底图像不同的病变属性；

组合所述第一特征集和所述第二特征集，得到眼底图像的组合特征集；

将所述组合特征集输入至分类器中，得到分类结果。

上述眼底图像识别方法、装置、计算机设备和存储介质，通过训练两个不同的神经网络，第一神经网络和第二神经网络，这两个神经网络能够从眼底图像中抽象出表征不同属性的病变特征，即从不同的角度进行眼底图像的病变特征的抽取。这个阶段的眼底图像特征实质上已经对眼底病变进行了初步地识别。在此基础上，将抽象出来的不同属性的病变特征进行组合，得到眼底图像的组合特征集，并将包含了更多特征的组合特征集作为眼底图像的特征值输入至分类器中以再一次进行识别分类，这种组合多种病变特征且经多次神经网络识别得到分类结果更加精准。

附图说明

图1为一个实施例中眼底图像处理方法的应用环境图；

图2为另一个实施例中眼底图像处理方法的应用环境图；

图3为一个实施例中眼底图像处理方法的的流程示意图；

图4为采集的眼底图像的示意图；

图5为另一个实施例中眼底图像处理方法的的流程示意图；

图6为象限切割后的眼底图像的示意图；

图7为一个实施例中眼底图像处理装置的结构框图；

图8为一个实施例中计算机设备的内部结构图。

具体实施方式

为了使本申请的目的、技术方案及优点更加清楚明白，以下结合附图及实施例，对本申请进行进一步详细说明。应当理解，此处描述的具体实施例仅仅用以解释本申请，并不用于限定本申请。

本申请提供的眼底图像处理方法可以应用于如图1所示的应用环境中。该应用环境包括图像采集设备110a、服务器120a和终端130a，图像采集设备110a和终端130a可通过网络与服务器120a进行通信。服务器120a可以是独立的服务器或者是多个服务器组成的服务器集群，终端130a可以但不限于是各种个人计算机、笔记本电脑、智能手机、平板电脑和便携式可穿戴设备。图像采集设备110a可采集眼底图像，服务器120a中存储有预先训练好的第一神经网络、第二神经网络和分类器，服务器通过上述神经网络对眼底图像进行识别，得到眼底图像所包含的病变分类结果。终端130a接收服务器120a生成的分类结果并显示。

在另一个实施例中，本申请提供的眼底图像处理方法还可应用于如图2所示的应用环境中，该应用环境包括图像采集设备110b和终端120b，图像采集设备110b可通过网络与终端120b进行通信。图像采集设备110b可采集眼底图像，终端120b中存储有预先训练好的第一神经网络、第二神经网络和分类器，服务器通过上述神经网络对眼底图像进行识别，得到眼底图像所包含的病变分类结果并显示。

如图3所示，本申请提供了一种眼底图像处理方法，该方法包括以下步骤：

步骤s210：接收采集的眼底图像。

眼底图像的采集可通过手持/固定的医学成像设备采集生成，采集的眼底图像如图4所示。医学成像设备采集的眼底图像包括位于中间的圆形区域的有效的眼底图像和周围的白色或者黑色区域，周围的白色或者黑色区域为摄像头遮挡部分，不具有诊断意义。在进行模型预测前，可先对眼底图像进行预处理，如切除不具有诊断意义的像素点。

步骤s220：通过第一神经网络识别眼底图像，生成眼底图像的第一特征集。

步骤s230：通过第二神经网路识别眼底图像，生成眼底图像的第二特征集，其中，第一特征集和第二特征集表征眼底图像不同的病变属性。

上述的第一神经网络和第二神经网络均是通过训练历史眼底图像构建的。神经网络训练的过程其实就是学习训练样本某种设定眼底病变属性的过程。

本实施例中，训练第一神经网络使之能够识别出眼底图像的设定病变属性。将采集的眼底图像输入至第一神经网络中进行识别，第一神经网络识别出的眼底图像的设定病变属性病用第一特征集来表示。同样的，第二神经网络识别出眼底图像的病变属性用第二特征集表示。

本实施例中，可以理解的是，第一特征集和第二特征集均是用来描述采集的眼底图像的病变属性的，但第一神经网络和第二神经网络所识别的眼底图像的病变属性是不相同的，两者互为彼此的补充。

上述的特征集可以是“特征矢量”，也可以是“特征序列”，其意义应该以最广泛的方式进行理解。

步骤s240：组合第一特征集和第二特征集，得到眼底图像的组合特征集。

将第一神经网络产生的第一特征集和第二神经网络产生的第二特征集进行融合生成组合特征集。这里的“组合特征集”可以是“特征序列”、“特征矢量”等。在其中一个实施例中，第一特征集和第二特征集的组合是特征的矢量加和。

步骤s250：将组合特征集输入至分类器中，得到分类结果。

分类器作为最终判断眼底图像分类结果的分类器。

本实施例中，通过训练两个不同的神经网络，第一神经网络和第二神经网络，这两个神经网络能够从眼底图像中抽象出表征不同病变属性的特征，即从不同的角度从眼底图像中抽取病变特征。这个阶段的眼底图像特征实质上已经能够反映眼底图像病变分级。在此基础上，将抽象出来的不同病变属性的特征进行组合，得到眼底图像的组合特征集，将包含了更多特征的组合特征集作为眼底图像的特征值输入至分类器中以再一次分类识别，这种组合多种病变特征且经多次神经网络识别得到分类结果更加精准。

在一个实施例中，步骤s150中的分类器可以是二类分类模型。即将眼底图像做两级分类，如有病变和无病变，或者轻度病变和重度病变。具体的，二类分类模型可以将样本线性划分成两类。以svm为例，其基本模型定义为特征空间上的间隔较大的线性分类器，其学习策略便是间隔较大化，最终可转化为一个凸二次规划问题的求解。svm的目的：寻找到一个超平面使样本分成两类，并且间隔最大。而我们求得的w就代表着我们需要寻找的超平面的系数。即：

当原始样本空间也许并不能存在一个能正确划分出两类样本的超平面时，可以将样本从原始空间映射到一个更高维的特质空间中，使得样本在这个新的高维空间中可以被线性划分为两类，即在空间内线性划分。再进一步，核函数的选择变成了支持向量机的最大变数(如果必须得用上核函数，即核化)，因此选用什么样的核函数会影响最后的结果。而最常用的核函数有：线性核、多项式核、高斯核、拉普拉斯核、sigmoid核、通过核函数之间的线性组合或直积等运算得出的新核函数。

在另一个实施例中，分类器可以是由多个二类分类模型按照设定的分类逻辑构成的多级分类网络。如将眼底图像做多级分类，如将眼底图像分为5类，分别为无病变、轻度病变，中度病变，重度病变，pdr及以上程度病变，分别记为0～4级。

设定的分类逻辑可以是1-vs-all的多标签分类逻辑，多级分类模型中包含的每个子二类分类模型能够从将指定的某一类样本从其他类中分开来。如分类器是5级分类网络，则其包含5个svm二分类网络，即对每个分类训练一个svm。分别为0|1234-分级出0类样本，1|0234-分级出1类样本，2|0134-分级出2类样本，3|0124-分级出3类样本，4|0123-分级出4类样本。

训练svm时，将经第一神经网络和第二神经网络处理后得到的组合特征集作为眼底图像的特征向量，用以训练svm分类器。训练svm时，若正负样本分布不均匀，则为正样本和负样本给予不同的权重，对于svm:0|1234，正样本为0类样本(无病变样本)，负样本为带有病变的样本。如当前正样本数占总样本数的比例为d，那么为其分配的权重则为1/(2d)。设置样本权重是为了缓解数据分布不均匀的情况，相当于增加了数据较少样本的数量，使这些样本的损失值大小和多数样本相当。

在一个实施例中，第一神经网络和第二神经网络为卷积神经网络(convolutionalneuralnetworks，cnn)。卷积神经网络是人工神经网络的一种，卷积神经网络具有权值共享网络结构，这种网络结构更类似于生物神经网络，降低了网络模型的复杂度，减少了权值的数量。采集的眼底图像可以直接作为网络的输入，避免了传统识别算法中复杂的特征提取和数据重建过程。

进一步的，第一神经网络是能够识别眼底图像中所包含的病变类型的卷积神经网络。第二神经网络是能够识别眼底图像包含的眼底病变的病变级别的卷积神经网络。也就是，所述第一特征集表征所述眼底图像的病变类型属性，所述第二特征集表征所述眼底图像的病变级别属性。将经过cnn预测得到的眼底图像所包含的病变类型和眼底图像的病变分级两个属性的特征进行组合，组合后的特征向量包含了眼底图像多个维度的病变特征，将组合后的特征向量输入至svm中，得到眼底病变分级更加精确和稳定。

进一步的，第一神经网络识别的眼底病变类型可包括：微血管瘤、硬性渗出、软性渗出和出血。基于此，第一神经网络输出的第一特征集可以是长度为4的特征向量，训练第一神经网络使得输出的特征向量的每一个元素依次代表对应的病变类型。举例来说，若第一神经网络输出的特征向量为[1,0,0,0]，则表明眼底图像中包含微血管瘤，不包含硬性渗出、软性渗出和出血。

在一个实施例中，通过第二神经网络识别所述眼底图像的病变级别属性，输出所述眼底图像的病变级别向量，其中，当设置眼底病变包含有n级病变时，生成的病变级别向量的长度为n-1，其中，i级病变的特征向量中前i为1，其余为0配置。举例来说，第二神经网络能够识别的眼底病变级别可以包括：无病变、轻度病变，中度病变，重度病变，pdr及以上程度病变，分别记为0～4级。基于此，第二神经网络输出的第二特征集可以是长度为6的特征向量。不同于一般多级分类中使用的one-hot编码方法，本申请使用递进式的编码方法。即对于0类，对应的第二神经网络的训练目标为向量[0,0,0,0]，对于1类[1,0,0,0,]，对于2类[1,1,0,0]。即对于i类，目标向量中前i位为1，其余为0。也就是，当眼底图像病变包括n级病变时，第二神经网络生成的第二特征集应该为长度为n-1的特征向量，其中，i级病变的特征向量中前i为1，其余为0。

上述的第二神经网络的眼底病变分级标签编码方式符合病变不断加深，旧病变类型存在情况下新病变类型出现的现象。

对上述的第一卷积神经网络、第二卷积神经网络和分类器的训练过程做如下的说明。

对于第一神经网络的训练为：预先对眼底图像进行预处理，得到训练样本。对训练样本进行病变类型人工标记，标记出每个样本所包含的病变类型，每一个病变类型代表一个标签，基于对标签的编码可得到训练样本对应的目标输出。如样本图像中包含微血管瘤和硬性渗出，则该样本的目标输出应该是[1,1,0,0]。训练过程中将处理后的图片输入cnn网络，进行向前传播，然后计算cnn网络输出与目标输出之间的差，并对网络中各个部分进行求导，使用sgd算法更新网络参数。

上述的对眼底图像的预处理包括：

1、获取图像的信息区域，即感兴趣区域(areaofinterest，aoi)。眼底图像的aoi即眼底照片中中间的圆形区域，仅有该部分包含有效的眼底图像，周围的白色或者黑色部分为摄像头遮挡部分，不具有诊断意义。

2、图片缩放。眼底照片分辨率较高，通常高于1000*2000，无法直接作为cnn的输入，因此将图片缩小到所需要的大小，可以是299*299。

3、单张图片归一化。该步骤主要用于规避由于光照等原因造成的图片判断影响。该步骤对图片rgb通道中的每一通道，计算aoi中像素强度的平均值，标准差。对每一个像素，将其强度值减去平均值然后除以标准差，得到归一化之后的强度值。

4、加入随机噪声。为了降低训练过程中的过拟合问题以及在预测过程中进行多次采样，对上一步得到的图片加入均值为0，标准差为图片标注差5％的高斯噪声。这样的既不会对图像判别产生影响，又可以减小过拟合问题带来的泛华性不足问题。

5、随机旋转。由于图片aoi部分为圆形，因此可以对图片以图片中心为圆心进行任意角度的旋转。图像旋转并不会给图片诊断带来任何影响，同时能减小过拟合问题的影响。

同样的，对于第二神经网络和分类器进行训练前，也需要对眼底图片做上述的预处理，因此，在陈述第二神经网络和分类器的训练时不再对图像的预处理过程进行详述。

对第二神经网络的训练为：预先对眼底图像进行预处理，得到训练样本。对训练样本进行人工标记，标记出每个样本对应的病变级别，基于上述的递进式的编码方式可得到训练样本对应的目标输出。如样本中眼底图像为3级，则该样本的目标输出应该是(1,1,1,0)。训练过程中将处理后的图片输入cnn网络，进行向前传播，然后计算cnn网络输出与目标输出之间的差，并对网络中各个部分进行求导，使用sgd算法更新网络参数。

在一个实施例中，如图5所示，提供了一种眼底图像处理方法，包括如下步骤：

步骤s310：接收采集的眼底图像。

步骤s320：将眼底图像做象限分割，生成象限图像组，将象限图像组中的每一象限图像输入至第一神经网络中，得到每一象限图像的特征向量，组合每一个象限图像的特征向量生成眼底图像的第一特征集。

象限分割是使用笛卡尔坐标系中的横轴和纵轴将眼底图像分割成四个区域，如图6所示。区域内的眼底图像为象限图像。将象限图像缩放成设定大小，如299*299。处理后，四个象限图像组成象限图像组。

将象限图像组中的象限图像输入至第一神经网络中进行预测，每个象限图像产生一个特征向量。第一神经网络可以是识别图像病变类型的卷积神经网络，第一神经网络的输出象限图像的特征向量可以是长度为4的向量，向量中的每个元素对应一个病变类型，如[1,0,0,0]。第一神经网络以及第一神经网络的输出的具体限定可参照上文中的限定，此处不再赘述。

需要说明的是，在将象限图像输入到第一神经网络中进行预测前，需要先对象限图像做预处理，这里的预处理可以包括单一化处理、加入随机噪声及随机旋转等。

组合象限图像的特征向量，可以是连接四个象限图像的特征向量成一个长度为16的长向量。可以是第一象限图像的特征向量+第二象限图像的特征向量+第三象限图像的特征向量+第四象限图像的特征向量。组合象限图像的特征向量生成的第一特征向量不仅能够表征图像所包含的病变类型还可以表征不同类型病变的分布情况。

步骤s330：通过第二神经网路识别眼底图像，生成眼底图像的第二特征集，其中，第一特征集和第二特征集表征眼底图像不同的病变属性。

本步骤的具体限定可参照上文的限定，此处不再赘述。

步骤s340：组合第一特征集和第二特征集，得到眼底图像的组合特征集。

这里的组合特征集包括了四个象限图像的第一属性特征和眼底图像的第二属性特征。

步骤s350：将组合特征集输入至分类器中，得到分类结果。

本步骤的具体限定可参照上文的限定，此处不再赘述。

本实施例中，将包含了更多病变特征的组合特征集输入至分类器中，得到的分类结果更加精准。

应该理解的是，虽然图3和图5的流程图中的各个步骤按照箭头的指示依次显示，但是这些步骤并不是必然按照箭头指示的顺序依次执行。除非本文中有明确的说明，这些步骤的执行并没有严格的顺序限制，这些步骤可以以其它的顺序执行。而且，图3和图5中的至少一部分步骤可以包括多个子步骤或者多个阶段，这些子步骤或者阶段并不必然是在同一时刻执行完成，而是可以在不同的时刻执行，这些子步骤或者阶段的执行顺序也不必然是依次进行，而是可以与其它步骤或者其它步骤的子步骤或者阶段的至少一部分轮流或者交替地执行。

在一个实施例中，采集的眼底图像可以为眼底图像对，包括来自同一个患者的左眼图像和右眼图像。

分别对左眼图像和左眼图像执行步骤s120-s14，或者s220-s240，得到左眼图像的组合特征集和右眼图像的组合特征集，连接左眼图像的组合特征集和右眼图像的组合特征集生成组合特征序列，将组合特征序列输入至分类器中，得到分类结果。

本实施例中的分类器是将经过第一神经网络和第二神经网络处理后得到的双眼的组合特征集作为眼底图像的特征向量训练得到的。也就是，对本实施例中的分类器的训练需输入双眼长度的特征向量(是单眼特征向量长度的2倍)，预测时，也需要输入相应长度的特征向量才能进行预测。

本实施例中的组合特征序列包含了左眼眼底图像的两个不同属性的病变特征和右眼眼底图像的两个不同属性的病变特征，即融合了双眼图像(双眼的病变具有很强的相关性)，又融合了多个cnn网络以及象限病变特征，进一步提升了病变分级的准确性。

在一个实施例中，采集的眼底图像为不同视野下的两组眼底图像对，包括来第一视野左眼图像和右眼图像，第二视野的左眼图像和右眼图像。

分别对上述的双眼双视野图像执行步骤s120-s14，或者s220-s240，得到四组组合特征集，连接这些组合特征集生成组合特征序列，将组合特征序列输入至分类器中，得到分类结果。

本实施例中的分类器是将经过第一神经网络和第二神经网络处理后得到的双眼、双视野的组合特征集作为眼底图像的特征向量训练得到的。也就是，对本实施例中的分类器的训练需输入双眼、双视野长度的特征向量(是单眼特征向量长度的4倍)，预测时，也需要输入相应长度的特征向量才能进行预测。

若训练数据或者待预测数据中存在单眼或者单视野数据，则将不可用/不存在视野对应的特征值设置为与已有视野相同的值，不可用/不存在眼睛对应的特征值设置为已有某单眼相同的值，以生成对应长度的特征向量。

本实施例中的组合特征序列包含了不同视野下左眼眼底图像的两个不同属性的病变特征和不同视野下右眼眼底图像的两个不同属性的病变特征，即融合了双视野双眼图像，又融合了多个cnn网络以及象限病变特征，进一步提升了病变分级的准确性。

在一个实施例中，如图7所示，提供了一种眼底图像处理装置，包括：

图像采集模块410，用于接收采集的眼底图像。

第一神经网络识别模块420，用于通过第一神经网络识别眼底图像，生成眼底图像的第一特征集。

第二神经网络识别模块430，用于通过第二神经网路识别眼底图像，生成眼底图像的第二特征集，其中，第一特征集和第二特征集表征眼底图像不同的病变属性。

特征组合模块440，用于组合第一特征集和第二特征集，得到眼底图像的组合特征集。

分类模块450，用于将组合特征集输入至分类器中，得到分类结果。

在一个实施例中，第一神经网络为能够识别眼底图像中所包含的病变类型的卷积神经网络，第二神经网络为能够识别眼底病变级别的卷积神经网络，分类器是由多个二类分类器按照设定的分类逻辑构成的多级分类网络。

在一个实施例中，第一神经网络识别模块420，还用于将眼底图像做象限分割，生成象限图像组；将象限图像组中的每一象限图像输入至第一神经网络中，得到每一图像的特征向量；组合每一象限图像的特征向量生成眼底图像的第一特征集。

在一个实施例中，接收的眼底图像包括来自同一个患者的左眼眼底图像和右眼眼底图像。分类模块450，还用于连接左眼眼底图像的组合特征集和右眼眼底图像的组合特征集，生成眼底图像的组合特征序列；将组合特征序列输入至分类器中，得到分类结果。

在一个实施例中，接收的眼底图像包括来自同一患者的第一视野左眼眼底图像、第二视野左眼眼底图像、第一视野右眼眼底图像和第二视野右眼眼底图像；分类模块450，还用于连接第一视野左眼眼底图像的组合特征集、第二视野左眼眼底图像的组合特征集、第一视野右眼眼底图像的组合特征集，第二视野右眼眼底图像组合特征集，生成眼底图像的组合特征序列；将组合特征序列输入至分类器中，得到分类结果。

在一个实施例中，第二神经网络为能够识别眼底病变级别的卷积神经网络，当眼底图像病变包括n级病变时，生成的第二特征集为长度为n-1的特征向量，i级病变的特征向量中前i为1，其余为0。

上述眼底图像处理装置中的各个模块可全部或部分通过软件、硬件及其组合来实现。其中，网络接口可以是以太网卡或无线网卡等。上述各模块可以硬件形式内嵌于或独立于计算机设备中的处理器中，也可以以软件形式存储于计算机设备中的存储器中，以便于处理器调用执行以上各个模块对应的操作。该处理器可以为中央处理单元(cpu)、微处理器、单片机等。

在一个实施例中，提供了一种计算机设备，该计算机设备可以是服务器或者终端，其内部结构图可以如图8所示。该计算机设备包括通过系统总线连接的处理器、存储器、网络接口和数据库。其中，该计算机设备的处理器用于提供计算和控制能力。该计算机设备的存储器包括非易失性存储介质、内存储器。该非易失性存储介质存储有操作系统、计算机程序和数据库。该内存储器为非易失性存储介质中的操作系统和计算机程序的运行提供环境。该计算机设备的数据库用于存储神经网络模型数据。该计算机设备的网络接口用于与外部的图像采集终端通过网络连接通信。该计算机程序被处理器执行时以实现一种眼底图像处理方法。

本领域技术人员可以理解，图8中示出的结构，仅仅是与本申请方案相关的部分结构的框图，并不构成对本申请方案所应用于其上的计算机设备的限定，具体的计算机设备可以包括比图中所示更多或更少的部件，或者组合某些部件，或者具有不同的部件布置。

在一个实施例中，提供了一种计算机设备，包括存储器和处理器，存储器中存储有计算机程序，该处理器执行计算机程序时实现以下步骤：

接收采集的眼底图像；

通过第一神经网络识别眼底图像，生成眼底图像的第一特征集；

通过第二神经网路识别眼底图像，生成眼底图像的第二特征集，其中，第一特征集和第二特征集表征眼底图像不同的病变属性；

组合第一特征集和第二特征集，得到眼底图像的组合特征集；

将组合特征集输入至分类器中，得到分类结果。

在一个实施例中，第一神经网络为能够识别眼底图像中所包含的病变类型的卷积神经网络，第二神经网络为能够识别眼底病变级别的卷积神经网络，分类器是由多个二类分类器按照设定的分类逻辑构成的多级分类网络。

在一个实施例中，处理器执行通过第一神经网络识别眼底图像，得到眼底图像的第一特征集时，还实现以下步骤：

将眼底图像做象限分割，生成象限图像组；

将象限图像组中的每一象限图像输入至第一神经网络中，得到每一象限图像对应特征向量；

组合每一象限图像的特征向量生成眼底图像的第一特征集。

在一个实施例中，采集的眼底图像包括来自同一个患者的左眼眼底图像和右眼眼底图像；

处理器执行将组合特征集输入至分类器中，得到分类结果时，还实现以下步骤：连接左眼眼底图像的组合特征集和右眼眼底图像的组合特征集，生成眼底图像的组合特征序列；将组合特征序列输入至分类器中，得到分类结果。

在一个实施例中，采集的眼底图像包括来自同一患者的第一视野左眼眼底图像、第二视野左眼眼底图像、第一视野右眼眼底图像和第二视野右眼眼底图像；

处理器执行将组合特征集输入至分类器中，得到分类结果时，还实现以下步骤：连接第一视野左眼眼底图像的组合特征集、第二视野左眼眼底图像的组合特征集、第一视野右眼眼底图像的组合特征集，第二视野右眼眼底图像组合特征集，生成眼底图像的组合特征序列；将组合特征序列输入至分类器中，得到分类结果。

在一个实施例中，第二神经网络为能够识别眼底病变级别的卷积神经网络，当眼底图像病变包括n级病变时，生成的第二特征集为长度为n-1的特征向量，其中，i级病变的特征向量中前i为1，其余为0。

在一个实施例中，提供了一种计算机可读存储介质，其上存储有计算机程序，计算机程序被处理器执行时实现以下步骤：

接收采集的眼底图像；

通过第一神经网络识别眼底图像，生成眼底图像的第一特征集；

通过第二神经网路识别眼底图像，生成眼底图像的第二特征集，其中，第一特征集和第二特征集表征眼底图像不同的病变属性；

组合第一特征集和第二特征集，得到眼底图像的组合特征集；

将组合特征集输入至分类器中，得到分类结果。

在一个实施例中，第一神经网络为能够识别眼底图像中所包含的病变类型的卷积神经网络，第二神经网络为能够识别眼底病变级别的卷积神经网络，分类器是由多个二类分类器按照设定的分类逻辑构成的多级分类网络。

在一个实施例中，处理器执行通过第一神经网络识别眼底图像，得到眼底图像的第一特征集时，还实现以下步骤：

将眼底图像做象限分割，生成象限图像组；

将象限图像组中的每一象限图像输入至第一神经网络中，得到每一象限图像对应特征向量；

组合特征向量生成眼底图像的第一特征集。

在一个实施例中，采集的眼底图像包括来自同一个患者的左眼眼底图像和右眼眼底图像；

处理器执行将组合特征集输入至分类器中，得到分类结果时，还实现以下步骤：连接左眼眼底图像的组合特征集和右眼眼底图像的组合特征集，生成眼底图像的组合特征序列；将组合特征序列输入至分类器中，得到分类结果。

在一个实施例中，采集的眼底图像包括来自同一患者的第一视野左眼眼底图像、第二视野左眼眼底图像、第一视野右眼眼底图像和第二视野右眼眼底图像；

处理器执行将组合特征集输入至分类器中，得到分类结果时，还实现以下步骤：连接第一视野左眼眼底图像的组合特征集、第二视野左眼眼底图像的组合特征集、第一视野右眼眼底图像的组合特征集，第二视野右眼眼底图像组合特征集，生成眼底图像的组合特征序列；将组合特征序列输入至分类器中，得到分类结果。

在一个实施例中，第二神经网络为能够识别眼底病变级别的卷积神经网络，当眼底图像病变包括n级病变时，生成的第二特征集为长度为n-1的特征向量，其中，i级病变的特征向量中前i为1，其余为0。

本领域普通技术人员可以理解实现上述实施例方法中的全部或部分流程，是可以通过计算机程序来指令相关的硬件来完成，的计算机程序可存储于一非易失性计算机可读取存储介质中，该计算机程序在执行时，可包括如上述各方法的实施例的流程。其中，本申请所提供的各实施例中所使用的对存储器、存储、数据库或其它介质的任何引用，均可包括非易失性和/或易失性存储器。非易失性存储器可包括只读存储器(rom)、可编程rom(prom)、电可编程rom(eprom)、电可擦除可编程rom(eeprom)或闪存。易失性存储器可包括随机存取存储器(ram)或者外部高速缓冲存储器。作为说明而非局限，ram以多种形式可得，诸如静态ram(sram)、动态ram(dram)、同步dram(sdram)、双数据率sdram(ddrsdram)、增强型sdram(esdram)、同步链路(synchlink)dram(sldram)、存储器总线(rambus)直接ram(rdram)、直接存储器总线动态ram(drdram)、以及存储器总线动态ram(rdram)等。

以上实施例的各技术特征可以进行任意的组合，为使描述简洁，未对上述实施例中的各个技术特征所有可能的组合都进行描述，然而，只要这些技术特征的组合不存在矛盾，都应当认为是本说明书记载的范围。

以上实施例仅表达了本申请的几种实施方式，其描述较为具体和详细，但并不能因此而理解为对发明专利范围的限制。应当指出的是，对于本领域的普通技术人员来说，在不脱离本申请构思的前提下，还可以做出若干变形和改进，这些都属于本申请的保护范围。因此，本申请专利的保护范围应以所附权利要求为准。