模型训练方法、眼底图像生成方法、模型评估方法及装置与流程

1.本发明涉及医疗图像处理领域，特别涉及一种模型训练方法、眼底图像生成方法、模型评估方法及装置。


背景技术：

2.目前，通常的机器学习乃至深度学习的模型可分为鉴别式模型和生成式模型，其中，鉴别式模型基于对监督信号的学习，能对输入的数据给出区分性的预测，例如，计算机视觉中的分类、检测和分割；而生成式模型可不依赖特定的监督信号，直接学习训练集的数据分布，然后可无限地生成符合此分布的数据。
3.如果生成的数据高保真，会衍生出很多有价值的应用可能性。以医学图像为例，医学图像，特别是包含罕见病病例的医学图像，具有天然的稀缺性。如果能利用生成式模型产生大量的病例医学图像，无疑会对医学图像识别和理解有很大用处，例如，有助于进行数据扩增以丰富训练集、用生成的图像进行医学知识培训或展示，以避免隐私泄露，以及分析模型隐空间的语义结构，进行疾病演化的研究或预后诊断。
4.现有技术中，生成式模型所生成的眼底图像，虽然细节已很真实，但血管结构却出乎意料地混乱，不符合医学常识，例如，有些动脉或静脉没有联通，没有来源凭空出现血管段，动静脉混杂等。因此，如何生成高质量的眼底图像成为本领域技术人员亟待解决的技术问题。


技术实现要素：

5.本发明实施例提供一种模型训练方法、眼底图像生成方法、模型评估方法及装置，以解决现有技术中所生成的眼底图像的图像质量较低的技术问题。
6.根据本发明的第一方面，公开了一种模型训练方法，所述方法包括：
7.获取第一训练集，其中，所述第一训练集中包括多个样本眼底图像；
8.生成各样本眼底图像的血管分割图，其中，所述血管分割图为二值图；
9.对于每个样本眼底图像，将样本眼底图像中各像素点rgb三通道的像素值与其血管分割图中对应位置像素点的像素值进行合并处理，得到四通道的图像；
10.将所述四通道的图像输入至预先构建的初始网络模型中，进行模型训练，得到目标网络模型，其中，所述初始网络模型的网络超参数至少包括引导强度，所述引导强度用于启发网络模型基于四通道的图像中的血管信息生成新的眼底图像中的血管，所述目标网络模型用于生成新的眼底图像。
11.可选地，作为一个实施例，所述初始网络模型为基于生成式对抗网络gan构建的网络模型。
12.可选地，作为一个实施例，所述血管分割图中每个像素点的像素值为0或1；
13.所述四通道的图像中每个像素点的像素值为[r,g,b,m*s*u]，其中，r为样本眼底图像中像素点的r通道的像素值，g为g通道的像素值，b为b通道的像素值，m为血管分割图中
对应位置像素点的像素值，s为所述引导强度，u为255。
[0014]
根据本发明的第二方面，公开了一种眼底图像生成方法，用于基于第一方面中的目标网络模型生成新的眼底图像，所述方法包括：
[0015]
接收原始眼底图像；
[0016]
生成所述原始眼底图像的血管分割图；
[0017]
将所述原始眼底图像中各像素点rgb三通道的像素值与其血管分割图中对应位置像素点的像素值进行合并处理，得到四通道的第一图像；
[0018]
将所述第一图像输入至目标网络模型中进行处理，得到四通道的第二图像；
[0019]
基于所述第二图像中像素点的rgb通道信息，生成新的眼底图像。
[0020]
根据本发明的第三方面，公开了一种模型评估方法，用于对第一方面中的目标网络模型的性能进行评估，所述方法包括：
[0021]
获取第二训练集和合成图像集，其中，所述第二训练集中包括多个样本眼底图像，所述合成图像集中包括多个眼底图像，所述合成图像集中的眼底图像是基于所述第二训练集和目标网络模型所生成的新的眼底图像；
[0022]
将所述第二训练集中的各样本眼底图像，分别输入至预先训练的多病种分类模型中进行处理，得到各样本眼底图像属于各病种的概率分布；以及将所述合成图像集中的各眼底图像，分别输入至所述多病种分类模型中进行处理，得到各眼底图像属于各病种的概率分布；
[0023]
根据所述第二训练集中各样本眼底图像属于各病种的概率分布和所述合成图像集中各眼底图像属于各病种的概率分布，计算所述第二训练集与所述合成图像集在病种概率分布维度下的相似度；
[0024]
根据所述相似度，对所述目标网络模型的性能进行评估。
[0025]
可选地，作为一个实施例，所述根据所述第二训练集中各样本眼底图像属于各病种的概率分布和所述合成图像集中各眼底图像属于各病种的概率分布，计算所述第二训练集与所述合成图像集在病种概率分布维度下的相似度，包括：
[0026]
根据所述第二训练集中各样本眼底图像属于各病种的概率分布和所述合成图像集中各眼底图像属于各病种的概率分布，计算所述第二训练集与所述合成图像集在每个病种维度下的js散度值；
[0027]
根据所述第二训练集与所述合成图像集在每个病种维度下的js散度值，计算所述第二训练集与所述合成图像集在病种概率分布维度下的相似度。
[0028]
可选地，作为一个实施例，所述根据所述第二训练集与所述合成图像集在每个病种维度下的js散度值，计算所述第二训练集与所述合成图像集在病种概率分布维度下的相似度，包括：
[0029]
对所述第二训练集与所述合成图像集在每个病种维度下的js散度值进行均值运算，得到js散度均值，其中，js散度均值的数值越小，所述第二训练集与所述合成图像集在病种概率分布维度下的相似度越高；或者，
[0030]
对所述第二训练集与所述合成图像集在每个病种维度下的js散度值进行加权求和运算，得到js散度加权求和值，其中，js散度加权求和值越小，所述第二训练集与所述合成图像集在病种概率分布维度下的相似度越高；或者，
[0031]
对所述第二训练集与所述合成图像集在每个病种维度下的js散度值均进行平方根运算，得到所述第二训练集与所述合成图像集在每个病种维度下的js距离值，对所述第二训练集与所述合成图像集在每个病种维度下的js距离值进行均值运算，得到js距离均值，其中，js距离均值的数值越小，所述第二训练集与所述合成图像集在病种概率分布维度下的相似度越高；或者，
[0032]
对所述第二训练集与所述合成图像集在每个病种维度下的js距离值进行加权求和运算，得到js距离加权求和值，其中，js距离加权求和值的数值越小，所述第二训练集与所述合成图像集在病种概率分布维度下的相似度越高。
[0033]
根据本发明的第四方面，公开了一种模型训练装置，所述装置包括：
[0034]
第一获取模块，用于获取第一训练集，其中，所述第一训练集中包括多个样本眼底图像；
[0035]
第一生成模块，用于生成各样本眼底图像的血管分割图，其中，所述血管分割图为二值图；
[0036]
第一合并模块，用于对于每个样本眼底图像，将样本眼底图像中各像素点rgb三通道的像素值与其血管分割图中对应位置像素点的像素值进行合并处理，得到四通道的图像；
[0037]
训练模块，用于将所述四通道的图像输入至预先构建的初始网络模型中，进行模型训练，得到目标网络模型，其中，所述初始网络模型的网络超参数至少包括引导强度，所述引导强度用于启发网络模型基于四通道的图像中的血管信息生成新的眼底图像中的血管，所述目标网络模型用于生成新的眼底图像。
[0038]
可选地，作为一个实施例，所述初始网络模型为基于生成式对抗网络gan构建的网络模型。
[0039]
可选地，作为一个实施例，所述血管分割图中每个像素点的像素值为0或1；
[0040]
所述四通道的图像中每个像素点的像素值为[r,g,b,m*s*u]，其中，r为样本眼底图像中像素点的r通道的像素值，g为g通道的像素值，b为b通道的像素值，m为血管分割图中对应位置像素点的像素值，s为所述引导强度，u为255。
[0041]
根据本发明的第五方面，公开了一种眼底图像生成装置，用于基于第四方面中的目标网络模型生成新的眼底图像，所述装置包括：
[0042]
接收模块，用于接收原始眼底图像；
[0043]
第二生成模块，用于生成所述原始眼底图像的血管分割图；
[0044]
第二合并模块，用于将所述原始眼底图像中各像素点rgb三通道的像素值与其血管分割图中对应位置像素点的像素值进行合并处理，得到四通道的第一图像；
[0045]
第一处理模块，用于将所述第一图像输入至目标网络模型中进行处理，得到四通道的第二图像；
[0046]
第三生成模块，用于基于所述第二图像中像素点的rgb通道信息，生成新的眼底图像。
[0047]
根据本发明的第六方面，公开了一种模型评估装置，用于对第四方面中的目标网络模型的性能进行评估，所述装置包括：
[0048]
第二获取模块，用于获取第二训练集和合成图像集，其中，所述第二训练集中包括
多个样本眼底图像，所述合成图像集中包括多个眼底图像，所述合成图像集中的眼底图像是基于所述第二训练集和目标网络模型所生成的新的眼底图像；
[0049]
第二处理模块，用于将所述第二训练集中的各样本眼底图像，分别输入至预先训练的多病种分类模型中进行处理，得到各样本眼底图像属于各病种的概率分布；以及将所述合成图像集中的各眼底图像，分别输入至所述多病种分类模型中进行处理，得到各眼底图像属于各病种的概率分布；
[0050]
计算模块，用于根据所述第二训练集中各样本眼底图像属于各病种的概率分布和所述合成图像集中各眼底图像属于各病种的概率分布，计算所述第二训练集与所述合成图像集在病种概率分布维度下的相似度；
[0051]
评估模块，用于根据所述相似度，对所述目标网络模型的性能进行评估。
[0052]
可选地，作为一个实施例，所述计算模块包括：
[0053]
第一计算子模块，用于根据所述第二训练集中各样本眼底图像属于各病种的概率分布和所述合成图像集中各眼底图像属于各病种的概率分布，计算所述第二训练集与所述合成图像集在每个病种维度下的js散度值；
[0054]
第二计算子模块，用于根据所述第二训练集与所述合成图像集在每个病种维度下的js散度值，计算所述第二训练集与所述合成图像集在病种概率分布维度下的相似度。
[0055]
可选地，作为一个实施例，所述第二计算子模块包括：
[0056]
第一计算单元，用于对所述第二训练集与所述合成图像集在每个病种维度下的js散度值进行均值运算，得到js散度均值，其中，js散度均值的数值越小，所述第二训练集与所述合成图像集在病种概率分布维度下的相似度越高；或者，
[0057]
第二计算单元，用于对所述第二训练集与所述合成图像集在每个病种维度下的js散度值进行加权求和运算，得到js散度加权求和值，其中，js散度加权求和值越小，所述第二训练集与所述合成图像集在病种概率分布维度下的相似度越高；或者，
[0058]
第三计算单元，用于对所述第二训练集与所述合成图像集在每个病种维度下的js散度值均进行平方根运算，得到所述第二训练集与所述合成图像集在每个病种维度下的js距离值，对所述第二训练集与所述合成图像集在每个病种维度下的js距离值进行均值运算，得到js距离均值，其中，js距离均值的数值越小，所述第二训练集与所述合成图像集在病种概率分布维度下的相似度越高；或者，
[0059]
对所述第二训练集与所述合成图像集在每个病种维度下的js距离值进行加权求和运算，得到js距离加权求和值，其中，js距离加权求和值的数值越小，所述第二训练集与所述合成图像集在病种概率分布维度下的相似度越高。
[0060]
根据本发明的第七方面，公开了一种电子设备，包括：处理器及存储在所述存储器上并可在所述处理器上运行的程序，所述程序被所述处理器执行时实现如第一方面中模型训练方法的步骤。
[0061]
根据本发明的第八方面，公开了一种电子设备，包括：处理器及存储在所述存储器上并可在所述处理器上运行的程序，所述程序被所述处理器执行时实现如第二方面中眼底图像生成方法的步骤。
[0062]
根据本发明的第九方面，公开了一种电子设备，包括：处理器及存储在所述存储器上并可在所述处理器上运行的程序，所述程序被所述处理器执行时实现如第三方面中模型
评估方法的步骤。
[0063]
根据本发明的第十方面，公开了一种计算机可读存储介质，所述计算机可读存储介质上存储有程序，所述程序被所述处理器执行时实现如第一方面中模型训练方法的步骤。
[0064]
根据本发明的第十一方面，公开了一种计算机可读存储介质，所述计算机可读存储介质上存储有程序，所述程序被所述处理器执行时实现如第二方面中眼底图像生成方法的步骤。
[0065]
根据本发明的第十二方面，公开了一种计算机可读存储介质，所述计算机可读存储介质上存储有程序，所述程序被所述处理器执行时实现如第三方面中模型评估方法的步骤。
[0066]
本发明实施例中，在构建初始网络模型时，在初始网络模型中加入引导强度这一网络超参数，在训练模型时，训练数据中除包含样本眼底图像的rgb通道信息之外，还附加了用于表征样本眼底图像中实际血管结构的辅助信息，在训练过程中，通过训练数据和引导强度，启发初始网络模型按照眼底图像中血管分布的自然规律进行训练，得到目标网络模型。与现有技术相比，本发明实施例中，由于目标网络模型是网络模型学习眼底图像中血管结构真实分布信息训练得到的，因此基于目标网络模型所生成的眼底图像中的血管结构符合医学常识，所生成的眼底图像的图像质量较高。
[0067]
本发明实施例中，还可以基于多病种分类模型分别对训练集和模型基于该训练集生成的合成图像集进行推理，得到各自的概率分布，通过比较两者的概率分布，来对训练得到的生成网络进行评估，评估过程比较简单、便捷及高效。
附图说明
[0068]
图1是本发明的一个实施例的模型训练方法的流程图；
[0069]
图2是本发明的一个实施例的模型训练过程的示例图；
[0070]
图3是本发明的一个实施例的眼底图像生成方法的流程图；
[0071]
图4是本发明的一个实施例的模型评估方法的流程图；
[0072]
图5是本发明的一个实施例的样本眼底图像所属病种概率分布的示例图；
[0073]
图6是本发明的一个实施例的合成眼底图像所属病种概率分布的示例图之一；
[0074]
图7是本发明的一个实施例的合成眼底图像所属病种概率分布的示例图之二；
[0075]
图8是本发明的一个实施例的模型训练装置的结构示意图；
[0076]
图9是本发明的一个实施例的眼底图像生成装置的结构示意图；
[0077]
图10是本发明的一个实施例的模型评估装置的结构示意图。
具体实施方式
[0078]
为使本发明的上述目的、特征和优点能够更加明显易懂，下面结合附图和具体实施方式对本发明作进一步详细的说明。
[0079]
需要说明的是，对于方法实施例，为了简单描述，故将其都表述为一系列的动作组合，但是本领域技术人员应该知悉，本发明实施例并不受所描述的动作顺序的限制，因为依据本发明实施例，某些步骤可以采用其他顺序或者同时进行。其次，本领域技术人员也应该
知悉，说明书中所描述的实施例均属于优选实施例，所涉及的动作并不一定是本发明实施例所必须的。
[0080]
目前，主流的生成网络有变分自编码器(variational autoencoder)、自回归模型(autoregressive methods)、基于流的方法(flow
‑
based method)以及生成式对抗网络(gan，generative adversarial networks)。从图像生成的清晰度和真实度来看，gan网络更优越，是目前主流方法。由于眼底图像需要较高分辨率(1024x1024以上)，又以pggan及其改进版本sytlegan效果最佳。
[0081]
采用gan生成的眼底图像，虽然细节已很真实，但血管结构却出乎意料地混乱，不符合医学常识，例如，有些动脉或静脉没有联通，没有来源凭空出现血管段，动静脉混杂等。究其原因，是因为血管是长程相关的精细结构。cnn擅长学习全局性pattern，可保证解剖结构和位置的正常，例如视盘和黄斑区；但它却允许细节的多样性，几个像素的差异，就会导致血管断裂而失常。如何真实地生成血管，是生成高质量眼底照片的关键。
[0082]
对此，现有技术中提出一些解决方法，例如，先生成血管分割图，再做风格迁移到全眼底，从纯粹视觉角度成立，但欠缺医学常识。因为血管与眼底其它部分是一个整体生长而成，不是先有血管再有其它部分。此外，此方法只能生成分辨率为512
×
512的图像，达不到高清分辨率1024
×
1024的要求。可见，现有技术中所生成的眼底图像的图像质量较低。
[0083]
为了解决上述技术问题，本发明实施例提供了一种模型训练方法、眼底图像生成方法、模型评估方法及装置。
[0084]
下面首先对本发明实施例提供的一种模型训练方法进行介绍。
[0085]
需要说明的是，本发明实施例提供的方法适应于电子设备，在实际应用中，该电子设备可以包括：服务器、笔记本/台式电脑、桌面机等计算机设备，也可以包括：智能手机、平板电脑、个人数字助理等移动终端，本发明实施例对此不作限定。
[0086]
图1是本发明的一个实施例的模型训练方法的流程图，如图1所示，该方法可以包括以下步骤：步骤101、步骤102、步骤103和步骤104，其中，
[0087]
在步骤101中，获取第一训练集，其中，第一训练集中包括多个样本眼底图像。
[0088]
本发明实施例中，样本眼底图像可以为眼底相机拍摄到的、真实的眼底图像，也可以为后期合成的眼底图像。
[0089]
本发明实施例中，为了降低训练数据在图像尺寸和分辨率维度下分布的差异性，便于模型训练，样本眼底图像的生成过程可以包括：将原始的眼底图像裁切掉黑色边缘，保留眼底所在的正方形区域，然后调整尺寸到指定分辨率，得到样本眼底图像。
[0090]
在实际应用中，当生成网络所生成的眼底图像的分辨率要求为1024
×
1024时，上述指定分辨率为1024
×
1024。
[0091]
本发明实施例中，考虑到样本数量越多，训练出的模型的生成结果越准确，优选地，第一训练集中可以包括海量的样本眼底图像。
[0092]
在步骤102中，生成各样本眼底图像的血管分割图，其中，血管分割图为二值图。
[0093]
本发明实施例中，可以采用血管分割模型，将样本眼底图像输入至血管分割模型中进行处理，得到样本眼底图像的血管分割图。
[0094]
本发明实施例中，血管分割图中的每个像素点只有一个颜色通道，取值可以为0或1，0代表纯黑色，纯黑色代表无血管，1代表纯白色，纯白色代表有血管。
[0095]
需要说明的是，本发明实施例中所采用的血管分割模型，可以为相关技术中的任一种血管分割模型，具体的，可以为能分割出大致血管形态脉络的血管分割模型，也可以为能分割出精细血管形态脉络的血管分割模型，本发明实施例对此不作限定。
[0096]
在步骤103中，对于每个样本眼底图像，将样本眼底图像中各像素点rgb三通道的像素值与其血管分割图中对应位置像素点的像素值进行合并处理，得到四通道的图像。
[0097]
本发明实施例中，当血管分割图中每个像素点的像素值为0或1时，四通道的图像中每个像素点的像素值为[r,g,b,m*s*u]，其中，r为样本眼底图像中像素点的r通道的像素值，g为g通道的像素值，b为b通道的像素值，m为血管分割图中对应位置像素点的像素值，s为引导强度，引导强度是用于模型训练的初始网络模型中的网络超参数，s取值范围在0～1之间，u为255。
[0098]
本发明实施例中，对于四通道的图像中每个像素点的像素值[r,g,b,m*s*u]，当m＝0时，m*s*u＝0，表示这个像素点处无血管；当m＝1时，m*s*u＝s*255，由于0＜s≤1，因此0＜s*255≤255，表示这个像素点处有血管。
[0099]
在步骤104中，将四通道的图像输入至预先构建的初始网络模型中，进行模型训练，得到目标网络模型，其中，初始网络模型的网络超参数至少包括引导强度，引导强度用于启发网络模型基于四通道的图像中的血管信息生成新的眼底图像中的血管，目标网络模型用于生成新的眼底图像。
[0100]
本发明实施例中，第一训练集中的每个样本眼底图像分别会对应一个四通道的图像，将各四通道的图像轮流输入至初始网络模型中，进行模型训练，直至模型收敛，得到目标网络模型。其中，目标网络模型可以基于高斯分布随机量生成新的眼底图像。
[0101]
考虑到从图像生成的清晰度和真实度来看，gan网络更优越，本发明实施例中，初始网络模型可以为基于生成式对抗网络gan构建的网络模型。
[0102]
本发明实施例中，引导强度可以从1、1/2、1/3、1/4,
……
,1/254、1/255之间逐步搜索，经验值为1/12～1/16。例如，在构建基于gan的初始网络模型时，设置引导强度为1，通过步骤104的训练过程，得到引导强度为1的目标网络模型。在构建基于gan的初始网络模型时，设置引导强度为1/2，通过步骤104的训练过程，得到引导强度为1/2的目标网络模型。依次类推，可以训练得到引导强度不同的多个目标网络模型。
[0103]
为了便于理解，以训练gan网络为例，结合图2所示的例子，对模型训练过程进行描述。
[0104]
如图2所示，将样本眼底图像输入至血管分割模型中进行处理，输入血管分割图，将样本眼底图像中各像素点rgb三通道的像素值与其血管分割图中对应位置像素点的像素值进行合并处理，得到四通道的图像，将四通道的图像输入至基于gan网络构建的初始模型中，进行训练。
[0105]
对抗生成网络的训练方式的公式具体如下：
[0106][0107]
对抗生成网络分为两个部分：生成器(也称为生成网络)和判别器(也称为判别网络)，其中，生成器是一个生成图像的网络，它接收一个随机的噪声z，通过这个噪声生成图像；判别器是一个判别图像的网络，判别一张图像是不是“真实的”，它的输入参数是x，x代
表一张图像，输出x为真实图像的概率，如果为1，就代表100％是真实的图像，而输出为0，就代表不可能是真实的图像。
[0108]
对抗生成训练主要是通过生成器与判别器的网络对抗来提高生成器的效果，在训练过程中会不断地将真实的眼底图像与生成器所生成的眼底图像(即虚拟眼底图像)两者间交替输入到判别器，而判别器要判别输入的图像是属于生成器所生成的虚拟眼底图像还是真实的眼底图像，输出真假值，并在每一回合的训练中计算损失函数，之后根据损失函数的反馈，调整判别器的参数，随着参数的调整，判别器会越来越准确地识别出输入的图像是属于生成器所生成的虚拟眼底图像还是真实的眼底图像。而生成器的目的为产生出来的图像能够欺骗过判别器，因此在每一回合的训练中计算损失函数，根据损失函数调整生成器的参数，随着参数的不断调整，来产生更像真实图像的输出，进而提高图像的品质。将最终训练好的生成器确定为目标网络模型。
[0109]
由上述实施例可见，该实施例中，在构建初始网络模型时，在初始网络模型中加入引导强度这一网络超参数，在训练模型时，训练数据中除包含样本眼底图像的rgb通道信息之外，还附加了用于表征样本眼底图像中实际血管结构的辅助信息，在训练过程中，通过训练数据和引导强度，启发初始网络模型按照眼底图像中血管分布的自然规律进行训练，得到目标网络模型。与现有技术相比，本发明实施例中，由于目标网络模型是网络模型学习眼底图像中血管结构真实分布信息训练得到的，因此基于目标网络模型所生成的眼底图像中的血管结构符合医学常识，所生成的眼底图像的图像质量较高。
[0110]
在完成对模型训练过程的描述之后，接下来对如何使用已训练好的模型进行描述。
[0111]
图3是本发明的一个实施例的眼底图像生成方法的流程图，如图3所示，该方法可以包括以下步骤：步骤301、步骤302、步骤303、步骤304和步骤305，其中，
[0112]
在步骤301中，接收原始眼底图像。
[0113]
本发明实施例中，在使用已经训练好的目标网络模型时，目标网络模型的输入图像为原始眼底图像，原始眼底图像可以来源于眼底相机，也可以为合成的图像。
[0114]
在步骤302中，生成原始眼底图像的血管分割图。
[0115]
本发明实施例中，步骤302的生成过程与图1所示实施例中步骤102的生成过程类似，在此不再赘述。
[0116]
在步骤303中，将原始眼底图像中各像素点rgb三通道的像素值与其血管分割图中对应位置像素点的像素值进行合并处理，得到四通道的第一图像。
[0117]
本发明实施例中，对于有特殊病变的眼底图，如果无法提供血管分割图，则可以将血管分割图中对应位置像素点的像素值设置为零。
[0118]
在步骤304中，将第一图像输入至目标网络模型中进行处理，得到四通道的第二图像。
[0119]
本发明实施例中，第二图像为新生成的四通道的图像。
[0120]
在步骤305中，基于第二图像中像素点的rgb通道信息，生成新的眼底图像。
[0121]
本发明实施例中，基于第二图像中各像素点的rgb通道信息，可以重建出眼底图像(即，使用目标网络模型所生成的新的眼底图像)；基于第二图像中各像素点的第四通道的像素值信息，可以重建出新的眼底图像的血管分割图像。
[0122]
由上述实施例可见，该实施例中，在构建初始网络模型时，在初始网络模型中加入引导强度这一网络超参数，在训练模型时，训练数据中除包含样本眼底图像的rgb通道信息之外，还附加了用于表征样本眼底图像中实际血管结构的辅助信息，在训练过程中，通过训练数据和引导强度，启发初始网络模型按照眼底图像中血管分布的自然规律进行训练，得到目标网络模型。与现有技术相比，本发明实施例中，由于目标网络模型是网络模型学习眼底图像中血管结构真实分布信息训练得到的，因此基于目标网络模型所生成的眼底图像中的血管结构符合医学常识，所生成的眼底图像的图像质量较高。
[0123]
在完成对模型训练过程和模型使用过程的描述之后，接下来对如何评估已训练好的模型进行描述。
[0124]
目前，生成式网络的评估，通常采用自然图像imagenet数据集的预训练分类模型inception v3。但是，眼底图像与自然图像有实质不同，如何评估眼底图像的真实性及生成图像与训练集分布的相似度，从而比较不同模型的效果，需要更合适的方法。因为眼底具有多病种特征，本发明实施例提出基于预训练的眼底多病种分类模型的评估方法。
[0125]
图4是本发明的一个实施例的模型评估方法的流程图，如图4所示，该方法可以包括以下步骤：步骤401、步骤402、步骤403和步骤404，其中，
[0126]
在步骤401中，获取第二训练集和合成图像集，其中，第二训练集中包括多个样本眼底图像，合成图像集中包括多个眼底图像，合成图像集中的眼底图像是基于第二训练集和目标网络模型所生成的新的眼底图像。
[0127]
本发明实施例中，第二训练集与第一训练集可以为同一个训练集，第二训练集与第一训练集也可以为不同的训练集。
[0128]
本发明实施例中，合成图像集中眼底图像的生成过程，与图3所示实施例中的眼底图像生成过程类似，在此不再赘述。
[0129]
本发明实施例中，第二训练集中样本眼底图像的个数与合成图像集中眼底图像的个数相同，例如，第二训练集中包含1万张眼底图像，合成图像集中也包含1万张眼底图像。
[0130]
在步骤402中，将第二训练集中的各样本眼底图像，分别输入至预先训练的多病种分类模型中进行处理，得到各样本眼底图像属于各病种的概率分布；以及将合成图像集中的各眼底图像，分别输入至多病种分类模型中进行处理，得到各眼底图像属于各病种的概率分布。
[0131]
本发明实施例中，对于多病种分类模型，其输入是图像x，输出是l个病种的概率c(x)1,c(x)2,...,c(x)
l
。
[0132]
本发明实施例中，多病种分类模型可以为基于自然图像数据集imagenet公开数据集上预训练的inception
‑
v3公开的网络结构分类模型。
[0133]
考虑到眼底图像通常会呈现多病种特征，本发明实施例中，可以用预训练的多病种分类模型，分别对第二训练集和模型生成的合成图像集进行推理，得到各自的概率分布。生成的图像越真实，两个数据集的概率分布就越相似。
[0134]
本发明实施例中，对于第二训练集，其l个病种的概率分布为:
[0135]
x～p
data
(x)c(x)1,c(x)2,...,c(x)
l
；
[0136]
对于合成图像集，其l个病种的概率分布为:
[0137]
z～p
z
(z)c(g(z))1,c(g(z))2,...,c(g(z))
l
[0138]
在步骤403中，根据第二训练集中各样本眼底图像属于各病种的概率分布和合成图像集中各眼底图像属于各病种的概率分布，计算第二训练集与合成图像集在病种概率分布维度下的相似度。
[0139]
考虑到在度量概率分布相似性时，通常的kullack
‑
leibler散度存在一些不足，例如，非对称，所得分数没有归一化到[0,1]不便于比较，以及如果两个概率分布不重叠，会造成奇异。
[0140]
针对上述问题，本发明实施例中，可使用jensen shannon(js)散度来第二训练集与合成图像集在病种概率分布维度下的相似度，其中，js散度的计算公式为：kl散度的计算公式为：
[0141]
需要说明的是，x为概率空间χ中的随机变量，对于连续变量，公式中的求和运算改为积分运算。如果kl散度计算中对数log的底为2，则js散度的取值范围在[0,1]。js散度越小，两个概率分布越相似；为0时，则两个概率分布完全相似。
[0142]
相应的，在本发明提供的一个实施方式中，上述步骤403具体可以包括以下步骤(图中未示出)：步骤4031和步骤4031，其中，
[0143]
在步骤4031中，根据第二训练集中各样本眼底图像属于各病种的概率分布和合成图像集中各眼底图像属于各病种的概率分布，计算第二训练集与合成图像集在每个病种维度下的js散度值。
[0144]
为了便于理解，以直方图计算js散度为例进行描述，在一个例子中，第二训练集和合成图像集中眼底图像的个数均为1万，病种总数l为6，分别用以下代号表示：did1、did110、did118、did161、did163和did166。在计算出第二训练集中1万张眼底图像属于6种疾病的概率，以及计算出合成图像集中1万张眼底图像属于6种疾病的概率之后，
[0145]
如图5所示，生成第二训练集中1万张眼底图像在病种did1下的概率分布直方图“did1”，生成第二训练集中1万张眼底图像在病种did110下的概率分布直方图“did110”，生成第二训练集中1万张眼底图像在病种did118下的概率分布直方图“did118”，生成第二训练集中1万张眼底图像在病种did161下的概率分布直方图“did161”，生成第二训练集中1万张眼底图像在病种did163下的概率分布直方图“did163”以及生成第二训练集中1万张眼底图像在病种did166下的概率分布直方图“did166”。
[0146]
如图6所示，生成合成图像集中1万张眼底图像在病种did1下的概率分布直方图“did1”，生成合成图像集中1万张眼底图像在病种did110下的概率分布直方图“did110”，生成合成图像集中1万张眼底图像在病种did118下的概率分布直方图“did118”，生成合成图像集中1万张眼底图像在病种did161下的概率分布直方图“did161”，生成合成图像集中1万张眼底图像在病种did163下的概率分布直方图“did163”以及生成合成图像集中1万张眼底图像在病种did166下的概率分布直方图“did166”。
[0147]
根据图5中的概率分布直方图“did1”与图6中的概率分布直方图“did1”，可以计算第二训练集与合成图像集在病种did1下的js散度值a1，0≤a1≤1；
[0148]
根据图5中的概率分布直方图“did110”与图6中的概率分布直方图“did110”，可以计算第二训练集与合成图像集在病种did110下的js散度值a2，0≤a2≤1；
[0149]
根据图5中的概率分布直方图“did118”与图6中的概率分布直方图“did118”，可以计算第二训练集与合成图像集在病种did118下的js散度值a3，0≤a3≤1；
[0150]
根据图5中的概率分布直方图“did161”与图6中的概率分布直方图“did161”，可以计算第二训练集与合成图像集在病种did161下的js散度值a4，0≤a4≤1；
[0151]
根据图5中的概率分布直方图“did163”与图6中的概率分布直方图“did163”，可以计算第二训练集与合成图像集在病种did163下的js散度值a5，0≤a5≤1；
[0152]
根据图5中的概率分布直方图“did166”与图6中的概率分布直方图“did166”，可以计算第二训练集与合成图像集在病种did166下的js散度值a6，0≤a6≤1。
[0153]
需要说明的是，以上通过直方图计算js散度仅为一个便于理解的示例，考虑到js散度计算结果的准确性，在实际应用中，在计算js散度时，可以将概率划分为更小的区间，通过积分的方式js散度。
[0154]
在步骤4032中，根据第二训练集与合成图像集在每个病种维度下的js散度值，计算第二训练集与合成图像集在病种概率分布维度下的相似度。
[0155]
本发明实施例中，可以对第二训练集与合成图像集在每个病种维度下的js散度值进行均值运算，得到js散度均值，其中，js散度均值的数值越小，第二训练集与合成图像集在病种概率分布维度下的相似度越高。
[0156]
在一个例子中，接步骤4031中的例子，js散度均值s1＝(a1+a2+a3+a4+a5+a6)/6，0≤s1≤1，s1越小，相似度越高。
[0157]
本发明实施例中，可以根据病种的严重性，对第二训练集与合成图像集在每个病种维度下的js散度值进行加权求和运算，得到js散度加权求和值，其中，js散度加权求和值越小，第二训练集与合成图像集在病种概率分布维度下的相似度越高。
[0158]
在一个例子中，接步骤4031中的例子，js散度加权求和值s2＝a1*a1+a2*a2+a3*a3+a4*a4+a5*a5+a6*a6，0≤s2≤1，s2越小，相似度越高，其中，a1～a6为权重系数。
[0159]
考虑到js散度的平方根，即js距离，具备距离度量的良好性质，本发明实施例中，可以对第二训练集与所述合成图像集在每个病种维度下的js散度值均进行平方根运算，得到第二训练集与合成图像集在每个病种维度下的js距离值，对第二训练集与合成图像集在每个病种维度下的js距离值进行均值运算，得到js距离均值，其中，js距离均值的数值越小，第二训练集与合成图像集在病种概率分布维度下的相似度越高。
[0160]
在一个例子中，接步骤4031中的例子，js距离均值在一个例子中，接步骤4031中的例子，js距离均值0≤s3≤1，s3越小，相似度越高。
[0161]
本发明实施例中，可以根据病种的严重性，对第二训练集与合成图像集在每个病种维度下的js距离值进行加权求和运算，得到js距离加权求和值，其中，js距离加权求和值的数值越小，第二训练集与合成图像集在病种概率分布维度下的相似度越高。
[0162]
在一个例子中，接步骤4031中的例子，js距离加权求和值在一个例子中，接步骤4031中的例子，js距离加权求和值0≤s4≤1，s4越小，相似度越高，其中，b1～b6为权重系数。
[0163]
在步骤404中，根据相似度，对目标网络模型的性能进行评估。
[0164]
本发明实施例中，相似度越高，目标网络模型的性能越好。
[0165]
本发明实施例中，可以使用上述步骤401至步骤403的方法，对基于不同引导强度构建的目标网络模型进行性能评估，每个目标网络模型会得到一个js相关的得分，得分值越低，表示第二训练集与合成图像集在病种概率分布维度下的相似度越高，表示目标网络模型的生成眼底图像的效果越好。
[0166]
在一个例子中，图5为第二训练集的病种概率分布直方图，图6为引导强度＝1/4时合成图像集的病种概率分布直方图，图7为引导强度＝1/12时合成图像集的病种概率分布直方图，通过比较图5中的概率分布直方图“did1”与图6中的概率分布直方图“did1”发现，在病种did1下，两个直方图的差异比较大。如图7所示，当引导强度＝1/12时，通过比较发现，合成图像集与第二训练集在病种did1下的差异在缩小。
[0167]
由上述实施例可见，该实施例中，可以基于多病种分类模型分别对训练集和模型基于该训练集生成的合成图像集进行推理，得到各自的概率分布，通过比较两者的概率分布，来对训练得到的生成网络进行评估，评估过程比较简单、便捷及高效。
[0168]
图8是本发明的一个实施例的模型训练装置的结构示意图，如图8所示，模型训练装置800，可以包括：第一获取模块801、第一生成模块802、第一合并模块803和训练模块804，其中，
[0169]
第一获取模块801，用于获取第一训练集，其中，所述第一训练集中包括多个样本眼底图像；
[0170]
第一生成模块802，用于生成各样本眼底图像的血管分割图，其中，所述血管分割图为二值图；
[0171]
第一合并模块803，用于对于每个样本眼底图像，将样本眼底图像中各像素点rgb三通道的像素值与其血管分割图中对应位置像素点的像素值进行合并处理，得到四通道的图像；
[0172]
训练模块804，用于将所述四通道的图像输入至预先构建的初始网络模型中，进行模型训练，得到目标网络模型，其中，所述初始网络模型的网络超参数至少包括引导强度，所述引导强度用于启发网络模型基于四通道的图像中的血管信息生成新的眼底图像中的血管，所述目标网络模型用于生成新的眼底图像。
[0173]
由上述实施例可见，该实施例中，在构建初始网络模型时，在初始网络模型中加入引导强度这一网络超参数，在训练模型时，训练数据中除包含样本眼底图像的rgb通道信息之外，还附加了用于表征样本眼底图像中实际血管结构的辅助信息，在训练过程中，通过训练数据和引导强度，启发初始网络模型按照眼底图像中血管分布的自然规律进行训练，得到目标网络模型。与现有技术相比，本发明实施例中，由于目标网络模型是网络模型学习眼底图像中血管结构真实分布信息训练得到的，因此基于目标网络模型所生成的眼底图像中的血管结构符合医学常识，所生成的眼底图像的图像质量较高。
[0174]
可选地，作为一个实施例，所述初始网络模型可以为基于生成式对抗网络gan构建的网络模型。
[0175]
可选地，作为一个实施例，所述血管分割图中每个像素点的像素值为0或1；
[0176]
所述四通道的图像中每个像素点的像素值可以为[r,g,b,m*s*u]，其中，r为样本
眼底图像中像素点的r通道的像素值，g为g通道的像素值，b为b通道的像素值，m为血管分割图中对应位置像素点的像素值，s为所述引导强度，u为255。
[0177]
图9是本发明的一个实施例的眼底图像生成装置的结构示意图，如图9所示，眼底图像生成装置900，可以包括：接收模块901、第二生成模块902、第二合并模块903、第一处理模块904和第三生成模块905，其中，
[0178]
接收模块901，用于接收原始眼底图像；
[0179]
第二生成模块902，用于生成所述原始眼底图像的血管分割图；
[0180]
第二合并模块903，用于将所述原始眼底图像中各像素点rgb三通道的像素值与其血管分割图中对应位置像素点的像素值进行合并处理，得到四通道的第一图像；
[0181]
第一处理模块904，用于将所述第一图像输入至目标网络模型中进行处理，得到四通道的第二图像；
[0182]
第三生成模块905，用于基于所述第二图像中像素点的rgb通道信息，生成新的眼底图像。
[0183]
由上述实施例可见，该实施例中，在构建初始网络模型时，在初始网络模型中加入引导强度这一网络超参数，在训练模型时，训练数据中除包含样本眼底图像的rgb通道信息之外，还附加了用于表征样本眼底图像中实际血管结构的辅助信息，在训练过程中，通过训练数据和引导强度，启发初始网络模型按照眼底图像中血管分布的自然规律进行训练，得到目标网络模型。与现有技术相比，本发明实施例中，由于目标网络模型是网络模型学习眼底图像中血管结构真实分布信息训练得到的，因此基于目标网络模型所生成的眼底图像中的血管结构符合医学常识，所生成的眼底图像的图像质量较高。
[0184]
图10是本发明的一个实施例的模型评估装置的结构示意图，如图10所示，模型评估装置1000，可以包括：第二获取模块1001、第二处理模块1002、计算模块1003和评估模块1004，其中，
[0185]
第二获取模块1001，用于获取第二训练集和合成图像集，其中，所述第二训练集中包括多个样本眼底图像，所述合成图像集中包括多个眼底图像，所述合成图像集中的眼底图像是基于所述第二训练集和目标网络模型所生成的新的眼底图像；
[0186]
第二处理模块1002，用于将所述第二训练集中的各样本眼底图像，分别输入至预先训练的多病种分类模型中进行处理，得到各样本眼底图像属于各病种的概率分布；以及将所述合成图像集中的各眼底图像，分别输入至所述多病种分类模型中进行处理，得到各眼底图像属于各病种的概率分布；
[0187]
计算模块1003，用于根据所述第二训练集中各样本眼底图像属于各病种的概率分布和所述合成图像集中各眼底图像属于各病种的概率分布，计算所述第二训练集与所述合成图像集在病种概率分布维度下的相似度；
[0188]
评估模块1004，用于根据所述相似度，对所述目标网络模型的性能进行评估。
[0189]
由上述实施例可见，该实施例中，可以基于多病种分类模型分别对训练集和模型基于该训练集生成的合成图像集进行推理，得到各自的概率分布，通过比较两者的概率分布，来对训练得到的生成网络进行评估，评估过程比较简单、便捷及高效。
[0190]
可选地，作为一个实施例，所述计算模块1003，可以包括：
[0191]
第一计算子模块，用于根据所述第二训练集中各样本眼底图像属于各病种的概率
分布和所述合成图像集中各眼底图像属于各病种的概率分布，计算所述第二训练集与所述合成图像集在每个病种维度下的js散度值；
[0192]
第二计算子模块，用于根据所述第二训练集与所述合成图像集在每个病种维度下的js散度值，计算所述第二训练集与所述合成图像集在病种概率分布维度下的相似度。
[0193]
可选地，作为一个实施例，所述第二计算子模块，可以包括：
[0194]
第一计算单元，用于对所述第二训练集与所述合成图像集在每个病种维度下的js散度值进行均值运算，得到js散度均值，其中，js散度均值的数值越小，所述第二训练集与所述合成图像集在病种概率分布维度下的相似度越高；或者，
[0195]
第二计算单元，用于对所述第二训练集与所述合成图像集在每个病种维度下的js散度值进行加权求和运算，得到js散度加权求和值，其中，js散度加权求和值越小，所述第二训练集与所述合成图像集在病种概率分布维度下的相似度越高；或者，
[0196]
第三计算单元，用于对所述第二训练集与所述合成图像集在每个病种维度下的js散度值均进行平方根运算，得到所述第二训练集与所述合成图像集在每个病种维度下的js距离值，对所述第二训练集与所述合成图像集在每个病种维度下的js距离值进行均值运算，得到js距离均值，其中，js距离均值的数值越小，所述第二训练集与所述合成图像集在病种概率分布维度下的相似度越高；或者，
[0197]
对所述第二训练集与所述合成图像集在每个病种维度下的js距离值进行加权求和运算，得到js距离加权求和值，其中，js距离加权求和值的数值越小，所述第二训练集与所述合成图像集在病种概率分布维度下的相似度越高。
[0198]
根据本发明的再一个实施例，本发明还提供了一种电子设备，包括：处理器及存储在所述存储器上并可在所述处理器上运行的程序，所述程序被所述处理器执行时实现如上述任意一个实施例所述的模型训练方法中的步骤。
[0199]
根据本发明的再一个实施例，本发明还提供了一种电子设备，包括：处理器及存储在所述存储器上并可在所述处理器上运行的程序，所述程序被所述处理器执行时实现如上述任意一个实施例所述的眼底图像生成方法中的步骤。
[0200]
根据本发明的再一个实施例，本发明还提供了一种电子设备，包括：处理器及存储在所述存储器上并可在所述处理器上运行的程序，所述程序被所述处理器执行时实现如上述任意一个实施例所述的模型评估方法中的步骤。
[0201]
根据本发明的再一个实施例，本发明还提供了一种计算机可读存储介质，所述计算机可读存储介质上存储有程序，所述程序被处理器执行时实现如上述任意一个实施例所述的模型训练方法中的步骤。
[0202]
根据本发明的再一个实施例，本发明还提供了一种计算机可读存储介质，所述计算机可读存储介质上存储有程序，所述程序被处理器执行时实现如上述任意一个实施例所述的眼底图像生成方法中的步骤。
[0203]
根据本发明的再一个实施例，本发明还提供了一种计算机可读存储介质，所述计算机可读存储介质上存储有程序，所述程序被处理器执行时实现如上述任意一个实施例所述的模型评估方法中的步骤。
[0204]
本发明中的各个实施例均采用递进的方式描述，每个实施例重点说明的都是与其他实施例的不同之处，各个实施例之间相同相似的部分互相参见即可。
[0205]
本领域内的技术人员应明白，本发明实施例的实施例可提供为方法、装置、或计算机程序产品。因此，本发明实施例可采用完全硬件实施例、完全软件实施例、或结合软件和硬件方面的实施例的形式。而且，本发明实施例可采用在一个或多个其中包含有计算机可用程序代码的计算机可用存储介质(包括但不限于磁盘存储器、cd
‑
rom、光学存储器等)上实施的计算机程序产品的形式。
[0206]
本发明实施例是参照根据本发明实施例的方法、终端设备(系统)、和计算机程序产品的流程图和/或方框图来描述的。应理解可由计算机程序指令实现流程图和/或方框图中的每一流程和/或方框、以及流程图和/或方框图中的流程和/或方框的结合。可提供这些计算机程序指令到通用计算机、专用计算机、嵌入式处理机或其他可编程数据处理终端设备的处理器以产生一个机器，使得通过计算机或其他可编程数据处理终端设备的处理器执行的指令产生用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的装置。
[0207]
这些计算机程序指令也可存储在能引导计算机或其他可编程数据处理终端设备以特定方式工作的计算机可读存储器中，使得存储在该计算机可读存储器中的指令产生包括指令装置的制造品，该指令装置实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能。
[0208]
这些计算机程序指令也可装载到计算机或其他可编程数据处理终端设备上，使得在计算机或其他可编程终端设备上执行一系列操作步骤以产生计算机实现的处理，从而在计算机或其他可编程终端设备上执行的指令提供用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的步骤。
[0209]
尽管已描述了本发明实施例的优选实施例，但本领域内的技术人员一旦得知了基本创造性概念，则可对这些实施例做出另外的变更和修改。所以，所附权利要求意欲解释为包括优选实施例以及落入本发明实施例范围的所有变更和修改。
[0210]
最后，还需要说明的是，在本文中，诸如第一和第二等之类的关系术语仅仅用来将一个实体或者操作与另一个实体或操作区分开来，而不一定要求或者暗示这些实体或操作之间存在任何这种实际的关系或者顺序。而且，术语“包括”、“包含”或者其任何其他变体意在涵盖非排他性的包含，从而使得包括一系列要素的过程、方法、物品或者终端设备不仅包括那些要素，而且还包括没有明确列出的其他要素，或者是还包括为这种过程、方法、物品或者终端设备所固有的要素。在没有更多限制的情况下，由语句“包括一个
……”
限定的要素，并不排除在包括所述要素的过程、方法、物品或者终端设备中还存在另外的相同要素。
[0211]
以上对本发明所提供的一种模型训练方法、眼底图像生成方法、模型评估方法及装置，进行了详细介绍，本文中应用了具体个例对本发明的原理及实施方式进行了阐述，以上实施例的说明只是用于帮助理解本发明的方法及其核心思想；同时，对于本领域的一般技术人员，依据本发明的思想，在具体实施方式及应用范围上均会有改变之处，综上所述，本说明书内容不应理解为对本发明的限制。