豹纹状眼底图像识别方法、模型训练方法及设备与流程

本发明涉及医疗图像识别领域，具体涉及一种豹纹状眼底图像识别方法、模型训练方法及设备。

背景技术：

豹纹状眼底(tessellatedretina)，由于视网膜色素上皮的色素较少，可以透过视网膜而见到脉络膜大血管结构及血管间隙的色素区，形似豹皮的纹理。豹纹状眼底是高度近视的典型眼底，这是因为近视度数高，眼轴拉长，视网膜被拉薄，视网膜下的血管变得可透见，使得眼底看起来如豹纹状。

目前，机器学习在医学领域得到了广泛的应用，尤其以深度学习为代表的机器学习技术在医疗影像领域被广泛关注。在眼底图像检测方面，深度学习技术已经被用于青光眼、糖尿病视网膜病变等单一病种的检测，并取得了良好效果。

眼底图像中的豹纹状特征是一个极易分辨的特征，即使通过人工观察也很容易辨别出正常眼底图像和豹纹状眼底图像。与一些单一病种的不同之处在于，豹纹状特征的显著程度差别很大，其显著程度与近视度数呈现一定的相关性。当利用现有技术对眼底图像进行分类，得出如正常、存在某种异常或患有某种疾病的结论时，这种结果过于宽泛，实用性较差。

技术实现要素：

有鉴于此，本发明提供一种豹纹状眼底图像识别方法，包括：获取眼底图像，并利用机器学习模型对所述眼底图像进行分类得到分类结果，所述分类结果用于表示所述眼底图像的豹纹状特征的显著程度。

可选地，所述机器学习模型为多分类模型，所述多分类模型对所述眼底图像进行多分类，输出向量中包括多个数值，分别表示所述眼底图像属于各种设定类别的概率，所述设定类别包括正常类和多种豹纹状特征显著程度的异常类。

可选地，所述利用机器学习模型对所述眼底图像进行分类得到分类结果，包括：

获取所述输出向量，以及与其中各个数值对应的权值；

根据所述输出向量和所述权值获得所述眼底图像的豹纹状显著程度的量化数据。

本发明还提供一种豹纹状眼底图像识别模型训练方法，所述模型为二分类模型，所述方法包括：获取训练数据，所述训练数据包括正常类眼底图像以及相应的标签和具有豹纹状特征的异常类眼底图像以及相应的标签；利用所述训练数据对所述二分类模型进行训练，使所述二分类模型输出用于表示眼底图像的豹纹状特征的显著程度的分类结果。

本发明还提供一种豹纹状眼底图像识别模型训练方法，所述模型为多分类模型，所述方法包括：获取训练数据，所述训练数据包括正常类眼底图像以及相应的标签和具有豹纹状特征的多个异常类眼底图像以及相应的标签，其中不同异常类眼底图像的豹纹状特征显著程度不相同；利用所述训练数据对所述多分类模型进行训练，使所述多分类模型输出用于表示眼底图像的豹纹状特征的显著程度的分类结果。

可选地，所述多分类模型的输出向量中包括多个数值，分别表示所述眼底图像属于各种类别的概率。

可选地，所述多个异常类眼底图像中至少包括具有病理性近视特征的眼底图像。

可选地，所述多分类模型为五分类模型，所述训练数据包括正常类以及相应的标签、具有第一异常类眼底图像、第二异常类眼底图像、第三异常类眼底图像、第四异常类眼底图像，其中第一异常类眼底图像、第二异常类眼底图像和第三异常类眼底图像的豹纹状特征显著程度不相同，并且不具备病理性近视特征，第四异常类眼底图像是具有病理性近视特征的眼底图像。

相应地，本发明提供一种豹纹状眼底图像识别设备，包括：至少一个处理器；以及与所述至少一个处理器通信连接的存储器；其中，所述存储器存储有可被所述一个处理器执行的指令，所述指令被所述至少一个处理器执行，以使所述至少一个处理器执行上述豹纹状眼底图像识别方法。

相应地，本发明提供一种豹纹状眼底图像识别模型训练设备，包括：至少一个处理器；以及与所述至少一个处理器通信连接的存储器；其中，所述存储器存储有可被所述一个处理器执行的指令，所述指令被所述至少一个处理器执行，以使所述至少一个处理器执行上述豹纹状眼底图像识别模型训练方法。

根据本发明实施例提供的豹纹状眼底图像识别方法，通过二分类机器学习模型识别眼底图像，得到用于表示眼底图像的豹纹状特征显著程度的识别结果，可以使医生了解到眼底图像的豹纹状特征严重程度，表现方式更加直观，由此可以提高协助医生提高诊断效率，具有较强的实用性。

当使用多分类机器学习模型识别眼底图像时，由于多分类任务基于更加细粒度的标注，在执行多分类任务时，模型多个分类之间获取到的参数对彼此任务具有一定的正则化效应，使得分类结果的准确性得到提高。

附图说明

为了更清楚地说明本发明具体实施方式或现有技术中的技术方案，下面将对具体实施方式或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图是本发明的一些实施方式，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。

图1为本发明实施例中的二分类模型的训练场景示意图；

图2为本发明实施例中的五分类模型的训练场景示意图；

图3为本发明实施例中利用二分类模型识别眼底图像的场景示意图；

图4为本发明实施例中利用五分类模型识别眼底图像的场景示意图。

具体实施方式

下面将结合附图对本发明的技术方案进行清楚、完整地描述，显然，所描述的实施例是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。

此外，下面所描述的本发明不同实施方式中所涉及的技术特征只要彼此之间未构成冲突就可以相互结合。

在一个实施例中，训练一个二分类学习模型用于识别豹纹状眼底图像，二分类模型具体可以是一个能够输出向量数据的卷积神经网络。首先获取样本图像，其中包括完全正常的眼底图像(健康的眼底图像)和具有不同程度豹纹状特征的眼底图像。可以通过人工辨别和筛选得到所述样本图像，并对图像进行标注，将正常的眼底图像的标签设置为“0”、将具有不同程度豹纹状特征的眼底图像的标签设置为“1”。

参照图1，使用这两类样本图像和相应的两种标签对此二分类模型进行训练，使二分类模型输出一个向量(p)，其中p的范围是0-1，即概率值。当模型性能达到预期时，可以观察到随着概率值接近1，眼底图像的豹纹浓密程度逐渐增加；概率值接近0，眼底图像的豹纹浓密程度逐渐减少。

但对于二分类问题而言，正常与豹纹样本的比例要尽量保持均衡，而实际情况中能够获得的正常眼底图像样本比较少，尽管可以采用一定的数据扩增手段获得更多的正常眼底图像样本，但仍然不能完全抵消掉因光照、拍摄机器、图片色调、图片质量等原因造成的影响。因此为了获得性能更好的模型，可以训练一个多分类学习模型用于识别豹纹状眼底图像。

首先获取训练数据，包括正常类眼底图像以及相应的标签，还包括具有豹纹状特征的多个异常类眼底图像以及相应的标签，其中不同异常类眼底图像的豹纹状特征显著程度不相同。此显著度可以通过人工设定和判断，也可以是基于机器视觉技术得到量化的数据，例如豹纹状线条的密度等等。在准备好这些训练数据后，利用训练数据对多分类模型进行训练，以使多分类模型输出用于表示眼底图像的豹纹状特征的显著程度的分类结果。分类结果通常是向量，其中的数值用于表示被识别的眼底图像属于各种类别的概率值。

对于多分类问题而言，输出向量中的概率值之和可以大于1，而其中的最大值是模型判断的最相符的类别。多分类任务基于更加细粒度的标注，由于对应每一个分类都会有一定的输入，使得模型有机会接触到更多的数据。在执行多分类任务时，模型多个分类之间获取到的参数对彼此任务具有一定的正则化效应，使得模型总体表现更好。

在一个优选的实施例中，可以训练一个5分类学习模型用于识别豹纹状眼底图像。首先获取5类眼底图像，每一类都有多张眼底图像。其中第1类是完全正常的眼底图像(健康的眼底图像)；第2类至第4类分别是具有轻度豹纹状特征的眼底图像、具有中度豹纹状特征的眼底图像、具有重度豹纹状特征的眼底图像，这3类眼底图像间的豹纹状特征显著程度被分为3级，但它们均不属于病理性近视；第5类是具有病理性近视特征的眼底图像，这类图像的豹纹状特征显著程度高于前3类图像。这5类眼底图像可以由人工进行辨别和筛选，并设置它们的标签；也可以在使用上述二分类模型的基础上进行筛选，例如先利用训练好的二分类模型对大量的眼底图像进行分类，然后由人工在二分类模型的输出结果中进行辨别和筛选，得到上述5类眼底图像，这可以提高模型训练的效率。

参照图2，使用这5类样本图像和相应的5种标签对此5分类模型进行训练，由此可以使5分类模型输出一个向量(p0，p1，p2，p3，p4)，其中p0、p1、p2、p3、p4的范围是0-1，即概率值。具体地，p0是输入的眼底图像属于上述第1类图像的概率、p1是输入的眼底图像属于上述第2类图像的概率、p2是输入的眼底图像属于上述第3类图像的概率、p3是输入的眼底图像属于上述第4类图像的概率、p4是输入的眼底图像属于上述第5类图像的概率。

需要说明的是，上述5分类模型只是为了清楚地说明而做的举例，实际应用中可以训练更多或更少分类类别的模型，这取决于样本的类别情况。

相应地，本发明提供一种豹纹状眼底图像识别模型训练设备，包括：至少一个处理器；以及与所述至少一个处理器通信连接的存储器；其中，所述存储器存储有可被所述一个处理器执行的指令，所述指令被所述至少一个处理器执行，以使所述至少一个处理器执行上述豹纹状眼底图像识别模型训练方法。

本发明的一个实施例提供了一种豹纹状眼底图像识别方法，该方法基于上述二分类模型对眼底图像进行识别，具体可以由计算机或服务器等电子设备执行。参照图3，本方法利用二分类模型对眼底图像进行分类得到分类结果，分类结果用于表示所述眼底图像的豹纹状特征的显著程度。例如二分类模型对此眼底图像进行分类后输出向量(p)，p的值越大则表示眼底图像的豹纹状特征越显著；反之p的值越小则表示眼底图像的豹纹状特征越不明显。

可以将概率值作为最终的输出结果供医生参考，根据此概率值的大小来判断豹纹状眼底的严重程度。也可以根据此概率值做进一步的计算，例如可以采用线性或非线性的数值变换方式，将模型输出的概率值转换为分数值，为医生提供一种更加直观的结果。

根据本发明实施例提供的豹纹状眼底图像识别方法，通过二分类机器学习模型识别眼底图像，得到用于表示眼底图像的豹纹状特征显著程度的识别结果，可以使医生了解到眼底图像的豹纹状特征严重程度，表现方式更加直观，由此可以提高协助医生提高诊断效率，具有较强的实用性。

本发明的另一个实施例提供了一种豹纹状眼底图像识别方法，该方法基于上述多分类模型对眼底图像进行识别，具体可以由计算机或服务器等电子设备执行。参照图4，本方法利用多分类模型对眼底图像进行分类得到分类结果，分类结果用于表示所述眼底图像的豹纹状特征的显著程度。例如使用上述5分类模型，模型对此眼底图像进行分类后输出向量(p0，p1，p2，p3，p4)，其中p0、p1、p2、p3、p4分别表示眼底图像属于各种设定类别的概率，设定类别包括正常类和多种豹纹状特征显著程度的异常类。

作为一个举例，假设输出向量为(0，0.1,0.3,0.9,0.5)，则表示此眼底图像属于第1类图像(完全正常的图像)的概率为0、属于第2类图像(具有轻度豹纹状特征的眼底图像)的概率为10％、属于第3类图像(具有中度豹纹状特征的眼底图像)的概率为30％、属于第4类图像(具有重度豹纹状特征的眼底图像)的概率为90％、属于第5类图像(具有病理性近视特征的眼底图像)的概率为50％。

根据本发明实施例提供的豹纹状眼底图像识别方法，通过多分类机器学习模型识别眼底图像，得到用于表示眼底图像的豹纹状特征显著程度的识别结果，可以使医生了解到眼底图像的豹纹状特征严重程度，表现方式更加直观，由此可以提高协助医生提高诊断效率，具有较强的实用性。并且由于多分类任务基于更加细粒度的标注，在执行多分类任务时，模型多个分类之间获取到的参数对彼此任务具有一定的正则化效应，使得分类结果的准确性得到提高。

进一步地，可以将这些概率值作为最终的输出结果供医生参考，根据此概率值的大小来判断豹纹状眼底的严重程度。也可以根据此概率值做进一步的计算，例如可以采用线性或非线性的数值变换方式，将模型输出的多个概率值转换为一个分数值，为医生提供一种更加直观的结果。

在一个优选的实施例中，采用如下方式获得最终的识别结果：

获取输出向量(p0，p1，p2，p3，p4)，以及与其中各个数值对应的权值。在本实施例中，p0、p1、p2、p3、p4对应的权值不同，具有较弱豹纹状特征的类别对应的权值较低、具有较强豹纹状特征的类别对应的权值较高。具体地，例如其中p0对应权值为0、p1对应权值为0.25、p2对应权值为0.5、p3对应权值为0.75p4对应权值为1。

根据所述输出向量和所述权值获得所述眼底图像的豹纹状显著程度的量化数据。在本实施例中量化数据scroe＝0*p0+0.25*p1+0.5*p2+0.75*p3+1*p4。在本实施例中，当模型判定眼底图像的豹纹状特征较显著时，计算出的量化分数较高；在其它实施例中，也可以采用相反的设定方式，使得豹纹状特征较显著时计算出的量化分数较小。这种计算方式目的是使豹纹状特征越显著，对最终的量化数据影响则更强，以此来体现豹纹状眼底的严重程度。

相应地，本发明提供一种豹纹状眼底图像识别设备，包括：至少一个处理器；以及与所述至少一个处理器通信连接的存储器；其中，所述存储器存储有可被所述一个处理器执行的指令，所述指令被所述至少一个处理器执行，以使所述至少一个处理器执行上述豹纹状眼底图像识别方法。

本领域内的技术人员应明白，本发明的实施例可提供为方法、系统、或计算机程序产品。因此，本发明可采用完全硬件实施例、完全软件实施例、或结合软件和硬件方面的实施例的形式。而且，本发明可采用在一个或多个其中包含有计算机可用程序代码的计算机可用存储介质(包括但不限于磁盘存储器、cd-rom、光学存储器等)上实施的计算机程序产品的形式。

本发明是参照根据本发明实施例的方法、设备(系统)、和计算机程序产品的流程图和/或方框图来描述的。应理解可由计算机程序指令实现流程图和/或方框图中的每一流程和/或方框、以及流程图和/或方框图中的流程和/或方框的结合。可提供这些计算机程序指令到通用计算机、专用计算机、嵌入式处理机或其他可编程数据处理设备的处理器以产生一个机器，使得通过计算机或其他可编程数据处理设备的处理器执行的指令产生用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的装置。

这些计算机程序指令也可存储在能引导计算机或其他可编程数据处理设备以特定方式工作的计算机可读存储器中，使得存储在该计算机可读存储器中的指令产生包括指令装置的制造品，该指令装置实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能。

这些计算机程序指令也可装载到计算机或其他可编程数据处理设备上，使得在计算机或其他可编程设备上执行一系列操作步骤以产生计算机实现的处理，从而在计算机或其他可编程设备上执行的指令提供用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的步骤。

显然，上述实施例仅仅是为清楚地说明所作的举例，而并非对实施方式的限定。对于所属领域的普通技术人员来说，在上述说明的基础上还可以做出其它不同形式的变化或变动。这里无需也无法对所有的实施方式予以穷举。而由此所引伸出的显而易见的变化或变动仍处于本发明创造的保护范围之中。