眼底图像判断方法及设备与流程

本发明涉及医疗图像处理领域，具体涉及一种眼底图像判断方法及设备。

背景技术：

随着图像获取和存储技术、深度学习的高速发展，使得深度学习深入到社会的各个领域。在医疗领域，由于我国医疗资源严重不足，通过深度学习等前沿技术对医疗影像的检测筛查成为现在研究十分热门的领域。中国糖尿病患者已经突破1.3亿，其中糖尿病视网膜病变患者人数约3000万人。糖尿病视网膜病变恶化后导致患者失明的概率非常高。如果在早期对糖网病进行筛查、诊断和治疗干预，那患者失明风险率可下降94.4％。

现有的基于眼底影像疾病检测系统主要是通过收集大量真实场景的眼底图像，通过多个医疗专家的交叉标注，得出大量标注的数据，将训练数据，通过深层的神经网络，训练出分类/检测模型。利用训练好的模型则可以对一个未知状态的眼底图像进行判断，得出对应的分类标签和病灶。

由于每个人的正常状态的眼底图像可能存在差异，导致相同疾病的眼底图像变化比较大，然而对于某些不太明显的疾病特征，比如轻度糖网、小玻璃膜疣、轻度动脉硬化等，会因为眼底图像的多样性变化将这些疾病的特征抑制下去。这样使得现有的基于眼底图像的检测方案对于一些微小特征点的检测效果比较差。

技术实现要素：

有鉴于此，本发明提供一种眼底图像判断方法，包括：

获取用户的待判断眼底图像；

获取与所述待判断眼底图像相关联的参考眼底图像，其中所述参考眼底图像是已知状态为正常的眼底图像；

根据所述待判断眼底图与所述参考眼底图像生成差分图像；

将所述差分图像作为机器学习模型的输入数据，使所述机器学习模型输出对所述待判断眼底图像的判断结果，其中所述机器学习模型是利用训练差分图像和相应的标签数据进行训练得到的。

可选地，所述待判断眼底图像和所述参考眼底图像是来自同一人的眼底图像，其中所述参考眼底图像的采集时间早于所述待判断眼底图像的采集时间。

可选地，所述待判断眼底图像和所述参考眼底图像是来自不同的人的眼底图像，其中所述参考眼底图像的采集时间早于所述待判断眼底图像的采集时间。

可选地，所述获取与所述待判断眼底图像相关联的参考眼底图像，包括：

判断是否预存有所述用户的参考眼底图像；

当未存有所述用户的参考眼底图像时，获取预设的参考眼底图像。

可选地，所述根据所述待判断眼底图与所述参考眼底图像生成差分图像，包括：

分别在所述待判断眼底图与所述参考眼底图像中识别视盘和/或黄斑；

根据所述视盘和/或黄斑的位置将所述待判断眼底图和所述参考眼底图像进行对齐；

基于对齐后的所述待判断眼底图和所述参考眼底图像进行差分计算得到所述差分图像。

本发明还提供一种眼底图像判断模型训练方法，包括：

获取多个由第一眼底图像和第二眼底图像组成的图像对，所述第一眼底图像和第二眼底图像的采集时间不相同，且所述第一眼底图像是正常状态，所述第二眼底图像是正常状态或者异常状态；

分别根据各个图像对生成差分图像；

分别将所述差分图像作为样本数据、将所述第二眼底图像的状态作为所述样本数据的标签对初始机器学习模型进行训练，以使所述机器学习模型能够根据所述差分图像识别所述第二眼底图像的状态。

可选地，所述第一眼底图像和第二眼底图像是来自同一人的眼底图像，其中所述第一眼底图像的采集时间早于所述第二眼底图像的采集时间。

可选地，所述分别根据各个图像对生成差分图像，包括：

分别在所述图像对中识别视盘和/或黄斑；

分别根据所述视盘和/或黄斑的位置将所述图像对进行对齐；

分别基于对齐后的图像对进行差分计算得到所述差分图像。

相应地，本发明还提供一种电子设备，包括：至少一个处理器；以及与所述至少一个处理器通信连接的存储器；其中，所述存储器存储有可被所述一个处理器执行的指令，所述指令被所述至少一个处理器执行，以使所述至少一个处理器执行上述眼底图像判断方法。

相应地，本发明还提供另一种电子设备，包括：至少一个处理器；以及与所述至少一个处理器通信连接的存储器；其中，所述存储器存储有可被所述一个处理器执行的指令，所述指令被所述至少一个处理器执行，以使所述至少一个处理器执行上述眼底图像判断模型训练方法。

根据本发明提供的眼底图像判断方法及设备，利用待判断的眼底图与已知健康的参考眼底图像生成差分图像，通过这种差分图像可以体现出微小特征内容，然后利用人工智能技术基于大数据对差分图像进行判断，以此确定待判断的眼底图的状态，由此可以提高对眼底图像状态判断的准确性，尤其是对于某些不明显的疾病特征能够取得较好的判断结果。

附图说明

为了更清楚地说明本发明具体实施方式或现有技术中的技术方案，下面将对具体实施方式或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图是本发明的一些实施方式，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。

图1为本发明实施例提供的眼底图像判断模型训练方法的流程图；

图2是一张正常状态的眼底图像；

图3是另一张正常状态的眼底图像；

图4是第三张正常状态的眼底图像；

图5是一张异常状态的眼底图像；

图6是利用图4和图5所示图像生成的差分图像；

图7为本发明实施例提供的眼底图像判断方法的流程图。

具体实施方式

下面将结合附图对本发明的技术方案进行清楚、完整地描述，显然，所描述的实施例是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。

为了能够对眼底图像的状态进行判断(分类、检测)，本发明实施例提供了一种眼底图像判断模型训练方法，所训练出的模型可以用于识别眼底图像。该方法可以由计算机或者服务器来执行，如图1所示该方法包括如下步骤：

s11，获取多个由第一眼底图像和第二眼底图像组成的图像对，第一眼底图像和第二眼底图像的采集时间不相同，且第一眼底图像是正常(健康)状态，第二眼底图像是正常状态或者异常(疾病)状态。

第一眼底图像和第二眼底图像可以是通过眼底照相机采集的如图2所示的图像。首先可以采集大量的眼底图像，由人工对这些眼底图像进行标注，也即确定它们的状态，例如可以只分为健康和异常这两个状态，或者还可以进一步对异常状态进行详细的标注，例如某种疾病状态。

然后可以对这些已知状态的眼底图像进行配对，使得每个图像对中至少有一张正常状态的眼底图像。所得到的图像对可能是两种情况：两张正常的眼底图像、一张正常状态的眼底图像和一张异常状态的眼底图像。

图2、图3所示的是正常的眼底图像，这两个图像可以组成一个图相对；图4所示的是正常的眼底图像图、图5所示的是异常眼底图像，这两个图像可以组成另一个图相对。图5中包含一个异常区域51，其中的虚线框只是为了清楚地说明所作的辅助标记，实际情况中实际情况中并不包含这个虚线框。

s12，分别根据各个图像对生成差分图像。对于具体一个用户的两张眼底图像，差分计算可以只关注视盘、黄斑、脉络血管特征的差异，而忽略某些由于外界环境、采集设备引起的差异(如亮度等)。

差分计算的过程可以是先通过视盘和黄斑定位将两张眼底图对齐，确定两张眼底图像的差异点或区域，然后将这些差异点或区域标记在第二眼底图像中。为了增强差分的结果，可以将彩色的第二眼底图像转换为灰度图像，将差异点或区域标记在灰度图像中。

由此得到的差分图像能够体现出这两张图像的差异，这些差异可以是细微的区域甚至是像素点，也可以是明显的区域。由于图2和图3均为正常的眼底图像，二者的差异很小，在图3中所标记的差异内容只是一些像素点，人眼甚至无法观察到这些内容；而图4与图5相比存在明显的差异内容，将它们的差异标记在图5中可以得到图6所示差分图像，其中包括差异区域61。差异区域61与异常区域51的大小和形状可能并不完全相同。

s13，分别将差分图像作为样本数据、将第二眼底图像的状态作为样本数据的标签对初始机器学习模型进行训练，以使机器学习模型能够根据差分图像识别第二眼底图像的状态。例如将图5所示图像的状态作为图6所示差分图像的标签数据。

图像对中的第一眼底图像一定是正常状态，而第二眼底图像可能是正常状态或者异常状态，或者具体的异常情况(如疾病类别)。向初始机器学习模型输入的每一条训练数据中需要包括样本数据和相应的标签数据，本实施例将差分图像作为样本数据，将生成该差分图像所使用的第二图像的状态作为标签训练初始机器学习模型，根据设定的训练条件得到眼底图像判断模型。

训练得到的眼底图像判断模型将可以根据眼底差分图像判断其中一张图像的状态(或者理解为对差分图像进行分类以输出标签信息)。

机器学习模型例如可以是支持向量机、神经网络模型、深度学习模型，例如可以采用inceptionresnet模型。

根据本发明实施例提供的眼底图像判断模型训练方法，利用由已知状态的第一眼底图像和第二眼底图像组成的图像对生成差分图像，通过这种差分图像可以体现出微小特征内容，然后利用大量的差分图像对初始的机器学习模型进行训练，使机器学习对大量数据进行学习从而得到眼底图像判断模型，由此得到的模型对眼底图像状态的判断具有较高的准确性，尤其是对于某些不明显的疾病特征能够取得较好的判断结果。

虽然不同的健康(正常)人的眼底图像一般不会存在较大区别，但机器在进行差分计算时仍可能将一些与异常(病变)无关的内容判断为差异内容而体现在差分图像中，这可能会降低机器学习模型的识别准确率。作为一个优选的实施方式，在生成图相对的工作中，优选使用来自同一人的两个眼底图像，并且其中的第一眼底图像的采集时间早于第二眼底图像的采集时间，例如采集时间可以相差几个月或者几年。

由于对于同一人而言，非疾病(异常)原因导致的差别将会很小，这使得后续生成差分图像的操作中有比较明显的优势，差分图像中体现的差异内容是病变的可能性更大。使用这些训练数据时将会进一步提高机器学习模型的识别准确率。

尽管如此，仍有一些因素会影响生产差分图像的效果，例如目前常见的眼底图像采集设备是由人工操作，同时，人们在多次拍摄眼底图像时可能不会使用相同的设备，这些因素将会导致两张眼底图像的位置相互偏移。针对这种情况，在步骤s12中可以具体采取如下处理方式：

s121，分别在图像对中识别视盘和/或黄斑，这一步骤也可以使用人工智能的方式进行识别，也可以采用机器视觉的方式基于图像内的线条特征进行识别；

s122，分别根据视盘和/或黄斑的位置将图像对进行对齐；

s123，分别基于对齐后的图像对进行差分计算得到差分图像。

上述优选方案针对所有图像对进行对齐操作，避免由于眼底图像内容位置偏移导致的差分计算错误，由此提高所生成差分图像的质量，进而提高机器学习模型的识别准确性。

相应地，本发明实施例还提供了一种电子设备，包括：至少一个处理器；以及与所述至少一个处理器通信连接的存储器；其中，所述存储器存储有可被所述一个处理器执行的指令，所述指令被所述至少一个处理器执行，以使所述至少一个处理器执行上述眼底图像判断模型训练方法。

本发明实施例还提供了一种眼底图像判断模型训练装置，该装置可以是硬件组成的装置或者计算机程序对应的虚拟装置，也可以是程序和硬件相结合的装置，该装置包括：

获取模块，用于获取多个由第一眼底图像和第二眼底图像组成的图像对，所述第一眼底图像和第二眼底图像的采集时间不相同，且所述第一眼底图像是正常状态，所述第二眼底图像是正常状态或者异常状态；

差分模块，用于分别根据各个图像对生成差分图像；

训练模块，用于分别将所述差分图像作为样本数据、将所述第二眼底图像的状态作为所述样本数据的标签对初始机器学习模型进行训练，以使所述机器学习模型能够根据所述差分图像识别所述第二眼底图像的状态。

优选地，所述差分模块包括：

识别模块，用于分别在所述图像对中识别视盘和/或黄斑；

对齐模块，用于分别根据所述视盘和/或黄斑的位置将所述图像对进行对齐；

计算模块，用于分别基于对齐后的图像对进行差分计算得到所述差分图像。

本发明还提供了一种眼底图像判断方法，该方法可以基于上述方法所训练的机器学习模型对眼底图像进行判断，该方法可以由计算机或者服务器来执行。如图7所示该方法包括：

s21，获取用户的待判断眼底图像，该图像是通过眼底照相机采集的未知状态图像，例如是如图2、图3、图4或图5所示的图像，在本实施例中它们的状态是未知的；

s22，获取与待判断眼底图像相关联的参考眼底图像，其中参考眼底图像是已知状态为正常的眼底图像，参考眼底图像可以是其本人的图像，也可以是其它人的眼底图像，只需确定其状态(健康)即可，例如可以是如图2、图3、图4所示的图像。

s23，根据待判断眼底图与参考眼底图像生成差分图像，差分算法有多种，本发明可以利用任一种现有的算法进行差分计算。差分计算可以只关注视盘、黄斑、脉络血管特征的差异，而忽略某些由于外界环境、采集设备引起的差异(如亮度等)。

差分计算的过程可以是先通过视盘和黄斑定位将两张眼底图对齐，确定两张眼底图像的差异点或区域，然后将这些差异点或区域标记在待判断眼底图像中。为了增强差分的结果，可以将彩色的待判断眼底图像转换为灰度图像，将差异点或区域标记在灰度图像中。

所得到的差分图像能够体现出这两张图像的差异，这些差异可以是细微的区域甚至是像素点，也可以是明显的区域。例如可以生成如图6所示的图像。

s24，将差分图像作为机器学习模型的输入数据，使机器学习模型输出对待判断眼底图像的判断结果，其中机器学习模型是利用训练差分图像和相应的标签数据进行训练得到的。其中的机器学习模型可以是根据上述眼底图像判断模型训练方法得到的机器学习模型。

关于判断结果，可以是正常(健康)或者异常这两种结果，也可以是具体的异常类型(疾病类型)，这取决于训练机器学习模型时所使用的标签数据的内容。

根据本发明实施例提供的眼底图像判断方法，利用待判断的眼底图与已知健康的参考眼底图像生成差分图像，通过这种差分图像可以体现出微小特征内容，然后利用人工智能技术基于大数据对差分图像进行判断，以此确定待判断的眼底图的状态，由此可以提高对眼底图像状态判断的准确性，尤其是对于某些不明显的疾病特征能够取得较好的判断结果。

虽然不同的健康(正常)人的眼底图像一般不会存在较大区别，但机器在进行差分计算时仍可能将一些与异常(病变)无关的内容判断为差异内容而体现在差分图像中，这可能会降低机器学习模型的识别准确率。作为一个优选的实施方式，在获取参考图像的操作中，本实施例优选采用来自同一人的待判断眼底图像和参考眼底图像，其中参考眼底图像的采集时间早于待判断眼底图像的采集时间。

这要求被检测的用户在此次检测之前已经预先提供了其健康状态下的眼底图像。由于对于同一人而言，非疾病(异常)原因导致的差别将会很小，这使得生成的差分图像有比较明显的优势，差分图像中体现的差异更明显，当存在差异时是病变的可能性更大，由此可以提高机器学习模型的识别准确性。

当被检测的用户在此次检测之前没有提供过其健康状态下的眼底图像时本方法也可以顺利地进行，根据本方法的原理可以得知待判断眼底图像和参考眼底图像也可以是来自不同的人的眼底图像，其中参考眼底图像的采集时间早于待判断眼底图像的采集时间。

在利用本方法进行检测时，用户可以提供唯一的用户信息，系统可以判断是否存在该用户的参考眼底图像，如果存在则使用该图像生成差分图像，如果不存在则可以获取预设的参考眼底图像，该图像可以是来自其它人的。

在检测眼底图像时可以执行图像对齐操作，具体地，步骤s23可以包括：

s231，分别在待判断眼底图与参考眼底图像中识别视盘和/或黄斑，这一步骤也可以使用人工智能的方式进行识别，也可以采用机器视觉的方式基于图像内的线条特征进行识别；

s232，根据视盘和/或黄斑的位置将待判断眼底图和参考眼底图像进行对齐；

s233，基于对齐后的待判断眼底图和参考眼底图像进行差分计算得到差分图像。

上述优选方案针对两张眼底图像对进行对齐操作，避免由于眼底图像内容位置偏移导致的差分计算错误，由此提高所生成差分图像的质量，进而提高机器学习模型的识别准确性。

相应地，本发明实施例还提供了一种电子设备，包括：至少一个处理器；以及与所述至少一个处理器通信连接的存储器；其中，所述存储器存储有可被所述一个处理器执行的指令，所述指令被所述至少一个处理器执行，以使所述至少一个处理器执行上述眼底图像判断方法。

本发明实施例提供了一种眼底图像判断装置，该装置可以是硬件组成的装置或者计算机程序对应的虚拟装置，也可以是程序和硬件相结合的装置，该装置包括：

第一获取模块，用于获取用户的待判断眼底图像；

第二获取模块，用于获取与所述待判断眼底图像相关联的参考眼底图像，其中所述参考眼底图像是已知状态为正常的眼底图像；

差分模块，用于根据所述待判断眼底图与所述参考眼底图像生成差分图像；

判断模块，用于将所述差分图像作为机器学习模型的输入数据，使所述机器学习模型输出对所述待判断眼底图像的判断结果，其中所述机器学习模型是利用训练差分图像和相应的标签数据进行训练得到的。

优选地，所述第二获取模块包括：

历史数据判断模块，用于判断是否预存有所述用户的参考眼底图像；

预设图像获取模块，用于当未存有所述用户的参考眼底图像时，获取预设的参考眼底图像。

优选地，所述差分模块包括：

识别模块，用于分别在所述待判断眼底图与所述参考眼底图像中识别视盘和/或黄斑；

对齐模块，用于根据所述视盘和/或黄斑的位置将所述待判断眼底图和所述参考眼底图像进行对齐；

计算模块，用于基于对齐后的所述待判断眼底图和所述参考眼底图像进行差分计算得到所述差分图像。

本领域内的技术人员应明白，本发明的实施例可提供为方法、系统、或计算机程序产品。因此，本发明可采用完全硬件实施例、完全软件实施例、或结合软件和硬件方面的实施例的形式。而且，本发明可采用在一个或多个其中包含有计算机可用程序代码的计算机可用存储介质(包括但不限于磁盘存储器、cd-rom、光学存储器等)上实施的计算机程序产品的形式。

本发明是参照根据本发明实施例的方法、设备(系统)、和计算机程序产品的流程图和/或方框图来描述的。应理解可由计算机程序指令实现流程图和/或方框图中的每一流程和/或方框、以及流程图和/或方框图中的流程和/或方框的结合。可提供这些计算机程序指令到通用计算机、专用计算机、嵌入式处理机或其他可编程数据处理设备的处理器以产生一个机器，使得通过计算机或其他可编程数据处理设备的处理器执行的指令产生用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的装置。

这些计算机程序指令也可存储在能引导计算机或其他可编程数据处理设备以特定方式工作的计算机可读存储器中，使得存储在该计算机可读存储器中的指令产生包括指令装置的制造品，该指令装置实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能。

这些计算机程序指令也可装载到计算机或其他可编程数据处理设备上，使得在计算机或其他可编程设备上执行一系列操作步骤以产生计算机实现的处理，从而在计算机或其他可编程设备上执行的指令提供用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的步骤。

显然，上述实施例仅仅是为清楚地说明所作的举例，而并非对实施方式的限定。对于所属领域的普通技术人员来说，在上述说明的基础上还可以做出其它不同形式的变化或变动。这里无需也无法对所有的实施方式予以穷举。而由此所引伸出的显而易见的变化或变动仍处于本发明创造的保护范围之中。