青光眼图像识别方法、设备和筛查系统与流程

本发明涉及眼部检测设备领域，具体涉及一种青光眼图像识别方法、设备和筛查系统。

背景技术：

青光眼是一种不可逆的致盲性眼底疾病，在筛查或临床诊断上，医生可以通过观察眼底图像来判断被检查者是否可能患有青光眼，从而做出是否需要进一步检查或就诊的建议。

在临床诊断时，眼科医生可以通过观察眼底图中视杯和视盘的情况做出判断。例如视杯过大，导致视杯视盘的比例过大，则被检查者很可能患有青光眼，其中的杯盘比一般为视杯和视盘的垂直直径比。

但是，眼科医生肉眼或者借助拍摄设备估算杯盘比或者盘沿形态的方式主观性很强，缺乏客观数据依据，导致结果不够准确，而且消耗大量的时间和精力。

技术实现要素：

有鉴于此，本发明提供一种青光眼图像识别方法，包括如下步骤：

获取眼底图像；

从所述眼底图像中提取局部图像，所述局部图像中包括视盘和眼底背景；

根据所述眼底图像或者所述局部图像获得视盘图像和视杯图像；

根据所述视盘图像和所述视杯图像获得盘沿图像；

根据所述盘沿图像、所述局部图像和所述眼底图像判断所述眼底图像是否为青光眼图像。

可选地，从所述眼底图像中提取局部图像，包括：

利用第一机器学习模型从所述眼底图像中识别出局部区域，所述局部区域中包括视盘和眼底背景；

提取所述局部区域形成所述局部图像，所述局部图像与所述眼底图像色彩一致。

可选地，所述根据所述眼底图像或者所述局部图像获得视盘图像和视杯图像，包括：

利用第二机器学习模型从所述局部图像中识别出视盘图像；

利用第三机器学习模型从所述局部图像中识别出视杯图像。

可选地，所述视盘图像和所述视杯图像均为二值图像。

可选地，所述盘沿图像中包括视盘以外的背景区域、视杯区域和盘沿区域，并且它们被标识为不同的灰度值。

可选地，所述根据所述盘沿图像、所述局部图像和所述眼底图像判断所述眼底图像是否为青光眼图像，包括：

利用第四机器学习模型对所述盘沿图像、所述局部图像和所述眼底图像进行识别，输出青光眼图像判断结果。

可选地，其中所述第四机器学习模型包括第一特征提取单元、第二特征提取单元、第三特征提取单元、特征融合单元和判定单元；所述利用第四机器学习模型对所述盘沿图像、所述局部图像和所述眼底图像进行识别，输出青光眼图像判断结果包括：

利用第一特征提取单元从所述盘沿图像中提取第一特征；

利用第二特征提取单元从所述局部图像中提取第二特征；

利用第三特征提取单元从所述眼底图像中提取第三特征；

利用特征融合单元根据所述第一特征、第二特征和第三特征形成融合特征；

利用判定单元根据所述融合特征输出青光眼图像判断结果。

相应地，本发明提供一种青光眼图像识别装置，包括：

获取单元，用于获取眼底图像；

局部识别单元，用于从所述眼底图像中提取局部图像，所述局部图像中包括视盘和眼底背景；

区域识别单元，用于根据所述眼底图像获得视盘图像和视杯图像；

盘沿确定单元，用于根据所述视盘图像和所述视杯图像获得盘沿图像；

青光眼识别单元，用于根据所述盘沿图像、所述局部图像和所述眼底图像判断所述眼底图像是否为青光眼图像。

相应地，本发明还提供一种青光眼图像识别设备，包括：至少一个处理器以及与所述至少一个处理器通信连接的存储器；其中，所述存储器存储有可被所述至少一个处理器执行的指令，所述指令被所述至少一个处理器执行，以使所述至少一个处理器执行上述青光眼图像识别方法。

本发明还提供了一种青光眼疾病筛查系统，包括：

眼底照相设备，用于拍摄眼底图像；以及上述青光眼图像识别设备。

根据本发明提供的青光眼图像识别方法，首先利用眼底图像获得局部图像，去除大部分眼底背景，进一步提取视盘图像和视杯图像，并根据这两个图像获得盘沿图像。最终对盘沿图像、局部图像和眼底图像进行识别，综合全局特征、局部特征和盘沿特征，判断眼底图像是否为青光眼图像，本方案基于图像数据及客观算法得出对青光眼的判断结果，节约人力资源，能够有效辅助医生或专家对青光眼疾病做出诊断。

附图说明

为了更清楚地说明本发明具体实施方式或现有技术中的技术方案，下面将对具体实施方式或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图是本发明的一些实施方式，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。

图1为本发明实施例中的青光眼图像识别方法的流程图；

图2为本发明实施例中一种具体的青光眼图像识别方法的流程图；

图3为本发明实施例中的剪切后的眼底图像；

图4为本发明实施例中的包含视盘的局部图像；

图5为本发明实施例中的一种样本图像；

图6为本发明实施例中的获得视盘二值图像的示意图；

图7为本发明实施例中的获得视杯二值图像的示意图；

图8为本发明实施例中的一种盘沿图像；

图9为本发明实施例中的另一种盘沿图像；

图10为本发明实施例中的获得有色盘沿图像的示意图；

图11为本发明实施例中的青光眼图像识别装置的结构示意图；

图12为本发明实施例中的机器学习模型的结构示意图；

图13为本发明实施例中的青光眼疾病筛查系统的结构示意图。

具体实施方式

下面将结合附图对本发明的技术方案进行清楚、完整地描述，显然，所描述的实施例是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。

在本发明的描述中，需要说明的是，术语“中心”、“上”、“下”、“左”、“右”、“竖直”、“水平”、“内”、“外”等指示的方位或位置关系为基于附图所示的方位或位置关系，仅是为了便于描述本发明和简化描述，而不是指示或暗示所指的装置或元件必须具有特定的方位、以特定的方位构造和操作，因此不能理解为对本发明的限制。此外，术语“第一”、“第二”、“第三”和“第四”仅用于描述目的，而不能理解为指示或暗示相对重要性。

此外，下面所描述的本发明不同实施方式中所涉及的技术特征只要彼此之间未构成冲突就可以相互结合。

本发明提供了一种青光眼图像识别方法，该方法可以由计算机、服务器或者便携式终端等电子设备执行。如图1所示，该方法包括如下步骤：

s1a，获取眼底图像。眼底图像通常是彩色图像，但在本发明实施例中也可以使用单通道的灰度图像，甚至也可以是二值图像。

s2a，从眼底图像中提取局部图像，局部图像中包括视盘和眼底背景。视盘在该局部图像中的占比大于视盘在原眼底图像中的占比，局部图像内可包括视盘以及少部分眼底背景内容，图像的形状可以是设定的规则形状，例如一个方形图像或圆形图像。此步骤可以去除掉大部分眼底背景内容。

s3a，根据眼底图像或者局部图像获得视盘图像和视杯图像。具体提取方法包括多种，例如可以基于机器视觉原理，根据像素值特征搜索并提取视盘和视杯这两个区域形成图像；也可以采用人工智能算法，使用训练后的机器学习模型识别并提取这些区域并形成图像。

局部图像是眼底图像的一部分，基于局部图像提取视盘图像和视杯图像可提高识别效率，但基于全局眼底图像识别到视盘图像和视杯图像也是可行的。

s4a，根据视盘图像和视杯图像获得盘沿图像。视杯区域在视盘区域以内，在一个实施例中，可以在视盘区域中去除视杯区域，通常可得到一个环状区域的图像。盘沿区域的表现形式可以是一张只显示盘沿区域的图像，例如在单一色彩的背景中存在一个环状区域。

在另一个实施例中，盘沿图像中也可以保留视盘区域和视杯区域，并标识出盘沿区域。

s5a，根据盘沿图像、局部图像和眼底图像判断眼底图像是否为青光眼图像。在一个实施例中，可以基于机器视觉原理，针对这三个图像分别提取盘沿的形态特征，综合三个图像的特征得出最终的结论；也可以分别针对三个图像提取特征并得到三个结论，然后综合三个结论得出最终的结论。在另一个实施例中，可以采用人工智能算法，使用训练后的机器学习模型识别这三个图像，输出识别结果。

通常情况下获取的眼底图像的方位和人体方位是一致的，即图像的上方和下方即为人体的上方和下方，图像两侧分别是人体的鼻侧和颞侧(左、右眼图像方向相反)。如果获取的图像角度比较特殊，可以在步骤s1后调整图像角度，使其与人体方位一致。

实际应用中，步骤s5a所输出的可以是一个用于表达患青光眼病可能性的信息，例如百分比信息；也可以输出如阴性或阳性这种结论性信息。这种信息可作为医生判断青光眼疾病的依据。

根据本发明实施例提供的青光眼图像识别方法，首先利用眼底图像获得局部图像，去除大部分眼底背景，进一步提取视盘图像和视杯图像，并根据这两个图像获得盘沿图像。最终对盘沿图像、局部图像和眼底图像进行识别，综合全局特征、局部特征和盘沿特征，判断眼底图像是否为青光眼图像，本方案基于图像数据及客观算法得出对青光眼的判断结果，节约人力资源，能够有效辅助医生或专家对青光眼疾病做出诊断。

本发明的一个实施例提供了一种具体的青光眼图像识别方法，在本方法中使用了机器学习模型识别图像，所述机器学习模型可以是各种类型的神经网络。如图2所示，该方法包括如下步骤：

s1b，获取眼底照相设备拍摄的眼底照片。一般是有黑色背景的图像，背景中可能还包括一些文字信息。

s2b，对眼底照片进行剪裁得到眼底图像，该图像边缘恰好容纳圆形的眼底区域。如图3所示，剪切后图像的四个边分别与眼底区域边缘相交。这种剪裁操作是为了后续使用机器学习模型对图像进行识别而做出的优化处理，在其它实施例中也可不进行剪裁的操作，或者剪裁掉更多的内容，至少保留完整的视盘区域即可。

s3b，利用第一机器学习模型从眼底图像中识别出包含视盘的局部图像。视盘在该局部图像中的占比大于视盘在原眼底图像中的占比，局部图像内可包括视盘以及少部分眼底背景内容，图像的形状可以是设定的规则形状，例如一个方形图像或圆形图像。此步骤可以去除掉大部分眼底背景内容，得到一个如图4所示以视盘为主的局部图像。

在使用机器学习模型进行识别之前，应当使用训练数据对其进行训练。关于第一机器学习模型的训练过程，本发明实施例提供一种优选的模型训练方案。在训练阶段先通过手工把包括视盘的有效区域在眼底图像中标注出来得到训练数据，例如图5所示的虚线框为标注内容，这个标注框进入机器学习模型的形式为(x,y,height,width)，其中x,y为标注框左上角点在图像中的坐标，height、width分别为标注框的高度和宽度。利用大量的眼底图像和标注框一起输入模型进行训练，模型通过学习可以预测出包括视盘的有效区域的位置，以与标注框相同的形式输出结果。

本发明实施例可以采用现有的深度检测模型作为第一机器学习模型，如ssd、yolo或faster-rcnn等，也可以自行设计深度网络模型。

在本实施例中，局部图像与原始眼底图像色彩一致，作为一个检测和截取图像的过程；在其它实施例中，也可以获得变换色彩通道的图像，例如灰度图像。

s4b，对局部图像进行预处理以增强像素点特征。具体可以使用局部直方图均衡算法(clahe)对局部图像做图像增强。此步骤可以使图像中的特征更加突出，经过预处理后对图像进行识别时更容易找到视盘的轮廓和视杯的轮廓，从而提高识别准确性和识别效率。

s5b，利用第二机器学习模型从局部图像中识别出视盘图像、利用第三机器学习模型从局部图像中识别出视杯图像。此步骤得到的是更佳精确的区域分割结果，图像中的视盘和视杯轮廓与人体的视盘和视杯轮廓一致，通常是不规则的形状。经过识别可以得到如图6所示的视盘图像和如图7所示的视杯图像。

关于第二机器学习模型和第三机器学习模型的训练过程，本发明实施例提供一种优选的模型训练方案。具体地，在训练时手工精确地标注出视盘，然后基于人工标注的轮廓生成如图6所示填充掩图，其中白色为视盘区域，黑色为背景。最终把截取的视盘区域和对应的掩图一起输入模型进行训练，模型通过学习识别出视盘区域，把它分割出来。视杯的标注和分割的过程遵循同样的步骤。

本发明实施例可以采用现有的深度检测模型作为第二和第三机器学习模型，例如可以采用u-net、maskr-cnn、deeplabv3等现有的模型，或自行设计的深度分割模型。

在本实施例中，第二机器学习模型输出视盘二值图像，其中背景灰度值为0，视盘区域的灰度值为255；第三机器学习模型输出视杯二值图像，其中背景灰度值为0，视杯区域的灰度值为255。这是为了便于后续截取盘沿图像而使用的一种优选的处理方式，在其它实施例中，也可以输出与原眼底图像色彩一致的图像。

s6b，根据视盘二值图像和视杯二值图像得到盘沿图像。在本实施例中，盘沿图像中包括视盘以外的背景区域、视杯区域和盘沿区域，并且它们被标识为不同的灰度值。例如组合图6和图7中的二值图像，得到图8所示的盘沿图像，其中背景区域的灰度值为0，视杯区域的灰度值为255，盘沿区域是视盘区域中未被视杯区域所遮挡的环形区域，灰度值例如可以被设为128。实际处理时可以采用任意三种有明显区别的灰度值来标识这三个区域，并不限于上述举例中的取值。

在另一实施例中，盘沿图像中也可以只包含盘沿区域和背景区域，例如在图6中的二值图像中减去图7中的二值图像，即可得到图9所示的二值图像，其中的白色环形为盘沿区域。

还可以进一步根据盘沿二值图像在眼底图像中截取盘沿图像。图9所示的盘沿二值图像提供了截取位置和范围，据此可从原始眼底图像中或者s3b中的局部图像中截取到如图10所示的盘沿图像，此步骤是为了获得原眼底图像的色彩。

在另一实施例中，视盘图像和视杯图是灰度图像或者彩色图像，也可以将两个灰度图像或者彩色图像相减直接得到相应色彩的盘沿图像。

s7b，利用第四机器学习模型对盘沿图像、局部图像和眼底图像进行识别，输出青光眼图像判断结果。在本实施例中，向该模型输入图的是局部图像(可以是如图6或图7中左侧的增强处理后的局部图像，也可以是如图4所示未进行增强处理的图像)、全局的眼底图像(如图3所示的经过剪裁的图像或者是原始的眼底照片)、盘沿图像(如图8或者图9或者图10所示的盘沿图像)。

第四机器学习模型的结构和处理方式有多种选择，本发明实施例可以采用现有的深度检测模型作为第四机器学习模型，例如可以采用inceptionv3、resnet等现有的模型，或自行设计的深度识别模型。

作为一个优选的实施方式，本实施例中的第四机器学习模型包括第一特征提取单元、第二特征提取单元、第三特征提取单元、特征融合单元和判定单元。具体地，步骤s8包括如下步骤：

利用第一特征提取单元从所述盘沿图像中提取第一特征；

利用第二特征提取单元从所述局部图像中提取第二特征；

利用第三特征提取单元从所述眼底图像中提取第三特征；

利用特征融合单元根据第一特征、第二特征和第三特征形成融合特征；

利用判定单元根据融合特征输出青光眼图像判断结果。

关于第四机器学习模型的训练过程，在训练时分别循环多次输入不同的青光眼图像的组合(全局眼底图像、视盘局部图像、盘沿图像)，以及不同的非青光眼图像的组合，使模型学习两者的区别。输出结果可以是两类，即阴性或阳性(是或否)；也可以是百分比(概率)信息，例如是青光眼图像的概率或者不是青光眼图像的概率。

根据本发明实施例提供的青光眼图像识别方法，首先对拍摄的眼底照片进行剪裁去除干扰内容，使机器学习模型可以更准确地从较大尺寸的眼底图像中分割出以视盘为主的并且尺寸较小的局部图像；通过两个机器学习模型分别对该局部图像进行识别，可准确输出视盘区域的二值图像和视杯区域的二值图像，通过对二值图像进行组合可以高效且准确地获得盘沿图像；在最终识别过程中使机器学习模型兼顾三种图像的特征得出识别结果，以提高青光眼图像判断的准确性。

相应地，本发明的一个实施例还提供了一种青光眼图像识别装置，如图11所示，该装置包括：

获取单元111，用于获取眼底图像；

局部识别单元112，用于从所述眼底图像中提取局部图像，所述局部图像中包括视盘和眼底背景；

区域识别单元113，用于根据所述眼底图像获得视盘图像和视杯图像；

盘沿确定单元114，用于根据所述视盘图像和所述视杯图像获得盘沿图像；

青光眼识别单元115，用于根据所述盘沿图像、所述局部图像和所述眼底图像判断所述眼底图像是否为青光眼图像。

作为一个优选的实施方式，局部识别单元112包括：

第一机器学习模型，用于从所述眼底图像中识别出局部区域，所述局部区域中包括视盘和眼底背景；

图像截取单元，用于提取所述局部区域形成所述局部图像，所述局部图像与所述眼底图像色彩一致。

作为一个优选的实施方式，所述区域识别单元113包括：

第二机器学习模型，用于从所述局部图像中识别出视盘图像；

第三机器学习模型，用于从所述局部图像中识别出视杯图像。

作为一个优选的实施方式，所述青光眼识别单元115包括：

第四机器学习模型，用于对所述盘沿图像、所述局部图像和所述眼底图像进行识别，输出青光眼图像判断结果。

进一步地，如图12所示，第四机器学习模型包括：

第一特征提取单元，用于从所述盘沿图像中提取第一特征；

第二特征提取单元，用于从所述局部图像中提取第二特征；

第三特征提取单元，用于从所述眼底图像中提取第三特征；

特征融合单元，用于根据所述第一特征、第二特征和第三特征形成融合特征；

判定单元，用于利用根据所述融合特征输出青光眼图像判断结果。

其中的特征提取单元可以是卷积神经网络，特征融合单元可以是具有全连接层的神经网络，判定单元可以是神经网络或者分类器等。

本发明的一个实施例还提供了一种电子设备，包括：至少一个处理器以及与所述至少一个处理器通信连接的存储器；其中，所述存储器存储有可被所述至少一个处理器执行的指令，所述指令被所述至少一个处理器执行，以使所述至少一个处理器执行上述实施例中的青光眼图像识别方法。

本发明的一个实施例还提供了一种青光眼疾病筛查系统，如图13所示包括：

眼底照相设备131，用于拍摄用户眼底图像；以及

青光眼图像识别设备132，用于执行上述实施例中的青光眼图像识别方法。

本领域内的技术人员应明白，本发明的实施例可提供为方法、系统、或计算机程序产品。因此，本发明可采用完全硬件实施例、完全软件实施例、或结合软件和硬件方面的实施例的形式。而且，本发明可采用在一个或多个其中包含有计算机可用程序代码的计算机可用存储介质(包括但不限于磁盘存储器、cd-rom、光学存储器等)上实施的计算机程序产品的形式。

本发明是参照根据本发明实施例的方法、设备(系统)、和计算机程序产品的流程图和/或方框图来描述的。应理解可由计算机程序指令实现流程图和/或方框图中的每一流程和/或方框、以及流程图和/或方框图中的流程和/或方框的结合。可提供这些计算机程序指令到通用计算机、专用计算机、嵌入式处理机或其他可编程数据处理设备的处理器以产生一个机器，使得通过计算机或其他可编程数据处理设备的处理器执行的指令产生用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的装置。

这些计算机程序指令也可存储在能引导计算机或其他可编程数据处理设备以特定方式工作的计算机可读存储器中，使得存储在该计算机可读存储器中的指令产生包括指令装置的制造品，该指令装置实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能。

这些计算机程序指令也可装载到计算机或其他可编程数据处理设备上，使得在计算机或其他可编程设备上执行一系列操作步骤以产生计算机实现的处理，从而在计算机或其他可编程设备上执行的指令提供用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的步骤。

显然，上述实施例仅仅是为清楚地说明所作的举例，而并非对实施方式的限定。对于所属领域的普通技术人员来说，在上述说明的基础上还可以做出其它不同形式的变化或变动。这里无需也无法对所有的实施方式予以穷举。而由此所引伸出的显而易见的变化或变动仍处于本发明创造的保护范围之中。