眼底图像规范化方法及设备与流程

本发明涉及医疗图像处理领域，具体涉及一种眼底图像规范化方法及设备。

背景技术：

目前，人工智能技术已经应用于医疗领域中。基于人工智能的图像识别技术的准确率在不断地提高，其应用场景在不断地扩大，但是人工智能学习系统很容易受到干扰。

人工智能技术需要使用样本数据对模型进行一定的训练，以使模型能够对图像进行识别，样本数据的质量会直接影响人工智能模型的识别准确性。在眼底图像领域中，多样化的眼底图像的干扰对人工智能系统影响非常大。眼底图像多样化的原因主要是由于眼底相机的多样性造成的，例如不同类型的眼底相机所采集的眼底图像在尺寸、颜色、图像内容上都可能存在较大区别。同时外界因素也可能对眼底图像的质量产生影响，比如曝光程度、清晰度等等都可能受到人为或环境因素的影响。

这些多样化的眼底图像会引起人工智能系统不能正常的学习到有关眼底特征，进而直接影响图像识别的准确率。

技术实现要素：

有鉴于此，本发明提供一种眼底图像规范化方法，包括如下步骤：

获取眼底图像；

判断所述眼底图像的色彩通道属性是否符合预设属性；

当所述眼底图像的色彩通道属性符合预设属性时，判断所述眼底图像中是否存在唯一的眼底区域；

当所述眼底图像中存在唯一的眼底区域时，对所述眼底图像进行处理得到正方形眼底图像，所述正方形眼底图像的边框分别与眼底区域的轮廓有至少一个交点；

根据所述正方形眼底图像中的至少部分像素的像素值判断所述正方形眼底图像的亮度是否正常；

当所述正方形眼底图像的亮度正常时，将所述正方形眼底图像中除眼底区域以外的区域的像素值设置为预定像素值。

优选地，所述判断所述眼底图像的色彩通道属性是否符合预设属性，包括：

提取所述眼底图像的色彩通道类型和数量；

判断所述数量是否等于预设数值以及所述色彩通道类型是否符合预设类型；

当所述数量等于预设数值并且所述色彩通道类型符合预设类型时，判定所述眼底图像的色彩通道属性符合预设属性。

优选地，在所述判断所述眼底图像中是否存在唯一的眼底区域之前，还包括：

去除所述眼底图像中除预设色彩通道以外的色彩通道。

优选地，所述判断所述眼底图像中是否存在唯一的眼底区域，包括：

在所述眼底图像中确定至少四个随机像素点；

基于所述至少四个随机像素点确定至少两条交叉的直线；

根据所述直线上的像素点的像素值确定眼底区域与背景的边界信息；

根据所述边界信息判断所述眼底图像中是否存在唯一的眼底区域。

优选地，所述根据所述边界信息判断所述眼底图像中是否存在唯一的眼底区域，包括：

分别确定各条直线上的所述边界信息；

根据各条直线上的所述边界信息的比值判断所述眼底图像中是否存在唯一的眼底区域。

优选地，所述对所述眼底图像进行处理得到正方形眼底图像，包括：

在所述眼底图像中确定至少四个随机像素点；

基于所述至少四个随机像素点确定至少两条交叉的直线；

根据所述直线上的像素点的像素值确定眼底区域与背景的边界信息；

根据所述边界信息对所述眼底图像进行切割得到正方形眼底图像。

优选地，所述根据所述正方形眼底图像中的至少部分像素的像素值判断所述正方形眼底图像的亮度是否正常，包括：

在所述正方形眼底图像中确定至少一条贯穿图像两个对边的直线；

确定所述直线上高于第一预设像素值的像素点或者低于第二预设像素值的像素点的数量；

根据所述数量判断所述正方形眼底图像的亮度是否正常。

优选地，所述直线的数量为4条，分别为所述正方形眼底图像的中间一列、中间一行以及两条对角线。

优选地，所述将所述正方形眼底图像中除眼底区域以外的区域的像素值设置为预定像素值，包括：

根据所述正方形眼底图像的边框生成模板图像，所述模板图像的边框与所述正方形眼底图像的边框一致，并具有一个内切圆形区域，所述内切圆形区域以内的像素点的像素值设为1，所述内切圆形区域以外的像素点的像素值设为0；

将所述模板图像与所述正方形眼底图像相乘。

相应地，本发明提供一种电子设备，包括：至少一个处理器；以及与所述至少一个处理器通信连接的存储器；其中，所述存储器存储有可被所述一个处理器执行的指令，所述指令被所述至少一个处理器执行，以使所述至少一个处理器执行上述眼底图像规范化方法。

根据本发明实施例提供的眼底图像规范化方法及设备，首先通过对眼底图像的色彩通道和眼底区域边界进行判断可以过滤掉颜色和内容不符合预期的图像，进一步对眼底图像进行剪裁可以去除部分无意义的背景区域，然后对剪裁后的眼底图像的曝光度进行判断过滤掉曝光异常的眼底图像，最终针对曝光正常的眼底图像的背景的像素值进行设置以得到规范化的眼底图像，由此得到的眼底图像内容清晰，并且不存在干扰性的背景内容，这种眼底图像应用到人工智能系统中将会提高图像内容识别的准确性。

附图说明

为了更清楚地说明本发明具体实施方式或现有技术中的技术方案，下面将对具体实施方式或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图是本发明的一些实施方式，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。

图1为本发明的一个实施例中的眼底图像规范化方法的流程图；

图2是一张单通道眼底图像；

图3是一张背景为白色的眼底图像；

图4是两张背景为黑色的眼底图像；

图5是一张由多个眼底区域组成的眼底图像；

图6是两张曝光异常的眼底图像；

图7是一张包含文字信息的眼底图像；

图8是经过本发明提供的技术方案处理后的眼底图像；

图9为本发明的另一个实施例中的眼底图像规范化方法的流程图；

图10是在一张眼底图像中确定两条交叉直线的示意图。

具体实施方式

下面将结合附图对本发明的技术方案进行清楚、完整地描述，显然，所描述的实施例是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。

在本发明的描述中，需要说明的是，术语“中心”、“上”、“下”、“左”、“右”、“竖直”、“水平”、“内”、“外”等指示的方位或位置关系为基于附图所示的方位或位置关系，仅是为了便于描述本发明和简化描述，而不是指示或暗示所指的装置或元件必须具有特定的方位、以特定的方位构造和操作，因此不能理解为对本发明的限制。此外，术语“第一”、“第二”、“第三”仅用于描述目的，而不能理解为指示或暗示相对重要性。

此外，下面所描述的本发明不同实施方式中所涉及的技术特征只要彼此之间未构成冲突就可以相互结合。

本发明实施例提供一种眼底图像规范化方法，该方法可以应用于处理人工智能系统的训练样本数据，也可以应用于待识别的眼底图像。本方法可以由计算机或者服务器来执行，如图1所示包括如下步骤：

s11，获取眼底图像，该图像可以是任何眼底照相机所采集的图像，例如图2所示的单通道眼底图像、图3所示的背景为白色的眼底图像、图4所示的两张背景为黑色但黑边尺寸不同的眼底图像、图5所示的由多个眼底区域组成的眼底图像、图6所示的过暗或曝光过度的眼底图像、图7所示的包含文字信息的眼底图像等等，在后续步骤中可以对不同情况的眼底图像做出相应的处理。

s12，判断眼底图像的色彩通道属性是否符合预设属性，本方法首先对色彩通道进行判断，对于色彩通道属性符合预设属性的眼底图像则继续执行步骤s13，对于不符合预设属性的眼底图像则抛弃。

作为一个举例，这一步骤可以是对rgb或者bgr图像的筛选过程，也即本方法可以只对具有rgb或bgr这三个色彩通道的图像进行处理，而舍弃如图2所示的非彩色的图像。

作为另一个举例，这一步骤可以是灰度图像的筛选过程，也即本方法可以只对单通道等色彩单一的图像进行处理，而舍弃彩色的图像。

s13，判断眼底图像中是否存在唯一的眼底区域，当眼底图像中存在唯一的眼底区域时执行步骤s14，否则舍弃图像，这一处理可以过滤掉如图5所示的图像，以及内容不是眼底影像的图像。

这一步骤可以基于经验数据进行处理，例如可以对大量的眼底图像的背景和眼底区域的像素值进行色值直方图分析，预先确定关于眼底图像的最优分割面数据，使得区分背景和眼底区域的交叉熵最小。在此步骤中可以根据预先确定的最优分割面数据结合图像本身的像素值对图像进行判断，判断是否能够在此眼底图像中找到这种最优分割面数据。

s14，对眼底图像进行处理得到正方形眼底图像，正方形眼底图像的边框分别与眼底区域的轮廓有至少一个交点。经过步骤s12-s13的处理，应当筛选出如图4所示具有唯一眼底区域的眼底图像，但其眼底区域占整张图像的比例可能是个性化的数据，也即黑边的宽度是多样性的。本步骤对这种图像进行切割，理想状态下应当得到如图8所示的图像，其眼底区域作为正方形图像边框的内切圆，当然，实际情况中也可以允许其近似地成为内切圆，它的四个边框都应当与眼底区域的边界存在至少一个交点。

这一步骤也可以基于经验数据进行处理，例如基于上述最优分割面数据结合图像本身的像素值对眼底图像进行切割，以得到如图8所示的眼底图像。

s15，根据正方形眼底图像中的至少部分像素的像素值判断正方形眼底图像的亮度是否正常，在此可以逐一分析每个像素点的像素值，也可以选取部分像素点进行分析。关于选取像素点的方案有多种，本方法可以结合眼底图像的内容特征进行选取。

当正方形眼底图像的亮度正常时执行步骤s16，在本实施例中对于曝光异常的图像选择抛弃处理，在其它实施例中也可以通过对像素值进行一些变换来修复曝光度。

s16，将正方形眼底图像中除眼底区域以外的区域的像素值设置为预定像素值。虽然图8所示图像的背景对于人眼而言是黑色的，但是这些背景的像素值可能并不等于0，甚至不接近0，只是人眼无法辨别；或者对于3所示图像，经过之前步骤处理后背景是白色的，但是这些背景的像素值可能并不等于255，甚至不接近255，只是人眼无法辨别；或者对于图7所示图像，经过之前步骤处理后背景可能仍然存在文字信息。这些情况均会影响人工智能系统的准确性，所以在此步骤中，进一步对背景的像素值进行处理，例如将它们的像素值设置为0或者255。

根据本发明实施例提供的眼底图像规范化方法，首先通过对眼底图像的色彩通道和眼底区域边界进行判断可以过滤掉颜色和内容不符合预期的图像，进一步对眼底图像进行剪裁可以去除部分无意义的背景区域，然后对剪裁后的眼底图像的曝光度进行判断过滤掉曝光异常的眼底图像，最终针对曝光正常的眼底图像的背景的像素值进行设置以得到规范化的眼底图像，由此得到的眼底图像内容清晰，并且不存在干扰性的背景内容，这种眼底图像应用到人工智能系统中将会提高图像内容识别的准确性。

作为一个优选的实施方式，上述步骤s12可以包括如下步骤：

s121，提取眼底图像的色彩通道类型和数量。具体地，可以对获取的眼底图像数值矩阵进行转置，提取出通道数；

s122，判断色彩通道的数量是否等于预设数值以及色彩通道类型是否符合预设类型。当数量等于预设数值并且色彩通道类型符合预设类型时判定眼底图像的色彩通道属性符合预设属性，否则抛弃图像。

关于色彩通道的预设类型和数量，例如可以是rgb三通道、bgr三通道等等。

例如在预期得到彩色图像的情况中，所获取的眼底图像可能是rgba四通道图像，针对此情况还可以执行去除眼底图像中除预设色彩通道以外的色彩通道的操作。例如可以对于通道数等于四的图像数值矩阵依据rgba的原则，去除掉a通道并裁剪出rgb的数值矩阵，由此可以得到标准的三通道眼底图像。

关于上述步骤s15，为了提高判断效率，本实施例提供一种优选的实施方式，具体可以执行如下步骤：

s151，在正方形眼底图像中确定至少一条贯穿图像两个对边的直线，例如可以是该图像的中间一列(竖直平分图像的直线)、中间一行(水平平分图像的直线)、两条对角线这4条直线中的至少一条直线；

s152，确定直线上高于第一预设像素值的像素点或者低于第二预设像素值的像素点的数量。以某一条直线为例，可以分别判断该直线上的像素点的像素值是否处于可接受的预设范围内，进而统计出不在预设范围内的像素点的数量。

s153，根据不在预设范围内的像素点的数量判断正方形眼底图像的亮度是否正常，例如可以根据不在预设范围内的像素点的数量与该直线上所有像素点的数量的比值来判断整张眼底图像是否过暗或者过亮。

由于眼底区域基本上是正方形图像的内切圆，所以贯穿整图的直线上的像素点必然有眼底区域中的像素点，本方案可以仅对直线上的像素点进行判断即可确定眼底区域的曝光度是否正常，而不必遍历图像中的所有像素点，由此可以提高曝光度判断操作的效率。

关于上述步骤s16，本实施例优选将背景区域的像素值全部设为0，具体可以执行如下步骤：

s161，根据正方形眼底图像的边框生成模板图像，模板图像的边框与正方形眼底图像的边框一致，并具有一个内切圆形区域，内切圆形区域以内的像素点的像素值设为1，内切圆形区域以外的像素点的像素值设为0；

s162，将模板图像与正方形眼底图像相乘，内切圆形的像素点分别与正方形眼底图中相应的像素点相乘，所得到的像素值仍保持原像素值；内切圆以外的像素点分别与正方形眼底图中相应的像素点相乘使得像素值被置为0。

上述方案可以快速将背景中的任何可见或不可见的颜色以及可能存在的文字部分的像素值全部统一设为0，具有较高的处理效率。

本发明提供的眼底图像规范化方法中的部分步骤的执行顺序可以调换，例如可以先执行判断曝光度的步骤，而抛弃曝光异常的图像；或者先执行判断是否具有唯一的眼底区域的步骤，针对不同的执行顺序采取相应的判断依据即可。

本发明实施例还提供了一种电子设备，包括：至少一个处理器；以及与所述至少一个处理器通信连接的存储器；其中，所述存储器存储有可被所述一个处理器执行的指令，所述指令被所述至少一个处理器执行，以使所述至少一个处理器执行上述眼底图像规范化方法。

本发明的另一个实施例提供一种眼底图像规范化方法，相比于前一实施例提中的方案，本实施例对于眼底区域的判断和切割进行了优化，如图9所示该方法包括如下步骤：

s21，获取眼底图像，具体可参见前一实施例中的步骤s11；

s22，判断眼底图像的色彩通道属性是否符合预设属性，具体可参见前一实施例中的步骤s12。当眼底图像的色彩通道属性符合预设属性时执行步骤s23。

s23，在眼底图像中确定至少四个随机像素点，随机算法有多种，例如可以采用泊松随机算法等等；

s24，基于至少四个随机像素点确定至少两条交叉的直线。在图中选定多个像素点后，将它们两两相连即可获得贯穿整个图像并交叉的直线。如图10所示其中具有两条交叉的直线；

s25，根据直线上的像素点的像素值确定眼底区域与背景的边界信息，这些直线可以分别通过一维数组来表示，基于经验数据(预设的最优分割数据)对这些一维数组进行分析即可得到边界信息；

例如获取的一条直线可以使用数组表示为:

[(0,0,0),(0,0,0),(125,126,124),(136,145,156),(135,144,220),(1,2,3),(0,0,0)]，其中每一个元素分别表示一个像素点的像素值，假设预设的最优分割数据(30,30,30)，既rgb的三个通道分别都大于30即是眼底区域。所以根据上述直线可以得到如下信息：左侧有两个像素(线段)的宽度不是眼底区域，右侧有两个像素(线段)的宽度不是眼底区域，中间的三个像素的宽度(线段)为眼底区域中的一部分。边界信息可以是属于眼底区域的线段的长度和/或不属于眼底区域的线段的长度。

s26，根据边界信息判断眼底图像中是否存在唯一的眼底区域。根据上述举例，在眼底图像中通过多条直线判断出来的眼底的宽度和边界点，如果可以形成一个圆形区域(或者近似形成一个圆形区域)，则该圆形区域即是唯一的眼底区域。

这一处理方式尤其适合针对图5所示的图像，在对诸如图5所示图像计算边界信息时，将可通过这些边界信息判断出图像中的边界异常，也就不存在唯一的眼底区域；当眼底图像中存在唯一的眼底区域时执行步骤s27，否则抛弃该图像。

s27，根据边界信息对眼底图像进行切割得到正方形眼底图像，将这些边界信息作为切割图像的依据，由此得到的正方形眼底图像的边框分别与眼底区域的轮廓有至少一个交点。

s28，根据正方形眼底图像中的至少部分像素的像素值判断正方形眼底图像的亮度是否正常，具体可参见前一实施例中的步骤s15。

s29，当正方形眼底图像的亮度正常时，将正方形眼底图像中除眼底区域以外的区域的像素值设置为预定像素值，具体可参见前一实施例中的步骤s16。

根据本发明实施例提供的眼底图像规范化方法，其中包括基于随机点所确定的交叉线确定图像边界的操作，并基于该交叉线对眼底图像进行剪裁，该过程通过对直线数据进行分析而确定对整体图像的边界和切割依据，通过该方式判断图像内容是否为眼底图像，是否为具有唯一眼底区域的眼底图像时具有较高的处理效率。

作为一个优选的实施方式，上述步骤s26具体可以包括如下步骤：

s261，分别确定各条直线上的边界信息；

s262，根据各条直线上的边界信息的比值判断眼底图像中是否存在唯一的眼底区域。根据上述举例中的直线信息，例如可以计算属于眼底区域的线段的长度与不属于眼底区域的线段的长度的比值，然后通过各条直线上的这些比值的大小来综合判断判断眼底图像中是否存在唯一的眼底区域。

本发明实施例还提供了一种电子设备，包括：至少一个处理器；以及与所述至少一个处理器通信连接的存储器；其中，所述存储器存储有可被所述一个处理器执行的指令，所述指令被所述至少一个处理器执行，以使所述至少一个处理器执行上述眼底图像规范化方法。

本领域内的技术人员应明白，本发明的实施例可提供为方法、系统、或计算机程序产品。因此，本发明可采用完全硬件实施例、完全软件实施例、或结合软件和硬件方面的实施例的形式。而且，本发明可采用在一个或多个其中包含有计算机可用程序代码的计算机可用存储介质(包括但不限于磁盘存储器、cd-rom、光学存储器等)上实施的计算机程序产品的形式。

本发明是参照根据本发明实施例的方法、设备(系统)、和计算机程序产品的流程图和/或方框图来描述的。应理解可由计算机程序指令实现流程图和/或方框图中的每一流程和/或方框、以及流程图和/或方框图中的流程和/或方框的结合。可提供这些计算机程序指令到通用计算机、专用计算机、嵌入式处理机或其他可编程数据处理设备的处理器以产生一个机器，使得通过计算机或其他可编程数据处理设备的处理器执行的指令产生用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的装置。

这些计算机程序指令也可存储在能引导计算机或其他可编程数据处理设备以特定方式工作的计算机可读存储器中，使得存储在该计算机可读存储器中的指令产生包括指令装置的制造品，该指令装置实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能。

这些计算机程序指令也可装载到计算机或其他可编程数据处理设备上，使得在计算机或其他可编程设备上执行一系列操作步骤以产生计算机实现的处理，从而在计算机或其他可编程设备上执行的指令提供用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的步骤。

显然，上述实施例仅仅是为清楚地说明所作的举例，而并非对实施方式的限定。对于所属领域的普通技术人员来说，在上述说明的基础上还可以做出其它不同形式的变化或变动。这里无需也无法对所有的实施方式予以穷举。而由此所引伸出的显而易见的变化或变动仍处于本发明创造的保护范围之中。